В стандартной поставке это невозможно - colorshemе распостроняется на все буфера.
Можете попробовать менять цвет при перключении буферов. Поменяется также в не активных буферах, но при возврате востановится. b:colors_name
лучше установить в ftplugin/*.vim.
au BufEnter * if (exists("b:colors_name")) | let b:current_colors=colors_name
\| execute "colorscheme " . b:colors_name | endif
au BufLeave * if (exists("b:current_colors")) | execute "colorscheme " . b:current_colors | endif
PS Здесь plugin tab colorsheme то, что очень похоже на решение, только оно для вкладок.
Если там подсмотреть, можно своё что нибудь смастерить для буферов.