Можно, но есть но. Если я правильно понял вопрос, то можно параллелить, но для кластеров существует библиотека MPI, VPM. Вот эти две технологии в основном используют для написания программ, исполняющих паралельные вычисления в кластере, но их нужно подключить к студии.
Ребята, не обижайтесь, но OpenMP в основном используется для распараллеливания приложений на одном компе и это уже встроено в VS. Intel C++ Compiler: да, классная вещь и я ее юзал; Cluster OpenMP: тоже я испытывал такую вещь в одной аудитории и тоже неплохо, но они не бесплатные!
Что до языка, то наилучшее - использовать С++, так как там действительно получаются программы с параллельным вычислением. С# - нет так уж в этом деле хорошо (не в обиду Сишарповцам) хоть и говорится, что там есть параллелизм, но это псевдопараллелизм. А когда майкрософт сделает честный параллелизм в С#, для меня загадка, но я надеюсь скоро.