Стоит видюха NVIDIA 8600GT 512 мб, можно ли ее разгонять и будет ли серьезный прирост в т.ч. в играх?

Прирост будет. 8600 GT гонятся практически до GTS по ядру. Иногда требуется вольтмод, пусть даже карандашный.
Основная проблема у вас - память, судя по частоте это GDDR2. Вот это как раз самое слабое место. Если удастся разогнать память, будет хороший прирост.

Предел разгона памяти примерно можно прикинуть по маркировке на чипах. Пишите маркировку в Гугле - находите чипы на сайте производителя - находите время доступа в наносекундах. Делите 1000 на это число - получаете часоту. Допустим, 2.0 ns. Приближенно предел памяти по частоте 1000/2.0 = 500 МГц (DDR 1000МГц). Память также можно вольтмодить.

Термопасту проверьте, новую намажьте. Если охлаждение пассивное - ничего не гнать до установки вентилятора.