Есть несколько нюансов:
1) Некоторые игры выделяют всю память в видюхе, но не факт, что будут ее использовать.
2) Не все данные необходимы в текущий момент, так что движок спокойно может использовать оперативную память для резервирования без падения производительности.
3) В продолжении 2-го, при нехватке памяти фпс не сразу сильно падает. Тут уже все зависит от разрабов и используемого движка, как они организуют механизм распределения памяти.

Так что не все так плохо)
Но как говорится, память лишней не бывает)