Para quem possui uma placa de vídeo Gforce e ainda não conseguiu ou já tinha desistido de configurar o framebuffer no modo texto, fica aqui a minha contribuição:

O problema consiste nas fontes que ficam embaralhadas e distorcidas no modo texto depois que se inicia o modo gráfico.

Com o driver baixado da página da Nvidia devidamente instalado e configurado e com o modo texto com resolução de 800x600 com 32 bits de cor(vga=788), toda vez que alterno entre modo gráfico e modo texto (alt+fn) a tela no modo texto fica com as fontes distorcidas, ou seja, não é possível ver o que está escrito na tela.

Bem, pelo que parece é um problema de compatibilidade do driver da Nvidia, mas paciência, eles estão melhorando.

Como o problema acontecia apenas após iniciar o modo gráfico e voltar para o console, suspeitei que pudesse haver algum problema de configuração no arquivo de configuração do X, localizado em /etc/X11/XF86config-4 para quem usa o Xfree86 ou /etc/X11/xorg.conf para quem usa Xorg.

Lendo alguns readme's, pesquisando no Google e em fóruns, descobri que o problema das fontes no modo texto era relacionado a saída para TV que a maioria das placa Gforce possuem, por isso que algumas apresentaram o problema e outras não (as que não tem saída para TV geralmente não apresentam o problema).

Partindo desse princípio consegui os parâmetros para desabilitar a saída para TV da placa de vídeo:

Edite o arquivo de configuração, procure por Section Device e coloque a configuração abaixo:

Agora vamos explicar cada uma delas:

Driver "nvidia"
Se refere ao driver da nvidia propriamente dito.

Option "NoLogo" "1"
Desabilita o logotipo da nvidia que aparece por padrão toda vez que se inicia o X com o driver da nvidia.

Option "NvAGP" "1"
Utiliza a interface AGP do próprio driver da nvidia. Se setado para "0" utiliza o AGP_GART e como "3" a interface AGP é selecionada automaticamente.

Option "DPMS"
Faz com que o seu monitor desligue após algum tempo sem utilização para economizar energia. Esse parâmetro também deve ser inserido em Section Monitor.

E por último as opções que deixam a sua placa Gforce funcionar corretamente com o framebuffer no modo texto:

Option "ConnectedMonitor" "CRT"
Assume o monitor como o dispositivo padrão conectado.

Option "IgnoreDevice" "TV"
Ignora a saída de TV.

OBS: Não sei qual o motivo, mas não consegui fazer funcionar em 1024x768, mas em 800x600 funcionou normal.