Desabilitar ambiente gráfico de acesso remoto do linux [RESOLVIDO]

Bom dia, estou a pouco tempo com linux, ainda aprendendo.
É o seguinte estou configurando um servidor apache Ubuntu para uso interno na minha empresa, para sites.
Eu instalei com o modo gráfico e agora porém agora que está quase pronto eu removi o parte gráfica, deixando só a terminal, porém quando eu acesso pelo acesso remoto do windows ele fica com a parte gráfica de novo, já se eu acesso normal pelo hyper-v eu tenho só o terminal, que é o que eu quero.
Lembrando, que tenho um servidor hyper-v server core, e nele tenho 3 servidor virtualizados porém 2 desligados e só estou usando o ubuntu no momento.

Amigo, como vc desabilitou o "X" do servidor??
Não tem algum VNS rodando geralmente no linux acesso remoto por interface e via VNC...

Pois é, então amigo, sou novo no assunto, estava lendo e lembrei do SSH via putty, então como faço para desabilitar todo o grafico do meu linux para ficar mais leve e só acessar via SSH?? é só eu direcionar a porta 22 do meu firewall para o meu linux e dai quando eu acessar o meu ip aqui lá da minha casa vai dar certo?

Se pretendia usar o Ubuntu sem interface gráfica, poderia instalar o Ubuntu Server que já vem sem ambiente gráfico, mas enfim, para desabilitar a interface é no /etc/inittab e ver qual é o número correspondente da interface, init:3 ou init:5, isso varia de distro para distro.

Ou melhor, pode também desinstalar completamente a interface via apt-get.

valeu amigo deu certo aqui

Beleza. amigo, marque como melhor resposta para ajudar os outros :-D