Gostaria de saber como configuro um DNS server, estou tentando setar um redirecionamento do dyndns.org pro meu servidor, só que não possuo DNS server, no painel da empresa que contratei meu dominio pede o endereço...
sou novato nessa área, mas acredito que tenha que criar um subdominio no meu servidor, usando usando a nomenclatura padrão NS1.. NS2.. etc..

Primeiro muito serviços de registro não aceita a utilização de serviços dyndns.org para servirem de DNS do servidor. Pois este tipo de serviço é para servir como dominio e não serviço dns.

Para isso precisa utilizar um serviço de DNS como o superdns.com.br

segue um artigo de como utilizar.
http://www.vivaolinux.com.br/artigo/SuperDNS-Solucao-definitiva-para-DNS-dinamico/

Caso seu ip seja fixo e liberado para servidor web, então basta configurar o bind com o seu dominio e colocar seu ip.

há vários artigos aqui de como configurar o bind:
http://www.vivaolinux.com.br/artigo/DNS-com-BIND/
http://www.vivaolinux.com.br/artigo/Instalando-e-configurando-um-servidor-DNS-(Bind)/
http://www.vivaolinux.com.br/artigo/Configurando-o-bind-9-no-Debian/

Caso esteja utilizando conexão dinâmica, então