Os passos abaixo, fiz no meu Notebook com o Fedora 20, para a instalação do VirtualBox e funcionaram muito bem.

1. Dê um update no sistema:

# yum update

2. Adicione o arquivo .repo do VirtualBox nos repositórios:

# cd /etc/yum.repos.d/
# wget http://download.virtualbox.org/virtualbox/rpm/fedora/virtualbox.repo
# yum update

3. Instale as dependências necessárias:

# yum install binutils gcc make patch libgomp glibc-headers glibc-devel kernel-headers kernel-devel dkms

4. Instale o VirtualBox:

# yum install VirtualBox-4.3

5. Construa os módulos:

# /etc/init.d/vboxdrv setup

6. Adicione o seu usuário ao grupo do VirtualBox:

# usermod -a -G vboxusers usuario

Obs.: substitua o usuario pelo nome do seu usuário.

7. Saia do root e execute o comando para iniciar o VirtualBox:

# exit

$ virtualbox


Essa dica foi retirada do Ask do fedora. Apenas, repassei aqui os passos que funcionaram comigo. Creio que, uma dica testada e postada aqui no VOL, dá mais segurança e credibilidade para o pessoal executar.

Fonte:

• Trying to install virtualbox or vmware Fedora 20 Ask Fedora: Community Knowledge Base and Support Forum