Existe um comando que funciona junto com o apt-get que realiza essa limpeza, que consiste em remover bibliotecas que não estão sendo utilizadas para nenhuma aplicação.

Digite:

sudo apt-get autoremove

Ele irá detectar e remover o que já não é mais necessário.