Porém como sou relaxado, deixei minha lista de downloads acumular para mais de 10 mil arquivos, na verdade essa é uma lista acumulada de uns 3 ou 4 anos talvez. Como a lista estava enorme, o botão "Limpar" ao ser clicado travava o Firefox e não concluía a operação. Os novos downloads também davam uma travada de uns 5 segundos até abrir a janela de diálogo, pois era o tempo que demorava para que o browser processasse a lista de arquivos.

Enfim, para resolver esse problema é simples, abra um terminal, entre no diretório do Firefox e localize o arquivo downloads.rdf (o XML contendo a lista de seus downloads):

$ cd ~/.mozilla/firefox
$ find . -name "downloads.rdf" -exec rm {} \;

Pronto! É uma dica para um problema inusitado, tomara que sirva para alguém.

Um abraço,
Fábio