Com 2 GB de HD fica complicado...
A maioria das distros precisa de 5 GB, o que me faz pensar em rodar a distro diretamente do pendrive como única solução.
Use o Xubuntu mesmo, criando um pendrive com "persistência", ou seja, um onde vc possa salvar as alterações que fizer (só evite as atualizações, pois deixam o sistema lento).
Tenho um artigo sobre isso:
http://va.mu/WJvO
Apesar de ter usado o Ubuntu 11.04 nele (no artigo), asseguro que deve funcionar igualmente com o Xubuntu 12.04, ou com o Lubuntu 12.04, esse ainda mais leve e rápido.