Mint com Mate ocupando ~4GB na RAM.

Fedora Live rodando do disco.

Arch com ISO rodando do disco.

Vários erros quando você não especifica o caminho correto no arquivo 40_custom.

Menu do Grub com todas as entradas (menuentry).

Talvez você tenha de adaptar alguma coisa de acordo com a sua distribuição, pois aqui foi utilizado o Debian, porém, basta você entrar na pasta descompactada da ISO e procurar os dois arquivos "vmlinuz" e "initrd" ou algo parecido, como vimos neste artigo, os nomes desses arquivos podem mudar, mas sempre terá linuz(x) e initrd(.img) para procurar.

Procure dentro da pasta descompactada da ISO as informações relevantes para colocar dentro das entradas (menuentry) de acordo com a sua distribuição. De acordo com as mensagens de erro você vai descobrindo se colocou o caminho errado para a imagem ISO, se colocou o hdx,x errado, etc, e assim vai arredondando o script no arquivo /etc/gub.d/40_custom.

Sempre depois de alterar o arquivo /etc/grub.d/40_custom execute:

sudo update-grub

ou o comando equivalente da sua distribuição. Sem atualizar o Grub não terão efeito as alterações no arquivo. Reinicie e teste.

Referências:

1. https://linux.cosmosonline.com.br/glossario/o-que-e-initrd-importancia-linux/
2. https://dev.to/er_dward/understanding-the-initrd-and-vmlinuz-in-linux-boot-process-534f
3. https://www.gnu.org/software/grub/manual/grub/html_node/Loopback-booting.html
4. https://www.gnu.org/software/grub/manual/grub/html_node/loopback.html#loopback
5. https://sobrelinux.info/questions/290071/what-is-hd0-and-sda-sdb-in-linux
6. https://www.gnu.org/software/grub/manual/grub/html_node/Device-map.html
7. https://www.linuxbabe.com/desktop-linux/boot-from-iso-files-using-grub2-boot-loader