A versão do Guacamole 1.4 não suporta o tipo de chave ed25519 Guacamole SSH keys - Help

$ ssh-keygen -t rsa -b 4096 -m PEM -f guacamole

Esse comando gera um par de chave: pública e privado.

$ ls 
guacamole  guacamole.pub

A chave pública é enviada para o servidor que será acessado e a chave privada será usada na pagina de conexão do Guacamole.

$ ssh-copy-id -i guacamole USER@SERVER_IP

O próximo passa é copiar a chave privada e adicionar na nova conexão por SSH.