Quem utiliza chaves de segurança não conseguirá utilizar o rsync sem adicionar um parâmetro a mais no comando. É fácil de decorar:
rsync -avz -e "ssh -i ~/.ssh/rsync-key" usuario@dominioremoto:/diretorio/