Après quelques jours et un blocage par ovh pour suspicion de hacking, voici les paramètres qui fonctionnent pour envoyer un mail via une page de contact ou du lien mail (icône en haut avec pdf et impression) des articles dans Joomla.

Mais tout d'abord à savoir:

Votre hébergement chez ovh doit permettre l'envoi de mail donc pas de truc gratuit. C'est à dire que vous devez avoir au moins un compte mail postmaster@votre_domaine. Vous devez connaitre le mot de passe associé sinon aller le changer dans votre "Manager". Voilà le minimum.

Voici la copie d'écran de mon paramétrage

Notez que pour le paramètre "Utilisateur SMTP" il faut remplacer @ par %

(source ovh)