J'ai fini par trouver : j'avais le module de panier Hikashop publié deux fois, dans deux positions différentes, l'une en haut de page, masquée (juste un lien avec icône), et apparaissant dans une fenêtre "popup", et l'autre en bas de page, visible en permanence.
Dépublier l'un des deux paniers supprime le bug "illegal character" en page d'accueil.
Je ne sais pas si c'est un problème Hikashop. Je ferai des tests avec d'autres templates pour vérifier. En attendant, je continue de bosser sur ce site sans changer de template, avec l'une des deux positions de module seulement.