/// Signal

Garder un même visage sans entraîner de LoRA : la méthode existe depuis 2023 — mais les poids d'InstantID sont réservés à la recherche, et son dépôt n'a pas bougé depuis juillet 2024

Le fait : il y a trois jours, un utilisateur de r/StableDiffusion demande s'il existe un modèle local capable de retoucher une photo comme le fait Gemini — changer la pose, le décor et l'expression en gardant le visage. Il écrit qu'il ne peut pas entraîner de LoRA, faute de moyens et de connaissances, et précise dans un commentaire qu'il dispose de 8 Go de VRAM et de 16 Go de RAM. La réponse figure dès les premières réponses du fil, et elle nomme le mécanisme — un adaptateur d'identité, qui extrait une empreinte faciale d'une photo et n'exige aucun entraînement sur la personne. La documentation du greffon ComfyUI le résume d'une phrase, « Think of it as a 1-image lora », et le README d'InstantID écrit qu'il obtient des résultats comparables aux LoRA « without any training ». Mais ce même README réserve ses propres poids à la recherche, et interdit l'usage commercial des modèles de visage dont il dépend ; et son dépôt n'a pas bougé depuis le 18 juillet 2024, quand celui de Tencent s'est arrêté le 28 juin de la même année.

La question contient deux croyances, et le fil ne les traite pas de la même façon. La première — que Gemini saurait faire quelque chose que le local ignore — ressort à moitié confirmée, et c'est ce qui rend la réponse intéressante. Un intervenant cite d'abord la question, puis répond : « theyre chaining multiple vision models behind the scenes, not just one base model », avant d'ajouter « otherwise locally you need ComfyUI with InstantID which takes some learning ». Le « they » désigne les services en ligne, pas les modèles locaux : côté Gemini, plusieurs modèles sont enchaînés derrière une seule interface ; côté local, il faut assembler soi-même un graphe et un adaptateur. La croyance n'est donc pas fausse, elle est mal placée — ce n'est pas le modèle qui manque, c'est l'assemblage. Un deuxième intervenant le formule mieux que le fil ne le mérite : « The gap is conditioning, not magic », et il ajoute que Gemini a été entraîné sur d'énormes jeux de visages appariés, là où le local approxime par du conditionnement — Qwen-Image-Edit ou Flux Kontext, plus PuLID ou IP-Adapter pour le visage. La seconde croyance, celle qui coûte le plus cher, tombe en revanche entièrement : garder un visage n'oblige pas à s'entraîner dessus. Le troisième intervenant donne même une recette adaptée à son matériel — un flux SDXL avec un adaptateur IP-Adapter FaceID et une photo de référence de face, plus OpenPose ControlNet pour la nouvelle pose, à 512 pixels de départ, avec déport sur le processeur si besoin.

Le mot « LoRA » est le piège, parce qu'il désigne deux choses très différentes. Un LoRA de personnage s'entraîne sur plusieurs images de la personne : c'est précisément l'opération que le demandeur dit ne pas pouvoir mener, faute de moyens et de connaissances. Un adaptateur d'identité, lui, se charge — il extrait une empreinte faciale d'une seule photo et l'injecte dans la génération. La documentation du greffon ComfyUI le dit en une phrase : « Think of it as a 1-image lora. » InstantID, le plus étoilé des trois dépôts cités par le fil, l'écrit à la ligne où il se compare justement aux LoRA : « We don't need multiple images and still can achieve competitive results as LoRAs without any training. » Il reste un piège de vocabulaire, et c'est celui qui fait croire que la démonstration se contredit : la même documentation prévient que « Most FaceID models require a LoRA ». Ce LoRA-là n'est pas entraîné sur la personne — il est fourni avec l'adaptateur et chargé automatiquement : « If you use the `IPAdapter Unified Loader FaceID` it will be loaded automatically if you follow the naming convention. » Le fichier s'appelle `ip-adapter-faceid_sdxl_lora.safetensors` et il vit dans le même dépôt que l'adaptateur. Ce n'est pas un modèle à entraîner, c'est une pièce à ne pas oublier, et c'est toute la différence entre les deux sens du mot.

Ce que le fil apporte et ce qu'il n'apporte pas se séparent proprement. Il apporte des essais : un intervenant joint trois images d'un même plan, « nano banana left, H3 20 steps middle, H3 40 steps right », et son compte rendu est un partage, pas une victoire — « right has better optical blur/bokeh imho but it lacks details. middle forgot the table », en précisant que « 2 characters and the sword are passed as image refs ». C'est le seul comparatif côte à côte du fil, et il porte sur le flou d'arrière-plan et sur une table oubliée, pas sur la conservation d'un visage ; le panneau de gauche est étiqueté « nano banana » sans que le fil dise jamais de quel modèle il s'agit. Il apporte aussi une réponse au blocage précis du demandeur : Krea 2, qui « always tries to generate a new character », s'en sort avec un mode dédié — « Krea 2 Identity Edit. I tried it a little and it works fine. » Ce qu'il n'apporte pas, c'est une démonstration de conservation d'identité : aucune des réponses affichées n'en montre. Et les réserves matérielles y sont, dès la première réponse du fil, « Pruna H3 but if you lack the resources you may not be able to run it », puis « expensive models running on expensive hardware versus limited capabilities of a regular user », et enfin, sur la recette à 8 Go, « it may still be slow or run out of memory ». Trois réserves, pas une.

Il reste ce que le fil ne dit à aucun moment, et que les documents imposent — d'abord une dépendance : « FaceID models require `insightface` », un paquet extérieur dont les modèles se téléchargent à la main. Ensuite, et c'est plus lourd, la licence ne dit pas ce qu'on croit qu'elle dit. Les trois dépôts de modèles affichent bien Apache 2.0 sur leur page GitHub — le greffon ComfyUI, lui, est en GPL 3.0 —, mais pour InstantID ce badge ne couvre que le code, et son README le précise explicitement : « The code of InstantID is released under Apache License for both academic and commercial usage. » La phrase suivante est celle qu'il faut lire jusqu'au bout — « However, both manual-downloading and auto-downloading face models from insightface are for non-commercial research purposes only » — et la conclusion tombe : « Our released checkpoints are also for research purposes only. » Pour ce dépôt-là, donc, le code est libre et les poids ne le sont pas, et les modèles de visage qui font tout le travail sont non commerciaux. La restriction n'est pas générale : les README de Tencent et de PuLID n'en portent aucune, et la licence des poids FaceID publiés sur Hugging Face n'a pas été vérifiée ici. Enfin, la fraîcheur : le dépôt d'InstantID n'a pas été modifié depuis le 18 juillet 2024, celui de Tencent depuis le 28 juin 2024, et le greffon ComfyUI qui fait tourner l'IP-Adapter est en « maintenance only » depuis le 14 avril 2025, son auteur écrivant qu'il ne prévoit plus « any consistent work on this repo ». La méthode existe, elle est documentée, et elle n'est plus entretenue.