Vous avez reçu vingt pitchs IA dans l’année. Peut-être plus. Tous promettaient à peu près la même chose : moins 40% de coûts, moins 30% de temps de traitement, plus d’autonomie pour les équipes. Quelques-uns disaient vrai. La majorité repackageait une API publique avec une couche de prompt système et un logo bleu en haut à droite. Voici les phrases qui doivent vous mettre en alerte, et la question précise à poser derrière chacune.

La démo qui marche du premier coup

Un commercial vous montre une démo. Le modèle produit une sortie impeccable. « Regardez, c’est parfait. » Vous êtes impressionné.

Ce que vous ne voyez pas : les dix itérations de prompt engineering qui ont précédé cette démo. Les cas de test soigneusement choisis pour que le modèle performe. L’absence de vos données réelles dans la démo. Le fait que sur vos propres données, le taux de « parfait du premier coup » sera différent, et que vous n’avez aucun moyen de le savoir avant de payer.

Demandez à faire la démo sur vos données. Pas sur des données génériques, pas sur des cas idéaux. Sur vos documents, vos conventions, vos formats. Si le vendeur refuse ou ne peut pas : le produit n’est probablement pas industrialisable sur votre contexte.

Le modèle qui connaît votre secteur

Déclinaison courante : « il connaît votre secteur », « il comprend la réglementation », « il maîtrise votre jargon métier ».

Ce qu’un LLM « sait », c’est ce qui était dans ses données d’entraînement. Les données publiques courantes jusqu’à une certaine date. Il ne connaît pas votre réglementation interne. Il ne connaît pas vos contrats types. Il ne connaît pas les jurisprudences récentes non documentées publiquement. Quand il répond sur ces sujets, il extrapole. Et l’extrapolation peut être fausse avec beaucoup de confiance.

Demandez des cas de test sur des points spécifiques à votre secteur, avec vérification par un expert interne. Documentez les échecs, pas seulement les succès.

L’outil qui résout vos trois problèmes principaux

La version la plus grandiose du pitch IA. Votre problème de productivité : l’IA le résout. Votre problème de qualité : l’IA le résout. Votre problème de recrutement : l’IA le résout.

Un outil qui promet de tout résoudre dans un domaine donné promet de ne rien résoudre vraiment. L’IA est performante sur des tâches bien définies, avec des inputs bien structurés, dans les domaines couverts par ses données. Elle est médiocre sur des tâches ambiguës, des inputs bruités, des domaines sous-représentés.

Demandez quelle est la tâche spécifique que le modèle résout, quelle est la mesure de performance sur cette tâche, et quelle est la procédure quand le modèle se trompe.

Essaie, on verra bien

Dans un contexte de développement ou de prototypage : phrase légitime. L’expérimentation est la bonne méthode pour évaluer un LLM.

Dans un contexte de déploiement sur des processus réels avec des enjeux réels : phrase dangereuse. « On verra » est acceptable quand l’erreur coûte un prompt raté. Elle ne l’est pas quand l’erreur coûte une décision juridique incorrecte. Un diagnostic médical manqué. Un transfert frauduleux qu’on ne voit pas passer.

La tolérance à l’erreur non détectée dépend du contexte. Dans les contextes où elle est élevée, « essaie et vois » est adapté. Dans les contextes où elle est faible, un plan de validation et de relecture est obligatoire avant tout déploiement.

Ce que vous devez exiger contractuellement

Quatre choses à exiger contractuellement du fournisseur. D’abord le modèle sous-jacent : quel LLM tourne sous le capot, et que se passe-t-il quand il change de version. Ensuite le taux d’erreur mesuré sur des cas de test représentatifs de votre contexte, pas sur des cas démos. La destination des données soumises (UE, hors UE, utilisation pour entraînement). Et le SLA si les performances chutent après une mise à jour du modèle sous-jacent. Le reste (politique de conservation, périmètre AI Act, etc.) se traite dans les annexes. Mais ces quatre points sont la condition d’entrée.

Si un fournisseur ne peut pas répondre à ces quatre questions, vous n’avez pas affaire à une solution industrielle. Vous avez affaire à une démo habillée en produit.