S'engager pour l'architecture d'une entreprise sur un modèle de langage unique revient à s'exposer à une dépendance vis-à-vis d'un outil dont le prix, la capacité et les conditions évoluent plusieurs fois par an. Il ne s'agit pas d'une question de méfiance envers un fournisseur ; c'est plutôt que le rythme des évolutions du marché fait qu'une telle décision devient obsolète avant même d'être rentabilisée.
La bonne façon de traiter un modèle est de le considérer comme un composant remplaçable, tout comme on traiterait une base de données ou un fournisseur de messagerie transactionnelle.
Le débat sur l'autonomie complète est souvent abordé sous l'angle de la maturité technologique. Il serait plus pertinent de l'envisager sous l'angle économique : où se situent la main-d'œuvre coûteuse et où se situe le risque coûteux ?.
Stanford HAI a constaté que le coût d'inférence d'un système aux capacités équivalentes à celles de GPT-3.5 a été divisé par plus de 280 entre novembre 2022 et octobre 2024, passant d'environ 20 $ à 0,07 $ par million de jetons. Une telle baisse est sans précédent dans le domaine des infrastructures technologiques.
Il y a trois conséquences pratiques :
Ce qui est cher aujourd'hui pourrait être bon marché dans un an. Des cas d'utilisation auparavant écartés en raison de leur coût redeviennent viables sans aucune intervention.
Le meilleur modèle aujourd'hui ne le sera peut-être plus dans six mois. La direction a changé de mains à plusieurs reprises.
Les maquettes sont retirées du service. Les versions ont un cycle de vie, et ceux qui ont développé sur une version spécifique finissent par migrer par nécessité, et non par commodité.
Une architecture qui ne permet pas de tirer parti de la première conséquence ni d'absorber la troisième surpaye en permanence.
Cela ne signifie pas utiliser plusieurs modèles simultanément ni construire une couche d'abstraction complexe. Cela signifie que Modifier le modèle d'une étape spécifique relève de la configuration et non du projet.. Quatre conditions :
Élément | Où devrait-il vivre ? | Conséquences si vous résidez dans la zone du fournisseur |
|---|---|---|
Logique de flux | Dans votre orchestration | Chaque modification de modèle est une refonte. |
Messages et instructions | Versionné dans votre dépôt | Ils ne peuvent être ni comparés ni audités. |
Ensemble d'évaluation | Dans votre système | Il est impossible de savoir si ce changement est bénéfique ou néfaste. |
Registre des exécutions | Dans votre infrastructure | Vous perdez vos données historiques lorsque vous effectuez une modification. |
La troisième ligne est cruciale. Sans études de cas spécifiques apportant la réponse adaptée à votre entreprise, la question « Ce modèle serait-il plus approprié pour nous ? » reste sans réponse objective. Et ceux qui ne peuvent comparer ne peuvent ni négocier ni décider : ils ne peuvent que faire confiance.
Les tableaux de performance des modèles publics ne sont fournis qu'à titre indicatif et ne doivent pas servir à la prise de décision. Ils évaluent les capacités générales à partir de tests standardisés ; votre cas est spécifique et dépend de votre terminologie, de votre documentation, de votre tolérance aux erreurs et de votre budget.
Il est fréquent qu'un modèle moins bien classé dans les comparaisons générales soit plus performant dans un cas particulier, surtout s'il est moins coûteux et que le cas ne requiert pas de raisonnement complexe. Seuls des tests sur vos propres cas d'utilisation permettent de le vérifier.
C’est pourquoi l’ensemble d’évaluation est l’atout le plus durable d’un projet d’IA : il perdure au-delà des modèles, permet des changements sans risque inconsidéré et transforme une décision fondée sur la confiance en une décision basée sur les données. Nous l’avons développé en L'IA n'élimine pas l'assurance qualité, elle la rend plus importante.
Il serait malhonnête de présenter l'indépendance comme gratuite. Elle a un coût, et il existe des raisons légitimes de concentration :
La différence entre une concentration volontaire et une concentration accidentelle réside dans le fait que, dans le premier cas, la possibilité de se désinscrire est préservée : la logique, les incitations, l’évaluation et l’archivage restent sous votre contrôle. Concentrer sa consommation est une décision commerciale réversible ; externaliser la logique, en revanche, ne l’est pas.
Trois étapes, dont aucune ne nécessite de reconstruire le système :
Grâce à ces trois étapes, la prochaine fois que les prix évolueront ou qu'une meilleure solution apparaîtra, la décision sera d'ordre commercial et non technique. C'est exactement ce qu'il faut.
Cela fait de l'enregistrement de la validation une obligation, et non une simple bonne pratique. Et cela a une conséquence sur la conception : une surveillance effectuée mais non enregistrée ne prouve rien.
Avant le prochain renouvellement auprès d'un fournisseur de modèles, il est conseillé de répondre à cette question : Combien de temps nous faudrait-il pour évaluer une solution alternative, et combien de temps faudrait-il pour changer si elle s'avérait meilleure ?
Si la réponse est « jours pour évaluer, semaines pour modifier », la position est judicieuse. Si la réponse est que les flux devraient être repensés, l'entreprise ne choisit pas un fournisseur : elle en hérite d'un chaque année.
Les prix, les capacités et la disponibilité évoluent plusieurs fois par an. Stanford HAI a constaté que le coût d'inférence d'un système équivalent à GPT-3.5 a été divisé par plus de 280 entre fin 2022 et fin 2024, et que certaines versions sont progressivement abandonnées.
Le remplacement du modèle d'une étape spécifique doit faire l'objet d'une configuration, et non d'un projet. Cela implique que la logique de flux, les invites versionnées, l'ensemble d'évaluation et le journal d'exécution résident sur l'infrastructure de l'entreprise, et non sur celle du fournisseur.
Ils servent de guide, non d'outil de décision. Ils évaluent les capacités générales à l'aide de tests standardisés, alors que chaque cas est unique et dépend de sa propre terminologie, de ses documents spécifiques, de sa marge d'erreur et de son budget. Un modèle moins performant peut s'avérer plus efficace dans un cas particulier.
Il s'agit d'un recueil d'études de cas réels, assorti des réponses que l'organisation juge pertinentes. Ce recueil résiste aux changements de modèle économique, permet une comparaison objective des alternatives et transforme la décision de changer de fournisseur en une décision fondée sur les données plutôt que sur la confiance.
Lorsque des remises sur volume pertinentes, des exigences de résidence des données que seul ce fournisseur remplit, une intégration native avec la plateforme déjà utilisée ou une petite équipe pour laquelle la maintenance des abstractions serait disproportionnée, l'essentiel est de conserver la possibilité de se retirer.
En trois étapes qui ne nécessitent aucune refonte : extraire les invites et les instructions dans votre propre référentiel et les versionner, constituer un ensemble d’évaluation avec cinquante ou cent cas réels et isoler l’appel du modèle derrière votre propre interface personnalisée.
Combien de temps vous faudrait-il pour changer de modèle si le prix augmentait demain ? Nous avons construit la couche d'abstraction, l'ensemble d'évaluation et l'enregistrement afin que la décision vous revienne. Parlons-en → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
