Impegnare l'architettura di un'azienda a un singolo modello linguistico significa assumersi una dipendenza da qualcosa il cui prezzo, capacità e condizioni cambiano più volte all'anno. Non si tratta di sfiducia nei confronti di un fornitore; il punto è che la velocità con cui cambia il mercato fa sì che qualsiasi decisione di questo tipo diventi obsoleta prima ancora di ripagarsi.
Il modo corretto di trattare un modello è come un componente sostituibile, proprio come si farebbe con un database o un provider di posta elettronica transazionale.
Il dibattito sulla piena autonomia viene spesso inquadrato come una questione di maturità tecnologica. È più utile inquadrarlo come una questione economica: dove si concentra la manodopera costosa e dove si annidano i rischi onerosi?.
Stanford HAI ha documentato che il costo di inferenza per un sistema con capacità equivalenti a GPT-3.5 è diminuito di oltre 280 volte tra novembre 2022 e ottobre 2024, passando da circa 20 dollari a 0,07 dollari per milione di token. Questa entità di riduzione non ha precedenti nel campo delle infrastrutture tecnologiche.
Ci sono tre conseguenze pratiche:
Ciò che oggi è costoso potrebbe essere economico tra un anno. Casi d'uso precedentemente scartati a causa dei costi tornano ad essere fattibili senza alcun intervento.
Il modello migliore oggi potrebbe non esserlo più tra sei mesi. La leadership è cambiata diverse volte.
Questi modelli verranno ritirati dal mercato. Le versioni hanno un ciclo di vita e chi ha sviluppato su una versione specifica finisce per migrare per necessità, non per comodità.
Un'architettura che non permette di sfruttare la prima conseguenza o di assorbire la terza è costantemente sovrapagata.
Non significa utilizzare più modelli contemporaneamente o costruire un livello di astrazione complesso. Significa che La modifica del modello di una fase specifica è una configurazione e non un progetto.. Quattro condizioni:
Elemento | Dove dovrebbe vivere? | Conseguenze se risiedi nell'area del fornitore. |
|---|---|---|
Logica di flusso | Nella tua orchestrazione | Ogni cambio di modello è una riprogettazione |
Suggerimenti e istruzioni | Versionato nel tuo repository | Non possono essere confrontati o sottoposti a verifica |
Set di valutazione | Nel tuo sistema | È impossibile sapere se il cambiamento sia in meglio o in peggio. |
Registro delle esecuzioni | Nella tua infrastruttura | Quando si apporta una modifica, si perdono i dati storici. |
La terza riga è cruciale. Senza una serie specifica di casi studio con la risposta corretta per la vostra attività, la domanda "Questo altro modello sarebbe migliore per noi?" non ha una risposta oggettiva. E chi non può confrontare non può negoziare né decidere: può solo fidarsi.
Le tabelle pubbliche sulle prestazioni dei modelli sono fornite a titolo indicativo e non per prendere decisioni. Misurano le capacità generali sulla base di test standardizzati; il vostro caso è specifico e dipende dalla terminologia, dalla documentazione, dalla tolleranza agli errori e dal budget a disposizione.
È frequente che un modello che si posiziona più in basso nei confronti generali risulti più performante in un caso specifico, soprattutto se è più economico e il caso in questione non richiede ragionamenti complessi. Questo può essere scoperto solo effettuando test con i propri casi specifici.
Ecco perché il set di valutazione è la risorsa più duratura di un progetto di IA: sopravvive ai modelli, consente di cambiare senza rischi ciechi e trasforma una decisione basata sulla fede in una basata sui dati. Lo abbiamo sviluppato in L'intelligenza artificiale non elimina il controllo qualità, lo rende più importante
Sarebbe disonesto presentare l'indipendenza come qualcosa di gratuito. Ha un costo, e ci sono ragioni legittime per la concentrazione:
La differenza tra la concentrazione per scelta e la concentrazione accidentale sta nel fatto che, nel primo caso, si mantiene la possibilità di rinunciare: la logica, i promemoria, la valutazione e la registrazione restano sotto il proprio controllo. Concentrare i consumi è una decisione aziendale reversibile; esternalizzare la logica non lo è.
Tre semplici passaggi, nessuno dei quali richiede la ricostruzione del sistema:
Grazie a questi tre passaggi, la prossima volta che i prezzi cambieranno o si presenterà un'alternativa migliore, la decisione sarà di natura commerciale, non tecnica. Ed è proprio così che dovrebbe essere.
Questo rende la registrazione della validazione un requisito, non una buona prassi. E ha un'implicazione a livello di progettazione: il monitoraggio che avviene ma non viene registrato non dimostra nulla.
Prima del prossimo rinnovo con un fornitore di modelli, è consigliabile rispondere a questa domanda: Quanto tempo ci servirebbe per valutare un'alternativa e quanto tempo ci servirebbe per passare al nuovo sistema, qualora si rivelasse migliore?
Se la risposta è "giorni per valutare, settimane per apportare modifiche", la posizione è corretta. Se invece la risposta è che i flussi dovrebbero essere rifatti, l'azienda non sta scegliendo un fornitore: ne eredita uno ogni anno.
Poiché prezzi, funzionalità e disponibilità cambiano più volte all'anno, lo Stanford HAI ha documentato che il costo di inferenza per un sistema equivalente a GPT-3.5 è diminuito di oltre 280 volte tra la fine del 2022 e la fine del 2024, e che le versioni specifiche vengono gradualmente dismesse.
La sostituzione del modello di una fase specifica dovrebbe essere una configurazione, non un progetto. Ciò richiede che la logica del flusso, i prompt versionati, il set di valutazione e il registro di esecuzione risiedano sull'infrastruttura aziendale, non su quella del fornitore.
Servono da guida, non da strumento decisionale. Misurano le capacità generali sulla base di test standardizzati, mentre ogni caso dipende dalla propria terminologia, dai documenti specifici, dalla tolleranza all'errore e dal budget. Un modello di rango inferiore potrebbe risultare più efficace in un caso specifico.
Si tratta di una raccolta di casi di studio reali con le risposte che l'organizzazione considera corrette. Resiste ai cambiamenti del modello di business, consente un confronto obiettivo delle alternative e trasforma la decisione di cambiare fornitore in una decisione basata sui dati anziché su un atto di fiducia.
Quando sono presenti sconti per volumi rilevanti, requisiti di residenza dei dati che solo quel fornitore soddisfa, integrazione nativa con la piattaforma già in uso o un piccolo team per il quale mantenere astrazioni sarebbe sproporzionato, la chiave è conservare la possibilità di uscire.
Con tre semplici passaggi che non richiedono di rifare tutto: estrarre i prompt e le istruzioni nel proprio repository e gestirne la versione, creare un set di valutazione con cinquanta o cento casi reali e isolare la chiamata al modello dietro la propria interfaccia personalizzata.
Quanto tempo impiegheresti a cambiare modello se il prezzo aumentasse domani? Abbiamo creato il livello di astrazione, l'insieme di valutazione e la registrazione in modo che la decisione torni nelle vostre mani. Parliamone → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
