E’ stato ufficialmente rilasciato il successore di GPT3 e GPT 3.5. GPT4 porta con sé rilevanti evoluzioni, in particolare nell’elaborazione del linguaggio naturale.
GPT4 rappresenta una evoluzione significativa nel campo dell’AI. I GPT, ovvero i trasformatori generativi pre-addestrati, sono un tipo di modello di apprendimento profondo utilizzato per generare testo simile a quello umano.
In precedenza, la generazione del testo veniva eseguita con modelli di apprendimento profondo, come le reti neurali ricorsive (RNN) e le reti neurali a lungo termine e a breve termine, adatte all’elaborazione di singole parole o brevi frasi, senza la possibilità di generare contenuti più lunghi e più attinenti alla realtà.
Indice
GPT4, l’evoluzione più avanzata nell’AI
Il Generative Pre-Trained Transformer versione 4, ovvero GPT4, è un modello di deep learning di generazione testo, anche questo svilluppato da OpenAI, come le precedenti versioni.
Questo modello, nella sua ultima versione, però, accetta in input sia immagini che testo, generando output di testo, grazie all’implementazione di trasformatori generativi pre-addestrati per migliorare il linguaggio naturale.
GPT4 ha il potenziale per essere utilizzato in vari settori. La sua capacità di elaborare grandi quantità di dati potrebbe essere utile per le attività di data mining, l’analisi dei dati e la previsione del mercato.
La valutazione da parte di OpenAI di questa evoluzione del modello è stata effettuata tramite test progettati per le persone, come LSAT per gli avvocati e il SAT per l’ammissione alle Università, e GPT 4 ha raggiunto prestazioni elevate anche utilizzando tradizionali riferimenti progettati per modelli di apprendimento automatico, come domande a scelta multipla in 57 materie, ragionamenti su eventi quotidiani, domande scientifiche di base a scelta multipla, anche in altre lingue.
Su 26 lingue testate GPT4, utilizzando Azure Template, ha superato le prestazioni in lingua inglese, rispetto alle performance traguardate da GPT 3.5.
Tutti questi test indicano dei progressi significativi, da parte di GPT 4, nello sviluppare modelli di AI con capacità sempre più avanzate.
Una componente fondamentale di questo progetto è stato lo sviluppo di infrastrutture e metodi di ottimizzazione che si comportano in modo prevedibile su una vasta gamma di scale, permettendo di prevedere con precisione alcuni aspetti delle prestazioni di GPT4 sulla base di modelli addestrati con non più di 1/1,000th il calcolo di GPT 4.
Per gli utenti ChatGPT Plus, nella versione a pagamento a 20 dollari al mese, è già possibile testare GPT 4, per tutti gli altri utenti sarà necessario inserire i propri dati in una apposita waiting list.
E’ veramente molto interessante la lettura del report tecnico. L’allegato A del report descrive puntualmente tutti i benchmark professionali e accademici utilizzati come test.
Come è consuetudine, OpenAI dà molto spazio ai feedback dei suoi utenti. OpenAI Evals open source è il framework per la valutazione automatizzata delle prestazioni del modello AI, per consentire a chiunque di segnalare carenze nei modelli e indirizzare ulteriori miglioramenti.
OpenAI ha sottoposto il sistema a sei mesi di formazione sulla sicurezza e a seguito di test ha dimostrato di avere “l’82% in meno di probabilità di rispondere a richieste di contenuti non consentiti e il 40% in più di probabilità di produrre risposte concrete rispetto a GPT3.5”.
Tuttavia OpenAI ha dichiarato che “in una conversazione casuale, la distinzione tra GPT3.5 e GPT4 può essere sottile. La differenza emerge quando aumenta la complessità della richiesta. GPT4 è più affidabile, creativo e in grado di gestire istruzioni molto più complesse rispetto a GPT3.5″.
Le questioni etiche
Anche l’uscita di GPT4 solleva questioni etiche con riferimento al suo utilizzo. GPT4 è in grado di generare testi molto convincenti e potrebbe essere utilizzato per creare contenuti ingannevoli o fraudolenti, con conseguenze negative per gli utenti e i consumatori in generale.
Anche in questa versione l’uso di GPT4 potrebbe portare alla generazione di contenuti discriminatori o offensivi, sia consapevolmente che inconsciamente, a causa dei bias dei dati di addestramento e solleva preoccupazioni su protezione dei dati personali e la loro sicurezza.
Differenze con GPT3
La principale differenza tra GPT3 e la versione 4 risiede nelle nuove capacità multimodali di GPT4.
Gli usi della versione 3 erano relativi alle chatbot, alle risposte alle domande e a riepilogare testi. Nella versione 4 si aggiunge l’elaborazione di immagini e testo. In entrambi i casi si parla sempre di una conoscenza limitata degli eventi dopo il 2021.
Non avrebbe molto senso soffermarsi sulla accessibilità visto che GPT 4 è stato rilasciato ora.
La storia di GPT
L’11 Giugno 2018 OpenAI pubblica il paper Improving Language Understanding by Generative Pre-Training sull’utilizzo della comprensione del linguaggio naturale, che porta al rilascio del modello linguistico GPT1, mai rilasciato pubblicamente.
Il 14 febbraio 2019 OpenAI ha pubblicato il paper Language Models are Unsupervised Multitask Learners sul modello GPT2. Il modello viene messo a disposizione della community trovando un certo riscontro in termini di utilizzo.
Il 28 maggio 2020 OpenAI ha pubblicato il paper Language Models are Few-Shot Learners sul modello GPT3. Il modello era stato addestrato su un set di dati di testo ancora più grande, con conseguenti migliori prestazioni del modello. Il modello ha continuato a essere migliorato con GPT 3.5, incluso ChatGPT incentrato sulla conversazione.
ChatGPT è diventata l’applicazione web in più rapida crescita di sempre, raggiungendo 100 milioni di utenti in soli due mesi.
Cosa prevede il futuro?
Secondo alcuni rumor GPT5 dovrebbe essere previsto per la fine del 2024 o nel 2025 .
