ChatGPT-4, la versione del chatbot di OpenAI disponibile a pagamento, ha superato un rigoroso test di Turing, elaborato per capire quanto il suo comportamento sia simile a quello umano. L’esperimento è stato svolto da Matthew Jackson, professore di economia presso la Stanford School of Humanities and Sciences. La sua versione precedente, quella disponibile gratuitamente, non è riuscita a superare il test, come già accaduto in passato.
L’esperimento del team di Jackson ha anche dimostrato alcune peculiarità di ChatGPT, grazie a un test comportamentale e all’analisi delle sue decisioni. Il chatbot è molto altruista, ma poco amichevole. Lo studio ha anche analizzato il comportamento delle persone in relazione all’intelligenza artificiale e scoperto possibili pregiudizi presenti all’interno dei ragionamenti di ChatGPT-4.
Il test di Turing: ChatGPT è sempre più umano
L’esperimento svolto dal team del professor Matthew Jackson alla Stanford School of Humanities and Sciences ha coinvolto oltre 100mila persone da 50 Paesi diversi. L’obiettivo non era soltanto quello di verificare se ChatGPT, nelle sue versioni 3 e 4, fosse in grado di passare un test di Turing, ma anche di verificare i suoi comportamenti davanti ad alcuni problemi economici. Jackson si occupa infatti principalmente di economia comportamentale, disciplina che studia come i fattori umani, psicologici, emotivi, culturali e sociali influenzino il modo di gestire il denaro e prendere decisioni a riguardo.
Gli esercizi potevano includere la decisione di condividere informazioni o scelte su come spartire il denaro. Ai chatbot è stato chiesto non soltanto di scegliere, ma anche di chiarire il motivo per cui avevano fatto quelle precise scelte: “Sempre più spesso metteremo i bot in ruoli che richiederanno loro di prendere decisioni. Di conseguenza le loro caratteristiche comportamentali diventeranno sempre più importanti” ha commentato Jackson.
Il primo risultato di questa ricerca è che ChatGPT-4 ha passato il test di Turing. La sua versione passata, ChatGPT-3, ha invece fallito, come già successo in passato. Il test di Turing non è un esperimento sempre identico. Si tratta di una metodologia che permette di capire, tramite una serie di domande, se il proprio interlocutore sia o no una macchina. Se una IA passa il test significa che le risposte che ha dato sono indistinguibili da quelle che darebbe una persona. Il test deve il nome ad Alan Turing, matematico inglese che aiutò a decifrare la macchina nazista di crittografia Enigma durante la Seconda Guerra Mondiale, ponendo al contempo le basi per lo sviluppo dell’informatica e dei moderni computer digitali.
Il risultato del test non significa che ChatGPT-4 “sia umano”, ma soltanto che è in grado di imitare quasi perfettamente il comportamento e le risposte di una persona in determinati contesti. Il chatbot si basa su un Large Language Model, un tipo di tecnologia che porta la sua intelligenza artificiale ad analizzare una mole enorme di dati e a riconoscere in essa dei modelli di comportamento tipici delle persone. Quando gli viene fatta una domanda, ChatGPT risponde con le parole che, secondo la sua intelligenza artificiale, una persona utilizzerebbe, di fatto indovinandole in un gioco di probabilità.
Molto altruista, poco amichevole: le potenzialità di ChatGPT
L’esperimento del team di Jackson andava però molto oltre il semplice test ti Turing. Anche se il risultato di ChatGPT è stato molto rilevante, è solo una delle prime intelligenze artificiali in grado di passare il test, nello studio si trovano altre informazioni molto importanti sul comportamento e sulle attitudini di ChatGPT-4.
Oltre ai giochi decisionali che simulano situazioni economiche reali, Jackson ha sottoposto ChatGPT anche a un test comportamentale di alto livello, l’OCEAN Big-5. Quasi tutti i parametri rilevati da questo test hanno dimostrato che l’intelligenza artificiale di OpenAI ha comportamenti molto simili a quelli della media delle persone. Un solo dato era fuori scala, quello relativo a quanto il chatbot sia amichevole. Conversare con ChatGPT risulta infatti poco gradevole, tanto da posizionarlo nel 30% meno amichevole delle persone.
Nonostante questo però, i suoi comportamenti dal punto di vista economico hanno rivelato un dato in apparente contraddizione con quest’ultimo. ChatGPT è altruista ed empatico e segue i principi di reciprocità ed equità soprattutto nella distribuzione del denaro. Pur risultando quindi poco amichevole, le sue decisioni sono orientate ad accontentare il più possibile tutte le parti in causa. Questa caratteristica lo renderebbe, secondo Jackson, una buona soluzione da utilizzare nell’ambito dell’assistenza ai clienti.
Il professor Jackson ha spiegato in questo modo il comportamento di ChatGPT: “Immaginate di andare presso un ufficio pubblico per chiedere aiuto. La persona dietro al bancone può rispondervi ‘Non posso fare niente’ in maniera cortese, sorridendo. ChatGPT è l’opposto. È in grado quasi sempre di fare l’azione più utile per la società, ma raramente è piacevole con il suo interlocutore nel farlo”.
Un’altro aspetto importante della ricerca, secondo uno dei collaboratori di Jackson Qiaozhu Mei, informatico dell’Università del Michigan, è stata la possibilità di esaminare i comportamenti di ChatGPT grazie ai test di carattere economico e non soltanto le sue parole. Grazie ai risultati ottenuti nei test è stato possibile trovare diversi pregiudizi che il chatbot ha sviluppato durante la sua raccolta dati. Un impresa altrimenti difficile, che in precedenza richiedeva obbligatoriamente l’analisi dei dati stessi che erano stati sottoposti a GPT-4, l’intelligenza artificiale su cui si basa il programma.
In conclusione allo studio, Jackson e il suo team hanno tenuto a sottolineare come questi risultati non siano da considerarsi definitivi. Per sua stessa natura, ChatGPT e tutti gli altri chatbot basati su Large Language Model sono suscettibili a cambiamenti. In particolare i risultati dei test comportamentali potrebbero cambiare radicalmente nei prossimi anni: “Da questa semplice serie di esperimenti non è chiaro quanto stabile possa essere nel tempo il comportamento di ChatGPT o come il bot possa interagire in situazioni diverse da quelle proposte” ha chiarito il professor Jackson.
Infine, il professor Jackson ha espresso preoccupazione per il comportamento molto “standard” di ChatGPT. Dando risposte che ogni persona darebbe il chatbot potrebbe portare una “Diminuzione nella diversità delle strategie, specialmente quando messo a confronto con situazioni nuove in cui deve prendere decisioni importanti”.
