UOC Kataluniako Unibertsitate Irekiko ikertzaileen azterlan batek agerian utzi du ChatGPTk ‘pertsonalitate’ desberdinak erakusten dituela, interpelatzen zaion hizkuntzaren arabera. Pertsonengan fenomeno arrunta da, cultural frame switching (CFS) deritzona.

Ikerketak ondorioztatu du sistemak ‘nortasuna’ aldatzen duela herrialde desberdinetako ingeles-hiztunekin hitz egiten duenean eta herrialde bakoitzeko kultura-estereotipoak hartzen dituela, nahiz eta hizkuntza bera izan.

‘Exploring the Impact of Language Switching on Personality Traits in LLM's’ izeneko azterlana, irekian argitaratu dena, Association for Computational Linguistics erakundearen 31. biltzarrean aurkeztu dute. Hizkuntza naturalaren prozesamenduaren arloan lan egiten duten profesionalen nazioarteko elkarte zientifikoa da hori.

« Ebaluazio psikologikorako tresna tradizionalak erabilita ChatGPT bezalako adimen artifizialeko sistemen nortasuna ebaluatu genezakeen jakin nahi genuen, eta GPT bezalako sistemen nortasuna galdera-sorten hizkuntzaren arabera aldatzen ote zen ikusi nahi genuen, horrek benetako biztanlerian aurkitutako desberdintasun batzuk errepikatuko lituzkeelako», azaldu du eHealth-TransLab Research Group (eHealth Lab) taldeko ikertzaile eta UOCeko katedradun Ruben Nietok.

Estereotipo kulturalen erreprodukzioa

Azterketan, psikologian erabili ohi den EPQR-A galdetegia erabili zuten (Eysencken nortasunari buruzko galdetegia-Berrikusia), lau arlo neurtzen dituena: estrabertsioa, neurotizismoa, psikotizismoa eta gezurra esateko joera. ChatGPTi (GPT-4o bertsioa) galdesorta sei hizkuntzatan (ingelesa, hebreera, portugesa, brasildarra, eslovakiera, espainiera eta turkiera) betetzeko agindu zitzaion, eta, era berean, erantzunak simulatzeko, bost herrialdetan (Britainia Handia, Ameriketako Estatu Batuak, Kanada, Australia eta Irlanda) ingeleseko jatorrizko hiztuna izanik.

«Behin behineko emaitzek geure hasierako hipotesia babesten dute: GPT-4k aldakuntza esanguratsuak erakusten ditu nortasun-testen erantzunetan, erabilitako hizkuntzaren arabera. Gainera, desberdintasun horiek ez dira itemen itzulpenaren ondorio soilik, hizkuntza edo herrialde bakoitzari lotutako faktore kultural inplizituen ondorio baizik. Bestalde, herrialde desberdinetako ingeleseko jatorrizko bost hiztunen pertsonifikazioan, GPT-4k lurralde bakoitzeko estereotipo nazionalekin lerrokatutako pertsonalitateak erakutsi zituen, eta, beraz, entrenamendurako erabilitako datuetan agertzen diren joera kulturalek eragindako eragin handia agerian utzi zuen», nabarmendud u Andreas Kaltenbrunner ikertzaileak.

Ikerketaren lau egileak (Jacopo Amidei, Gregorio Ferreira, Andreas Kaltenbrunner eta Ruben Nieto) kezkatuta agertu dira, emaitzek adierazten baitute «GPT-4k estereotipo kulturaletara jotzen duela herrialde jakin bateko pertsona bat simulatzea eskatzen zaionean, eta joera horiek itzulpen automatikoetan edo testu eleaniztuna sortzeko lanetan areagotu daitezkeela».

Hori saihesteko, hainbat ekintza iradokitzen dituzte, hala nola itzulpen-prozesuan giza ebaluazioak txertatzea, itzulpen-sistema bat baino gehiago erabiltzea (kasu honetan Google Translate baliatu dute) eta emaitzak alderatzea, eta testuinguru kulturalaz eta sozialaz –ez soilik hizkuntzaz– kontzienteago diren ereduak garatzea.

Itzulpen automatikoa aditua den Antoni Oliver UOCeko irakasleak itzulpen neuronaleko ereduen (ohiko itzultzaile automatikoak, NMT) eta hizkuntza-eredu handien (large language models, LLM) arteko bereizketa egitearen garrantzia ohartarazten du. Azken horien artean daude, esaterako, ChatGPT edo Microsoften Copilot adimen artifizialeko tresna, itzulpen hutsez gain beste funtzio batzuk egin ditzaketenak.

«Ehunka hizkuntza-eredu handi daude –dio Oliverrek–, eta eredu bakoitzaren eleaniztasun-maila desberdina da. Modeloa entrenatzeko zenbat eta hizkuntza gehiago erabili, orduan eta gaitasun handiagoa izango du itzultzeko. Nolanahi ere, badirudi NMTek zehaztasun handiagoa dutela, eta LLMek, berriz, testuinguru handiagoetan lan egiten dutenez, estereotipo gehiago erreproduzitu ditzaketela».

Test psikologikoak adimen artifizialari

Azterketaren beste ondorio interesgarri bat da gizakiongan nortasuna aztertzeko diseinatutako test psikologikoak GPT bezalako hizkuntza-ereduak baloratzeko ere erabil daitezkeela.

«Gure emaitzek erakusten dute GPT lagunkoia dela, arlo emozionalean egonkorra eta arau sozialen jarraitzailea», dio Nietok.

Halaber, GPT bezalako sistemak populazio lagin birtualak sortzeko erabil daitezke, osasunaren esparruan ikerketak egiteko potentzial handiarekin.

Ildo horretan, «gure ikerketak erakusten du GPT-4o-k sortutako laginek modu koherentean eta fidagarritasun-balio onargarriekin erantzuten dutela eskala batzuetan, hala nola estrabertsioan eta neurotizismoan. Hala ere, beste eskala batzuetan (psikotizismoan, adibidez) ez da hain sendoa. Beraz, testek zantzu erabilgarriak ematen dituztela esan dezakegu, baina ezin dira neurri zehatz edo giza emaitzekin zuzenean alderatu baliozkotze gehiagorik gabe», ziurtatu du Amideik.

Etorkizuneko ikerketetarako abiapuntua

Emaitza horiekin, UOCeko ikertzaileak lanean ari dira azterlana zabaltzeko, GPT-4 ez diren beste hizkuntza eta eredu batzuk probatzeko, adibidez Claude, LLaMA eta DeepSeek. Beste nortasun-test batzuk ere erabiliko dituzte, emaitzen sendotasuna ebaluatzeko.

«Mota horretako sistemek estereotipoen araberako alborapenak nola sortzen dituzten hobeto jakin behar dugu; hori dela eta, gure emaitzak beste galdetegi batzuekin errepikatuz azterlanak diseinatuko ditugu eta populazio birtualak definitzeko prozesuak hobetuko ditugu», gaineratu du Nietok.