Vai slikti stimuli ir vainīgi AI halucinācijās?

Izšķirt Jauns pētniecības darbs No Openai jautā, kāpēc lielu valodu modeļi, piemēram, GPT-5 un Chatbots, piemēram, Chatgpt, joprojām halucinē, un vai kaut ko var izdarīt, lai samazinātu šīs halucinācijas.

Iekšā Emuāra ieraksts, kurā apkopots papīrsOpenai definē halucinācijas kā “ticamus, wager nepatiesus apgalvojumus, ko rada valodu modeļi”, un tā atzīst, ka, neraugoties uz uzlabojumiem, halucinācijas “joprojām ir būtisks izaicinājums visiem lielo valodu modeļiem” – tādu, kas nekad netiks pilnībā novērsts.

Lai ilustrētu punktu, pētnieki saka, ka, kad viņi jautāja “plaši izmantots tērzēšanas robots” par Ādama Taumaņa Kalai doktora nosaukumu. Disertācija, viņi ieguva trīs dažādas atbildes, tās visas nepareizas. (Kalai ir viens no papīra autoriem.) Pēc tam viņi jautāja par viņa dzimšanas dienu un saņēma trīs dažādus datumus. Atkal viņi visi bija nepareizi.

Kā tērzēšanas robots var būt tik nepareizs – un izklausīties tik pārliecināts par tā nepareizību? Pētnieki norāda, ka halucinācijas daļēji rodas iepriekšējas izstrādes procesa dēļ, kas koncentrējas uz modeļu iegūšanu, lai pareizi prognozētu nākamo vārdu, bez patiesām vai nepatiesām etiķetēm, kas pievienotas apmācības paziņojumiem: “modelī ir tikai pozitīvi tekošas valodas piemēri, un tai ir jāapmierina kopējais sadalījums.”

“Pareizrakstība un iekavās notiek konsekventi modeļi, tāpēc kļūdas tur pazūd ar mērogu,” viņi raksta. “Wager patvaļīgi zemas frekvences fakti, tāpat kā mājdzīvnieka dzimšanas diena, nevar paredzēt tikai no modeļiem un tādējādi izraisīt halucinācijas.”

Papilda piedāvātais risinājums tomēr mazāk koncentrējas uz sākotnējo pirmstermiņa procesu un vairāk uz to, kā tiek novērtēti lielo valodu modeļi. Tā apgalvo, ka pašreizējie novērtēšanas modeļi paši neizraisa halucinācijas, wager tie “nosaka nepareizus stimulus”.

Pētnieki salīdzina šos novērtējumus ar atbilžu variantu testiem, kas nejauši uzminē, ir jēga, jo “jums varētu paveikties un jums būt taisnība”, atstājot atbildi tukšu “garantē nulli”.

“Tādā pašā veidā, kad modeļi tiek vērtēti tikai pēc precizitātes, to jautājumu procentuālais daudzums, kas viņiem ir tieši pareizi, viņi tiek mudināti uzminēt, nevis teikt“ es nezinu ”, viņi saka.

Tad ierosinātais risinājums ir līdzīgs testiem (piemēram, SAT), kas ietver “negatīvu [scoring] par nepareizām atbildēm vai daļēju kredītu par tukšu jautājumu atstāšanu, lai atturētu no aklām uzminēšanas. ” Līdzīgi Openai saka, ka modeļa novērtēšanai ir nepieciešams “sodīt pārliecinātas kļūdas vairāk, nekā jūs sodāt nenoteiktību, un jāpiešķir daļējs kredīts par atbilstošām nenoteiktības izpausmēm”.

Un pētnieki apgalvo, ka ar to nav pietiekami, lai ieviestu “dažus jaunus neskaidrības, kas apzinās testus no sāniem”. Tā vietā “ir jāatjaunina plaši izmantotie, uz precizitāti balstītie evals, lai viņu vērtēšana atturētu no uzminēšanas.”

“Ja galvenie rezultātu dēļi turpinās apbalvot laimīgos minējumus, modeļi turpinās mācīties uzminēt,” saka pētnieki.