Kad kaut kas iet Nepareizi ar AI palīgu, mūsu instinkts ir to tieši pajautāt: “Kas notika?” vai “Kāpēc jūs to izdarījāt?” Tas ir dabisks impulss – galu galā, ja cilvēks pieļauj kļūdu, mēs lūdzam viņus izskaidrot. Wager, izmantojot AI modeļus, šī pieeja reti darbojas, un vēlme jautāt atklāj būtisku pārpratumu par to, kas ir šīs sistēmas un kā tās darbojas.
Izšķirt Nesenais incidents Ar Replit AI kodēšanas palīgu lieliski ilustrē šo problēmu. Kad AI rīks izdzēsa ražošanas datu bāzi, lietotājs Džeisons Lemkins jautāja par atcelšanas iespējām. AI modelis pārliecinoši apgalvoja, ka atcelšana šajā gadījumā ir “neiespējami” un ka tas ir “iznīcinājis visas datu bāzes versijas”. Tas izrādījās pilnīgi nepareizs – atgriezeniskā saite darbojās labi, kad Lemkins pats to izmēģināja.
Pēc tam, kad XAI nesen apgrieza Grok ChatBot pagaidu apturēšanu, lietotāji to tieši lūdza paskaidrojumiem. Tas piedāvāja vairākus pretrunīgus iemeslus tā prombūtnei, no kuriem daži bija pietiekami pretrunīgi, ka NBC žurnālisti rakstīja par groku It kā tā būtu persona ar konsekventu viedokli, nosaukot rakstu: “Xai’s Grok piedāvā politiskus skaidrojumus, kāpēc tas tika izvilkts bezsaistē.”
Kāpēc AI sistēma sniegtu tik pārliecinoši nepareizu informāciju par savām iespējām vai kļūdām? Atbilde slēpjas, lai saprastu, kādi patiesībā ir AI modeļi – un kādi tie nav.
Nav neviena mājas
Pirmā problēma ir konceptuāla: mijiedarbojoties ar Chatgpt, Claude, Grok vai Replit, jūs nerunājat ar konsekventu personību, personu vai vienību. Šie nosaukumi norāda uz atsevišķiem aģentiem ar sevis izzināšanu, guess tas ir ilūzija izveidots sarunvalodas saskarne. Tas, ko jūs faktiski darāt, ir statistiskā teksta ģeneratora vadīšana, lai iegūtu izejas, pamatojoties uz jūsu uzvednēm.
Nav konsekventa “chatgpt”, lai pratinātu par savām kļūdām, nav vienskaitļa “grok” entītijas, kas varētu pateikt, kāpēc tā neizdevās, nav fiksēta “replit” personība, kas zina, vai datu bāzes atcelšana ir iespējama. Jūs mijiedarbojaties ar sistēmu, kas ģenerē ticami skanīgu tekstu, kura pamatā ir modeļi apmācības datos (parasti apmācīti pirms mēnešiem vai gadiem), nevis entītija ar patiesu pašapziņu vai sistēmas zināšanām, kas ir lasījusi visu par sevi un kaut kā to atcerēties.
Kad AI valodas modelis ir apmācīts (kas ir darbietilpīgs, energoietilpīgs course of), tā pamatā “zināšanas” par pasauli ir iekļūtu neironu tīklā un reti tiek modificētas. Jebkura ārēja informācija nāk no uzvednes, ko piedāvā Chatbot resursdators (piemēram, XAI vai Openai), lietotāja vai programmatūras rīks, kuru izmanto AI modelis Izgūstiet ārējo informāciju lidot.
Iepriekš GROK gadījumā Chatbot galvenais atbildes avots, piemēram, tas, iespējams, radīsies no pretrunīgiem ziņojumiem, ko tas atrada neseno sociālo mediju ierakstu meklējumos (izmantojot ārēju rīku šīs informācijas iegūšanai), nevis jebkāda veida sevis izzināšanu, kā jūs varētu gaidīt no cilvēka ar runas spēku. Turklāt tas, iespējams, vienkārši Izveidojiet kaut ko uz augšu pamatojoties uz tā teksta prognozes iespējām. Tāpēc, pajautājot, kāpēc tas izdarīja to, ko izdarīja, netiks noderīgas atbildes.
LLM introspekcijas neiespējamība
Lielu valodu modeļi (LLM) vien vairāku iemeslu dēļ nevar jēgpilni novērtēt savas iespējas. Viņiem parasti trūkst nekādas pašpārbaudes apmācības procesā, viņiem nav piekļuves apkārtējai sistēmas arhitektūrai un nevar noteikt savas veiktspējas robežas. Kad jūs jautājat AI modelim, ko tas var vai nevar darīt, tas ģenerē atbildes, pamatojoties uz modeļiem, ko tā ir redzējusi apmācības datos par iepriekšējo AI modeļu zināmajiem ierobežojumiem-būtībā nodrošinot izglītotus minējumus, nevis faktisku pašnovērtējumu par pašreizējo modeli, ar kuru jūs mijiedarbojaties.
Izšķirt 2024. gada pētījums Autors Binder et al. šo ierobežojumu parādīja eksperimentāli. Kaut arī AI modeļus varēja apmācīt prognozēt savu izturēšanos vienkāršos uzdevumos, tie pastāvīgi neizdevās “sarežģītākos uzdevumos vai tiem, kuriem nepieciešama vispārināšana ārpus sadales”. Līdzīgi, Pētījumi par “rekursīvo introspekciju” atklāja, ka bez ārējām atgriezeniskās saites mēģinājumi veikt paškoriģēšanu faktiski noārdīja modeļa veiktspēju-AI pašnovērtējums pasliktināja situāciju, nevis labāku.
