Ja domājat, ka visu dienu ritinot internetu, jūs kļūstat dumjāki, iedomājieties, ko tas dara ar lieliem valodu modeļiem, kas patērē gandrīz nebeidzamu absolūtas miskastes straumi, kas tiek pārmeklēta no tīmekļa “apmācības” vārdā. Pētnieku grupa nesen ierosināja un pārbaudīja teoriju ar nosaukumu “LLM smadzeņu puves hipotēze”, kas apgalvoja, ka, jo vairāk nevēlamo datu tiek ievadīts AI modelī, jo sliktāki būs tā rezultāti. Izrādās, ka tā ir diezgan stabila teorija, jo pirmsdrukāšanas papīrs, ko komanda publicējusi arXiv, liecina, ka “smadzeņu puve” ietekmē LLM un izraisa nenozīmīgu kognitīvo pasliktināšanos.
Pētnieki no Teksasas A&M universitātes, Teksasas Universitātes Ostinas un Purdjū universitātes, lai redzētu, kā LLM darbojas, izmantojot vienmērīgu interneta kanalizācijas sistēmu. identificēja divu veidu “junk” datus: īsi sociālo mediju ieraksti, kas ir ļoti saistoši, tostarp atzīmes Patīk un atkārtotas ziņas, kā arī garāks saturs ar klikšķēsmas virsrakstiem, sensacionālu prezentāciju un virspusēju faktiskās informācijas līmeni. Būtībā tāda paša veida saturs, kas arī izputina mūsu smadzenes. Paturot to prātā, pētnieki apkopoja vienu miljonu ziņu paraugu vietnē X un pēc tam apmācīja četrus dažādus LLM par dažādiem kontroles datu un nevēlamu datu maisījumiem, lai noskaidrotu, kā tas ietekmēs veiktspēju.
Un vai jūs to nezinātu, izrādās, ka patērēt tieši no interneta poligona, kas ir X, nav lieliski, lai skaidri domātu. Visi četri pārbaudītie modeļi — Llama3 8B, Qwen2.5 7B/0.5B, Qwen3 4B — uzrādīja dažus kognitīvās pasliktināšanās veidus. Meta’s Llama izrādījās visjutīgākais pret nevēlamo saturu, redzot kritumus tās spriešanas spējās, konteksta izpratnē un drošības standartu ievērošanā. Interesanti, ka daudz mazāks modelis Qwen 3 4B izrādījās izturīgāks, lai gan joprojām cieta kritumu. Tas arī atklāja, ka, jo augstāks ir sliktu datu rādītājs, jo lielāka iespēja, ka modelis pārslēgsies režīmā “bez domāšanas”, nesniedzot nekādu pamatojumu savai atbildei, kas, visticamāk, bija neprecīza.
Pētnieki atklāja, ka ne tikai kļūstot “stulbākam” savā domāšanā, guess arī radīja interesantu efektu: tas izraisīja izmaiņas modeļa “personībā”, pakļaujoties tam, ko pētnieki nosauca par “tumšajām iezīmēm”. Piemēram, modelim Llama 3 bija ievērojami augstāks narcisma līmenis un tas kļuva mazāk patīkams. Tas arī mainījās no gandrīz nekādu psihopātijas pazīmju parādīšanas līdz ārkārtīgi augstam uzvedības līmenim.
Interesanti, ka pētnieki arī atklāja, ka mazināšanas paņēmieni, kas veikti, lai mēģinātu samazināt nevēlamo datu ietekmi, nevar pilnībā novērst sliktas informācijas radīto kaitējumu. Rezultātā pētnieki brīdina, ka visu datu pārmeklēšana tīmeklī var nesniegt labākus rezultātus LLM, jo informācijas apjoms nav līdzvērtīgs kvalitātei. Viņi norāda, ka varētu būt nepieciešama rūpīgāka aprūpe, lai novērstu šos iespējamos zaudējumus, jo, iespējams, nebūs nekādu atgriešanās iespēju, kad modeli pabarosiet ar atkritumiem. Acīmredzot uz LLM attiecas noteikums “tu esi tas, ko tu ēd”.
