AI ģenerēts datora kods ir izplatīta ar atsaucēm uz neeksistējošām trešo personu bibliotēkām, radot zelta iespēju piegādes ķēdes uzbrukumiem, kas saindē likumīgas programmas ar ļaunprātīgām paketēm, kas var nozagt datus, stādīt aizmugures un veikt citas niecīgas darbības, nesen publicēti pētījumi.
Pētījumā, kurā tika izmantoti 16 no visplašāk izmantotajiem lielo valodu modeļiem, lai ģenerētu 576 000 kodu paraugus, atklājās, ka 440 000 no viņu ietvertajām paketes atkarībām bija “halucinēti”, kas nozīmē, ka tiem nebija. Atvērtā koda modeļi halucinēja visvairāk, 21 procents atkarību saista ar neeksistējošām bibliotēkām. Atkarība ir būtiska koda sastāvdaļa, kas atsevišķam koda gabalam ir jāstrādā pareizi. Atkarības izglābj izstrādātājus par problēmu pārrakstīšanas koda un ir būtiska mūsdienu programmatūras piegādes ķēdes sastāvdaļa.
Paketes halucinācijas zibatmiņas
Šīs neeksistējošās atkarības rada draudus programmatūras piegādes ķēdei, saasinot tā sauktos atkarības neskaidrības uzbrukumus. Šie uzbrukumi darbojas, liekot programmatūras pakotnei piekļūt nepareizai komponentu atkarībai, piemēram, publicējot ļaunprātīgu paketi un piešķirot tai tādu pašu vārdu kā likumīgajam, guess ar vēlāku versijas zīmogu. Programmatūra, kas ir atkarīga no pakotnes, dažos gadījumos izvēlēsies ļaunprātīgu versiju, nevis likumīgu, jo bijušais šķiet nesenāks.
Šī uzbrukuma forma bija pazīstama arī kā paketes apjukums vispirms parādīts 2021. gadā koncepcijas pierādīšanas ekspluatācijā, kas izpildīja viltotu kodu tīklos, kas pieder dažiem no lielākajiem planētas uzņēmumiem, Apple, Microsoft un Tesla. Tas ir viena veida tehnika, ko izmanto programmatūras piegādes ķēdes uzbrukumos, kuru mērķis ir saindēt programmatūru pašā avotā, mēģinot inficēt visus lietotājus pakārtotajā.
“Kad uzbrucējs publicē paketi ar halucinētu vārdu, kurā ir kāds ļaunprātīgs kods, viņi paļaujas uz modeli, kas liek domāt par vārdu nenojaušošiem lietotājiem,” Džozefs Špraklens, Teksasas Universitāte Sanantonio Ph.D. College students un vadošais pētnieks, pa e -pastu sacīja ARS. “Ja lietotājs uzticas LLM izvadei un instalē paketi, rūpīgi to nepārbaudot, uzbrucēja kravai, kas paslēpta ļaunprātīgā paketē, tiks izpildīta lietotāja sistēmā.”
AI halucinācijas rodas, ja LLM rada izejas, kas faktiski ir nepareizas, muļķīgas vai pilnīgi nesaistītas ar tā uzdevumu. Halucinācijas jau sen ir aizkustinājušas LLM, jo tās pasliktina savu lietderību un uzticamību un ir izrādījušās ļoti grūti prognozējamas un labotas. A papīrpapīrs Paredzēts, ka tiks prezentēts 2025. gada Usenix drošības simpozijā, viņi ir nodēvējuši parādību par “paketi halucināciju”.
Pētījumā pētnieki veica 30 testus, 16 Python programmēšanas valodā un 14 JavaScript, kas vienā testā ģenerēja 19 200 koda paraugus, kopumā 576 000 koda paraugu. No 2,23 miljoniem iesaiņojuma atsauces, kas ietvertas šajos paraugos, 440,445 jeb 19,7 procenti norādīja uz pakotnēm, kas neeksistēja. Starp šīm 440 445 pakešu halucinācijām 205 474 bija unikāli pakešu nosaukumi.
Viena no lietām, kas pakešu halucinācijas padara potenciāli noderīgas piegādes ķēdes uzbrukumos, ir tā, ka 43 procenti pakešu halucināciju tika atkārtoti vairāk nekā 10 jautājumos. “Turklāt,” rakstīja pētnieki, “58 procentus laika, halucinētu paketi atkārto vairāk nekā vienu reizi 10 iterācijās, kas parāda, ka lielākā daļa halucināciju nav vienkārši nejaušas kļūdas, guess atkārtota parādība, kas pauž vairākus iterācijas. Tas ir nozīmīgs, jo ir vērts hallicinācija, un tas ir vairāk vērtīgs, un tas ir vairāk kā saudzīgs, un tas ir saistīts ar hallicināciju, un“ tas ir vairāk kā saudzīgs.
