Home Tehnoloģija Kā Anthropic’s AI tika uzlauzts, lai kļūtu par ieroci

Kā Anthropic’s AI tika uzlauzts, lai kļūtu par ieroci

7
0

Ķīniešu hakeri automatizēja 90% spiegošanas kampaņas, izmantojot Antropiskais Klods, pārkāpjot četras organizācijas no 30, kuras viņi izvēlējās kā mērķi.

"Viņi sadalīja savus uzbrukumus nelielos, šķietami nevainīgos uzdevumos, kurus Klods veiktu, nesniedzot pilnīgu sava ļaunā mērķa kontekstu." Džeikobs Kleins, Anthropic draudu izlūkošanas vadītājs, pastāstīja VentureBeat.

AI modeļi ir sasnieguši novirzes punktu agrāk, nekā bija paredzējis lielākā daļa pieredzējušo draudu pētnieku, par ko liecina hakeri, kas spēj uzlauzt modeli un uzsākt uzbrukumus neatklāti. Uzvedņu maskēšana kā daļa no likumīgas pildspalvas testēšanas, kuras mērķis ir izfiltrēt konfidenciālus datus no 30 mērķorganizācijām, atspoguļo to, cik spēcīgi modeļi ir kļuvuši. Cietuma laušana, pēc tam modeļa bruņošana pret mērķiem, vairs nav raķešu zinātne. Tagad tas ir demokratizēts drauds, ko ikviens uzbrucējs vai nacionālā valsts var izmantot pēc vēlēšanās.

Kleins atklāja The Wall Street Journalkas pārtrauca stāstu, ka "hakeri savus uzbrukumus veica burtiski ar pogas klikšķi." Vienā pārkāpumā, "hakeri lika Anthropic Claude AI rīkiem veikt vaicājumus iekšējās datu bāzēs un neatkarīgi iegūt datus." Cilvēku operatori iejaucās tikai četros līdz sešos lēmumu pieņemšanas punktos katrā kampaņā.

Arhitektūra, kas to padarīja iespējamu

Uzbrukuma 30 organizācijām sarežģītība nav atrodama rīkos; tas ir orķestrācijā. Uzbrucēji izmantoja preču pārbaudes programmatūru, ko ikviens var lejupielādēt. Uzbrucēji rūpīgi sadalīja sarežģītas operācijas nevainīga izskata uzdevumos. Klods domāja, ka tas veic drošības auditus.

Sociālā inženierija bija precīza: uzbrucēji uzrādīja sevi kā kiberdrošības firmu darbiniekus, kas veic autorizētas iespiešanās pārbaudes, Kleins pastāstīja WSJ.

Avots: Antropisks

Arhitektūra, detalizēti aprakstīta Anthropic ziņojumsatklāj MCP (Mannequin Context Protocol) serverus, kas vienlaikus vērš vairākus Claude apakšaģentus pret mērķa infrastruktūru. Ziņojumā ir aprakstīts, kā "ietvars izmantoja Claude kā orķestrēšanas sistēmu, kas sarežģītus daudzpakāpju uzbrukumus sadalīja atsevišķos tehniskos uzdevumos Kloda apakšaģentiem, piemēram, ievainojamības skenēšana, akreditācijas datu pārbaude, datu ieguve un sānu pārvietošana, un katrs no tiem šķita likumīgs, vērtējot atsevišķi."

Šī sadalīšanās bija kritiska. Pasniedzot uzdevumus bez plašāka konteksta, uzbrucēji pamudināja Klodu "izpildīt atsevišķus uzbrukuma ķēžu komponentus bez piekļuves plašākam ļaunprātīgam kontekstam," saskaņā ar ziņojumu.

Uzbrukuma ātrums sasniedza vairākas operācijas sekundē, saglabājoties stundām ilgi bez noguruma. Cilvēku iesaistīšanās samazinājās līdz 10 līdz 20% no piepūles. Tradicionālās trīs līdz sešu mēnešu kampaņas, kas saspiestas līdz 24 līdz 48 stundām. Ziņojuma dokumenti "maksimālā aktivitāte ietvēra tūkstošiem pieprasījumu, kas atspoguļo ilgstošu vairāku darbību pieprasījumu skaitu sekundē."

Avots: Anthropic

Sešu fāzu uzbrukuma progresēšana, kas dokumentēta Anthropic ziņojumā, parāda, kā AI autonomija palielinājās katrā posmā. 1. fāze: cilvēks izvēlas mērķi. 2. fāze: Klods autonomi kartē visu tīklu, atklājot "iekšējie pakalpojumi mērķtīklos, izmantojot sistemātisku uzskaiti." 3. fāze: Klods identificē un apstiprina ievainojamības, tostarp SSRF trūkumus. 4. fāze: akreditācijas datu iegūšana tīklos. 5. fāze: datu ieguve un izlūkošanas datu klasificēšana. 6. fāze: pilnīga dokumentācija nodošanai.

"Klods darīja gandrīz visas sarkanās komandas darbu," Kleins pastāstīja VentureBeat. Izlūkošana, ekspluatācija, sānu kustība, datu ieguve — tas viss notika ar minimālu cilvēka virzību starp fāzēm. Anthropics ziņojumā tas atzīmēts "kampaņa demonstrēja vēl nebijušu mākslīgā intelekta integrāciju un autonomiju visā uzbrukuma dzīves ciklā, un Kloda kods lielā mērā autonomi atbalsta izlūkošanu, ievainojamības atklāšanu, ekspluatāciju, pārvietošanos uz sāniem, akreditācijas datu iegūšanu, datu analīzi un eksfiltrācijas darbības."

Kā ieroču modeļi izlīdzina APT uzbrukumu izmaksu līkni

Tradicionālajām APT kampaņām bija nepieciešams tāds, kāds ir ziņojumā "10-15 kvalificēti operatori," "pielāgotas ļaunprātīgas programmatūras izstrāde," un "sagatavošanas mēneši." GTG-1002 bija nepieciešama tikai Claude API piekļuve, atvērtā koda modeļa konteksta protokola serveri un preču pārbaudes rīki.

"Tas, kas mūs šokēja, bija efektivitāte," Kleins pastāstīja VentureBeat. "Mēs redzam, ka nacionālās valsts spēja tiek sasniegta ar resursiem, kas pieejami jebkurai vidēja lieluma noziedzīgai grupai."

Ziņojumā teikts: "Minimālā paļaušanās uz patentētiem rīkiem vai uzlabotas izmantošanas izstrādes liecina, ka kiberspējas arvien vairāk izriet no preču resursu sakārtošanas, nevis no tehniskām inovācijām."

Kleins savā diskusijā ar VentureBeat uzsvēra autonomās izpildes iespējas. Ziņojums apstiprina Klodu neatkarīgi "skenēta mērķa infrastruktūra, uzskaitīti pakalpojumi un galapunkti, kartētas uzbrukuma virsmas," tad "identificēta SSRF ievainojamība, izpētītas izmantošanas metodes," un ģenerēts "pielāgota kravnesība, izmantošanas ķēdes izstrāde, izmantošanas iespēju apstiprināšana, izmantojot atzvanīšanas atbildes."

Pret vienu tehnoloģiju uzņēmumu, ziņojuma dokumenti, Claude "neatkarīgi veikt vaicājumus datu bāzēs un sistēmās, iegūt datus, parsēt rezultātus, lai identificētu patentētu informāciju, un klasificēt konstatējumus pēc izlūkošanas vērtības."

"Kompresijas koeficients ir tas, kas uzņēmumiem ir jāsaprot," Kleins pastāstīja VentureBeat. "Kas prasīja mēnešus, tagad aizņem dienas. Tam, kam bija vajadzīgas specializētas prasmes, tagad ir vajadzīgas pamata pamudināšanas zināšanas."

Gūtās mācības par kritiskajiem noteikšanas indikatoriem

"Modeļi tik ļoti atšķīrās no cilvēka uzvedības, tas bija kā vērot mašīnu, kas izliekas par cilvēku," Kleins pastāstīja VentureBeat. Ziņojuma dokumenti "fiziski neiespējamas pieprasījumu likmes" ar "ilgstošs vairāku darbību pieprasījumu skaits sekundē."

Ziņojumā ir noteiktas trīs rādītāju kategorijas:

Satiksmes modeļi: "Pieprasīt vairāku darbību ātrumu sekundē" ar "būtiskas atšķirības starp datu ievadi un teksta izvadi."

Vaicājuma sadalījums: Uzdevumi sadalīti, ko Kleins sauca "mazi, šķietami nevainīgi uzdevumi" — tehniski vaicājumi no pieciem līdz desmit vārdiem, kuriem trūkst cilvēka pārlūkošanas modeļu. "Katrs vaicājums šķita likumīgs atsevišķi," Kleins paskaidroja VentureBeat. "Tikai kopumā parādījās uzbrukuma modelis."

Autentifikācijas darbības: Ziņojuma detaļas "sistemātiska akreditācijas datu vākšana mērķtīklos" ar Klodu "neatkarīgi nosakot, kuri akreditācijas dati nodrošināja piekļuvi kādiem pakalpojumiem, kartējot privilēģiju līmeņus un piekļuves robežas bez cilvēka norādījumiem."

"Mēs paplašinājām noteikšanas iespējas, lai vēl vairāk ņemtu vērā jaunus draudu modeļus, tostarp uzlabojot mūsu kiberorientētos klasifikatorus," Kleins pastāstīja VentureBeat. Antropisks ir "proaktīvu agrīnas atklāšanas sistēmu prototipēšana autonomiem kiberuzbrukumiem."

avots

LEAVE A REPLY

Please enter your comment!
Please enter your name here