Sarkanā komanda AI tagad, lai rīt izveidotu drošākus, gudrākus modeļus

Redaktora piezīme: Luiss šomēnes vadīs redakcijas apaļā galda galda galdu par šo tēmu VB Rework. Reģistrējieties šodienApvidū

AI modeļi ir aplenkumā. Tā kā 77% uzņēmumu jau ir skārušas pretinieku modeļa uzbrukumi, un 41% no šiem uzbrukumiem, kas izmanto tūlītējas injekcijas un saindēšanos ar datiem, uzbrucēju tradeCraft pārsniedz esošās kiberdabes.

Lai mainītu šo tendenci, ir svarīgi pārdomāt, kā drošība tiek integrēta šodien izveidotajos modeļos. DevOps komandām ir jāpāriet no reaktīvas aizsardzības pārņemšanas uz nepārtrauktu pretrunīgu pārbaudi katrā solī.

Sarkanajai komandai jābūt pamatam

Lielu valodu modeļu (LLM) aizsardzībai starp DevOps cikliem ir nepieciešama sarkana komanda kā modeļa radīšanas procesa galvenā sastāvdaļa. Tā vietā, lai drošību uzskatītu par galīgo šķērsli, kas ir raksturīgs tīmekļa lietotņu cauruļvadiem, nepārtraukta pretrunīga pārbaude ir jāintegrē katrā programmatūras izstrādes dzīves cikla (SDLC) posmā.

Integrējošākas pieejas pieņemšana DevSecops pamatiem ir nepieciešama, lai mazinātu pieaugošo risku, kas rodas riskiem, saindēšanos ar datiem un sensitīvu datu pakļaušanu. Smagi uzbrukumi, piemēram, šie, kļūst arvien izplatītāki, kas rodas no modeļa dizaina, izmantojot izvietošanu, padarot nepārtrauktu uzraudzību būtisku.

Microsoft nesenie norādījumi par plānošana Sarkanā komanda lielo valodu modeļiem (LLMS) un to lietojumprogrammas nodrošina vērtīgu metodoloģiju sākšanai integrēts course of. NIST AI riska pārvaldības sistēma To pastiprina, uzsverot nepieciešamību pēc proaktīvākas, dzīves cikla garāka pieeja pretrunīgas pārbaudes un riska mazināšanai. Microsoft nesenā sarkanā komanda, kurā ir vairāk nekā 100 ģeneratīvu AI produktu, uzsver nepieciešamību integrēt automatizētu draudu noteikšanu ar ekspertu uzraudzību visā modeļa izstrādē.

Kā normatīvie ietvari, piemēram, ES AI likums, pilnvaro stingras pretrunīgas pārbaudes, nepārtrauktas sarkanās komandas integrēšana nodrošina atbilstību un uzlabotu drošību.

Openai pieeja sarkanajai komandai Integrē ārējo sarkano komandu no agrīnā dizaina, izmantojot izvietošanu, apstiprinot, ka konsekventa, preventīva drošības pārbaude ir būtiska LLM attīstības panākumiem.

Kāpēc tradicionālās kibernoziegumu aizsardzība neizdodas pret AI

Tradicionālās, ilgstošās kiberdrošības pieejas ir īsas pret AI vadītiem draudiem, jo ​​tās būtiski atšķiras no parastajiem uzbrukumiem. Tā kā pretinieku TradeCraft pārspēj tradicionālās pieejas, ir nepieciešamas jaunas metodes sarkanai komandai. Šeit ir daudzu veidu tradeCraft paraugs, kas īpaši veidots, lai uzbruktu AI modeļiem visā DevOps ciklos un vienu reizi savvaļā:

• Saindēšanās ar datiem: Pretinieki injicē sabojātus datus apmācības kopās, izraisot modeļus nepareizi iemācīties un radīt pastāvīgas neprecizitātes un darbības kļūdas, līdz tās tiek atklātas. Tas bieži mazina uzticību AI vadītiem lēmumiem.
• Modeļa izvairīšanās: Pretinieki ievieš rūpīgi izstrādātas, smalkas ieejas izmaiņas, ļaujot ļaunprātīgiem datiem paslīdēt pagātnes atklāšanas sistēmās, izmantojot statisko noteikumu un uz modeļa balstītās drošības kontroles raksturīgos ierobežojumus.
• Modeļa inversija: Sistemātiski jautājumi pret AI modeļiem ļauj pretiniekiem iegūt konfidenciālu informāciju, potenciāli pakļaut sensitīvus vai patentētus apmācības datus un radīt pastāvīgus privātuma riskus.
• Ātra injekcija: Pretinieki amatniecības izejvielas, kas īpaši izstrādātas, lai mānītu ģeneratīvo AI, apejot aizsardzības pasākumus, iegūstot kaitīgus vai neatļautus rezultātus.
• Divkāršās lietošanas robežas riski: Nesenajā rakstā, Bieži vien agrīnā un sarkanā komanda.pētnieki no Ilgtermiņa kiberdrošības centrs Kalifornijas universitātē Bērklijā Uzsveriet, ka uzlabotie AI modeļi ievērojami zemākus šķēršļus, ļaujot neekperiem veikt sarežģītus kiberuzbrukumus, ķīmiskos draudus vai citus sarežģītus ekspluatācijas, pamatīgi pārveidojot globālo draudu ainavu un pastiprinot riska iedarbību.

Integrētas mašīnmācīšanās operācijas (MLOPS) vēl vairāk apvieno šos riskus, draudus un ievainojamības. LLM un plašāku AI izstrādes cauruļvadu savstarpēji saistītais raksturs palielina šīs uzbrukuma virsmas, kas prasa uzlabojumus sarkanās komandas veidošanā.

Kiberdrošības vadītāji arvien vairāk pieņem nepārtrauktas pretrunīgas pārbaudes, lai novērstu šos jaunos AI draudus. Strukturēti sarkanās komandas vingrinājumi tagad ir nepieciešami, reāli imitējoši uz AI orientēti uzbrukumi, lai atklātu slēptās ievainojamības un ciešas drošības nepilnības, pirms uzbrucēji tos var izmantot.

Kā AI vadītāji paliek priekšā uzbrucējiem ar sarkano komandu

Pretinieki turpina paātrināt AI izmantošanu, lai izveidotu pilnīgi jaunus tradeCraft veidus, kas izaicina esošos, tradicionālos kiberdabas līdzekļus. Viņu mērķis ir izmantot pēc iespējas vairāk jaunu ievainojamību.

Nozares vadītāji, ieskaitot galvenos AI uzņēmumus, ir atbildējuši, iestrādājot sistemātiskas un sarežģītas sarkano komandu stratēģijas viņu AI drošības pamatā. Tā vietā, lai sarkanā komanda izturētos kā pret gadījuma rakstura pārbaudi, viņi izvieto nepārtrauktu pretrunīgu pārbaudi, apvienojot ekspertu cilvēku atziņas, disciplinētu automatizāciju un atkārtotu cilvēku vidējā novērtējumus, lai atklātu un samazinātu draudus, pirms uzbrucēji tos var proaktīvi izmantot.

Viņu stingrās metodika ļauj viņiem noteikt vājās puses un sistemātiski sacietēt savus modeļus pret reālās pasaules pretrunīgu scenāriju attīstību.

Konkrēti:

• Antropiskais ir atkarīgs no stingra cilvēka ieskata kā daļu no tā notiekošās sarkanās komandas metodoloģijas. Cieši integrējot cilvēka-cilpas novērtējumus ar automatizētiem pretrunīgiem uzbrukumiem, uzņēmums proaktīvi identificē ievainojamības un pastāvīgi uzlabo tā modeļu uzticamību, precizitāti un interpretējamību.

• Meta mērogo AI modeļa drošību, izmantojot automatizāciju vispirms pretrunīgi vērtē. Tā daudzkārtējā automātiskā sarkano komandu (MART) sistemātiski ģenerē iteratīvas pretrunīgas uzvednes, ātri atklājot slēptās ievainojamības un efektīvi sašaurinošus uzbrukuma vektorus plašās AI izvietojumos.

• Microsoft izmanto starpdisciplināru sadarbību kā tās sarkanās komandas stiprības kodolu. Izmantojot savu Python riska identifikācijas instrumentu komplektu (Pyrit), Microsoft Bridges kiberdrošības zināšanas un progresīva analītika ar disciplinētu cilvēka vidējo validāciju, paātrinot neaizsargātības noteikšanu un nodrošinot detalizētu, realizējamu intelektu, lai stiprinātu modeļa izturību.

• Openai pieskaras globālās drošības zināšanām, lai stiprinātu AI aizsardzību mērogā. Apvienojot ārējo drošības speciālistu ieskatu ar automatizētiem konkurences novērtējumiem un stingriem cilvēku validācijas cikliem, Openai proaktīvi pievēršas sarežģītiem draudiem, īpaši mērķējot uz dezinformāciju un tūlītēju iesmidzināšanas ievainojamību, lai saglabātu stabilu modeļa veiktspēju.

Īsāk sakot, AI vadītāji zina, ka, paliekot uzbrucēju priekšā, nepieciešama nepārtraukta un proaktīva modrība. Iegulējot strukturētu cilvēku pārraudzību, disciplinētu automatizāciju un atkārtotu uzlabošanu savās sarkanajās komandas veidošanas stratēģijās, šie nozares vadītāji nosaka standartu un definē elastīgu un uzticamu AI playbook mērogā.

Tā kā uzbrukumi LLM un AI modeļiem turpina strauji attīstīties, DevOps un DevSecops komandām ir jākordinē centieni risināt izaicinājumu uzlabot AI drošību. VentureBeat atrod šādas piecas augstas ietekmes stratēģijas. Drošības vadītāji var uzreiz īstenot:

1. Integrēt drošību agri (antropisks, Openai)
   Veidojiet pretrunīgu pārbaudi tieši sākotnējā modeļa dizainā un visā dzīves ciklā. Ievainojamības noķeršana agrīni samazina riskus, traucējumus un nākotnes izmaksas.

• Izvietojiet adaptīvu, reāllaika uzraudzību (Microsoft)
  Statiskā aizsardzība nevar aizsargāt AI sistēmas no uzlabotiem draudiem. Izmantojiet nepārtrauktus AI vadītus rīkus, piemēram, kiberāli, lai ātri noteiktu un reaģētu uz smalkām anomālijām, samazinot ekspluatācijas logu.

• Līdzsvara automatizācija ar cilvēku spriedumu (Meta, Microsoft)
  Tīra automatizācija izlaiž niansi; Manuāla pārbaude vien neveidos mērogu. Apvienojiet automatizētu sacensību testēšanu un neaizsargātības skenēšanu ar ekspertu cilvēku analīzi, lai nodrošinātu precīzu, realizējamu ieskatu.

• Regulāri iesaistiet ārējās sarkanās komandas (Openai)
  Iekšējām komandām attīstās neredzīgas vietas. Periodiski ārējie novērtējumi atklāj slēptās ievainojamības, neatkarīgi apstipriniet savu aizsardzību un veicina nepārtrauktu uzlabojumu.

• Uzturiet dinamisko draudu intelektu (Meta, Microsoft, Openai)
  Uzbrucēji pastāvīgi attīstās taktika. Nepārtraukti integrējiet reālā laika draudu izlūkošanu, automatizētu analīzi un ekspertu ieskatu, lai proaktīvi atjauninātu un stiprinātu savu aizsardzības pozu.

Kopumā šīs stratēģijas nodrošina, ka DevOps darbplūsmas paliek izturīgas un drošas, vienlaikus paliekot priekšā attīstītajiem pretrunīgiem draudiem.

Sarkanā komanda vairs nav obligāta; Tas ir svarīgi

AI draudi ir kļuvuši pārāk izsmalcināti un bieži, lai paļautos tikai uz tradicionālajām, reaktīvajām kiberdrošības pieejām. Lai paliktu priekšā, organizācijām nepārtraukti un proaktīvi jāiegulda pretrunīga pārbaude katrā modeļa attīstības posmā. Balansējot automatizāciju ar cilvēku kompetenci un dinamiski pielāgojot viņu aizsardzību, vadot AI pakalpojumu sniedzējus, pierādot, ka spēcīga drošība un inovācijas var pastāvēt līdzāspastāvēt.

Galu galā sarkanā komanda nav tikai AI modeļu aizstāvēšana. Tas ir par uzticības, noturības un pārliecības nodrošināšanu nākotnē, ko arvien vairāk veido AI.

Pievienojieties man pie Rework 2025

Es uzņemšu divus uz kiberdrošību orientētus apaļā galdus VentureBeat’s Transformācija 2025kas notiks no 24. līdz 25. jūnijam Fort Masonā Sanfrancisko. Reģistrējieties, lai pievienotos sarunai.

Mana sesija ietvers vienu par sarkano komandu, AI sarkanā komanda un pretrunīga pārbaudeieniršana AI vadīto kiberdrošības risinājumu testēšanas un stiprināšanas stratēģijās pret sarežģītiem pretrunīgiem draudiem.