Neatkarīgais AI pētnieks Simons Vilisons, šodien pārskatot šo funkciju savā emuārā, atzīmēts Šis antropijas ieteikums “uzraudzīt Klodu, vienlaikus izmantojot funkciju”, ir “negodīgi ārpakalpojumi problēmai Anthropic lietotājiem”.
Antropijas mazinājumi
Antropisks tomēr pilnībā ignorē problēmu. Uzņēmums ir ieviesis vairākus faila izveidošanas funkcijas drošības pasākumus. Pro un Max lietotājiem antropiski invalīdi sabiedriski koplietojot sarunas, kurās tiek izmantota faila izveidošanas funkcija. Uzņēmuma lietotājiem uzņēmums ieviesa smilšu kastes izolāciju, lai vide nekad netiktu kopīgota starp lietotājiem. Uzņēmums arī ierobežoja uzdevuma ilgumu un konteineru izpildlaiku “, lai izvairītos no ļaunprātīgas aktivitātes cilpām”.
Komandu un uzņēmumu administratoriem Antropic nodrošina arī domēnu Claude Can piekļuvi, ieskaitot api.anthropic.com, github.com, reģistra.npmjs.org un pypi.org. Dokumentācijā teikts, ka “Claude var pievilināt tikai noplūdi datus, kuriem tas ir piekļuve sarunā, izmantojot individuāla lietotāja uzvedni, projektu vai aktivizētus savienojumus.”
Anthropic dokumentācijā teikts, ka uzņēmumam ir “nepārtraukts process pastāvīgai drošības pārbaudei un šīs funkcijas sarkano komandai”. Uzņēmums mudina organizācijas “novērtēt šo aizsardzību pret viņu īpašajām drošības prasībām, izlemjot, vai iespējot šo funkciju”.
Ātri injekcijas bagātīgi
Pat ar Anthropic drošības pasākumiem Vilisons saka, ka viņš būs piesardzīgs. “Es plānoju būt piesardzīgs, izmantojot šo funkciju ar visiem datiem, kurus es ļoti nevēlos, lai mani noplūdīs trešajai pusei, ja ir pat vismazākā iespēja, ka ļaunprātīga instrukcija varētu iekļūt iekšā,” viņš rakstīja savā emuārā.
Mēs aptvērām līdzīgu iespējamo tūlītējās injekcijas ievainojamību ar Anthropic’s Claude Chrome, kas pagājušajā mēnesī tika uzsākta kā pētījumu priekšskatījums. Uzņēmējdarbības klientiem, kuri apsver Claude par jutīgiem biznesa dokumentiem, Antropic lēmums nosūtīt ar dokumentētām ievainojamībām liecina, ka konkurences spiediens var būt galvenais drošības apsvērums AI ieroču sacensībās.
Šāda veida “kuģis vispirms, drošs tas vēlāk” filozofija ir izraisījusi neapmierinātību starp dažiem AI ekspertiem, piemēram, Vilisonam, kurš ir plaši dokumentējis tūlītēju injekcijas ievainojamību (un ir izveidojis terminu). Viņš nesen aprakstīts Pašreizējais AI drošības stāvoklis kā “šausminošs” savā emuārā, atzīmējot, ka šīs tūlītējās injekcijas ievainojamības joprojām ir plaši izplatītas “gandrīz trīs gadus pēc tam, kad mēs pirmo reizi sākām par tām runāt”.
Sākotnējā brīdinājumā no 2022. gada septembra Vilisons rakstīja, ka “var būt sistēmas, kuras vispār nevajadzētu būvēt, kamēr mums nav stabils risinājums”. Viņa nesenais vērtējums tagadnē? “Izskatās, ka mēs tos tik un tā uzbūvējam!”
