Sekojiet zdnet: Pievienojiet mūs kā vēlamo avotu Google.
ZDNET galvenie pārņemšana
- AI izstrādātāji mēģina līdzsvarot modeļa utilītu ar lietotāju privātumu.
- Jauns pētījums no Google ierosina iespējamu risinājumu.
- Rezultāti ir daudzsološi, wager vēl daudz darba.
AI izstrādātāji jau sen ir saskārušies ar dilemmu: jo vairāk apmācības datu jūs pabarojat lielu valodas modeli (LLM), jo tekošāks un cilvēciskāks būs tā rezultāts. Tomēr tajā pašā laikā jūs riskējat iekļaut sensitīvu personisko informāciju šajā datu kopā, kuru modelis varētu pārpublicēt vārdus, izraisot lielus drošības kompromisus personām, kuras skar un sabojā PR skandālus izstrādātājiem.
Kā var līdzsvarot lietderību ar privātumu?
Arī: Vai jūsu ģeneratīvā AI aizsargā jūsu privātumu? Pētījums tos vislabāk ierindo uz sliktāko
Jauni Google pētījumi apgalvo, ka ir atradis risinājumu – LLMS veidošanas ietvaru, kas optimizēs lietotāju privātumu bez lielām AI veiktspējas degradācijām.
Pagājušajā nedēļā pētnieku komanda no Google Analysis un Google DeepMind atklāts VaultGemmaLLM, kas paredzēts, lai ģenerētu augstas kvalitātes rezultātus, neiegaumējot savus apmācības datus verbatim. Rezultāts: sensitīva informācija, kas to padara par apmācības datu kopu, netiks pārpublicēta.
Digitālais troksnis
Galvenā VaultGemma sastāvdaļa ir matemātiska sistēma, kas pazīstama kā diferenciālā privātums (DP), kas būtībā ir digitālais troksnis, kas modeļa spēju perfekti iegaumēt informāciju, kas atrodama tā apmācības datos.
Būtiski, ka pētnieki iegulda DP žetonu secību līmenī. Tas nozīmē, ka visnozīmīgākajā līmenī VaultGemma nespēs perfekti iegaumēt vai reproducēt detaļas, par kurām tā ir apmācīta.
Arī: 4 veidi, kā es ietaupu naudu uz saviem iecienītākajiem AI rīka abonementiem – un arī jūs varat
“Neoficiāli runājot, jo mēs nodrošinām aizsardzību secības līmenī, ja informācija, kas attiecas uz kādu (potenciāli privātu) faktu vai secinājumiem, notiek vienā secībā, tad VaultGemma būtībā nezina šo faktu: reakcija uz jebkuru vaicājumu būs statistiski līdzīga rezultātam no modeļa, kurš nekad nav apmācīts attiecībā uz attiecīgo secību,” Google rakstīja a a a emuāra ieraksts apkopojot tā atklājumus.
Šeit bija delikāts līdzsvars, šeit: Google pētniekiem bija jāpievieno šis digitālais troksnis, katastrofiski neapdraudot modeļa veiktspēju. Jo labāks AI modelis spēj iegaumēt un tādējādi lieliski atkārtot savus apmācības datus, jo labāk tam vajadzētu veikt-vismaz pieņemot, ka jūsu metrika “labākam” ir cilvēka līdzīgas atbildes uz lietotāju uzvednēm.
Wager, ja jūsu metrika optimizē lietotāju privātumu, tad tikai iegaumēšanas paradigma ir problēma, jo vairums no mums nevēlas dzīvot pasaulē, kurā milzīgi AI modeļi tikai aizrauj mūsu personiskās informācijas oglekļa kopijas, kuras pēc tam var neparedzami pārpublicēt ar šiem pašiem modeļiem.
Pēc tam Google jaunais pētījums koncentrējās uz visaptverošu optimālās formulation kartēšanu aprēķināšanas, privātuma un modeļa lietderības līdzsvarošanai.
Daudzsološi agrīnie rezultāti
Vaultgemma, kas balstīta uz atvērto modeļu saimi, kurā Google debitēja 2024. gadā, pēc uzņēmuma datiem – salīdzinoši niecīgs lielums, salīdzinot ar lielākajiem un visspēcīgākajiem modeļiem tirgū, VaultGemma pulksteņi – salīdzinoši niecīgs lielums, salīdzinot ar lielākajiem un visspēcīgākajiem modeļiem, no kuriem daži tiek veidoti ar augšupvērstiem modeļiem, kas tiek būvēti augšup ar augšup. triljonu parametriApvidū
Tomēr VaultGemma joprojām veica galvenos etalonus, kas ir aptuveni līdzvērtīgi dažiem vecākiem modeļiem, ieskaitot Openai GPT-2. Tas liek domāt, ka skaitļošanas-privātības un lietderības optimizācijas ietvars galu galā varētu būt reāla alternatīva vadošajiem patentētajiem modeļiem, kaut arī tam ir tāls ceļš ejams, pirms tas tuvojas pieķeršanai.
Arī: kā cilvēki faktiski izmanto chatgpt vs claude – un ko mums saka atšķirības
“Šis salīdzinājums parāda, ka mūsdienu privātās apmācības metodes rada modeļus ar lietderību, kas salīdzināma ar modeļiem, kas nav privāti, pirms aptuveni 5 gadiem, uzsverot svarīgo plaisu, ko mūsu darbs palīdzēs sabiedrībai sistemātiski slēgt,” Google rakstīja emuāra ierakstā.
Modeļa svars un apmācības metodes aiz VaultGemma ir publicētas a pētniecības dokuments Ļaujiet AI kopienai sīkāk uzlabot privātos modeļus. Svariem var piekļūt arī caur Huggingface un KnupisApvidū
