Pārsteidzošā paškritikas aktā viens no transformatoru tehnoloģijas arhitektiem, kas nodrošina spēku ChatGPT, Klodsun gandrīz katra lielākā AI sistēma šonedēļ nozares līderu auditorijai teica, ka mākslīgā intelekta pētījumi ir kļuvuši bīstami šauri un ka viņš turpina savu radīšanu.
Lions Džonsskurš bija 2017. gada pamatdarba līdzautors "Uzmanība ir viss, kas jums nepieciešams" un pat izdomāja nosaukumu "transformators," sniedza neparasti atklātu novērtējumu TED AI konference Sanfrancisko otrdien: Neskatoties bezprecedenta investīcijas un talanti, kas ieplūst AI, joma ir pārkaļķojusies ap vienotu arhitektūras pieeju, potenciāli apžilbinot pētniekus nākamajam lielajam sasniegumam.
"Neskatoties uz to, ka nekad nav bijis tik daudz intereses un resursu, naudas un talantu, tas kaut kādā veidā ir izraisījis mūsu veiktā pētījuma sašaurināšanos," Džounss sacīja auditorijai. Viņš apgalvoja, ka vainīgais ir "milzīgs spiediens" no investoriem, kas pieprasa peļņu, un pētniekiem, kuri cenšas izcelties pārpildītajā jomā.
Brīdinājumam ir īpaša nozīme, ņemot vērā Džonsa lomu AI vēsturē. The transformatoru arhitektūra viņš palīdzēja attīstīties uzņēmumam Google, ir kļuvis par pamatu ģeneratīvā AI uzplaukumam, ļaujot sistēmām rakstīt esejas, ģenerēt attēlus un iesaistīties cilvēka līdzīgās sarunās. Viņa papīrs ir bijis citēts vairāk nekā 100 000 reižupadarot to par vienu no gadsimta ietekmīgākajām datorzinātņu publikācijām.
Tagad kā Tokijā bāzētā CTO un līdzdibinātājs Sakana AIDžonss nepārprotami atsakās no paša radītā. "Es personīgi šā gada sākumā pieņēmu lēmumu, ka krasi samazināšu laiku, ko pavadu transformatoriem," viņš teica. "Es nepārprotami tagad pētu un meklēju nākamo lielo lietu."
Kā norāda transformatora pionieris, kāpēc lielāks mākslīgā intelekta finansējums ir radījis mazāk radošu pētījumu
Džounss uzzīmēja AI pētnieku kopienu, kas cieš no tā, ko viņš sauca par paradoksu: vairāk resursu ir samazinājis radošumu. Viņš aprakstīja, kā pētnieki pastāvīgi pārbauda, vai viņi ir bijuši "izmesti" konkurenti strādā pie identiskām idejām, un akadēmiķi izvēlas drošus, publicējamus projektus, nevis riskantus, potenciāli transformējošus projektus.
"Ja jūs pašlaik veicat standarta AI izpēti, jums ir jāpieņem, ka varbūt vēl trīs vai četras grupas dara kaut ko ļoti līdzīgu vai varbūt tieši to pašu." Džounss teica, aprakstot vidi, kur "diemžēl šis spiediens kaitē zinātnei, jo cilvēki steidzas ar papīriem, un tas samazina radošuma apjomu."
Viņš izvilka analoģiju no paša AI – "izpēte pret ekspluatāciju" kompromiss, kas nosaka, kā algoritmi meklē risinājumus. Kad sistēma izmanto pārāk daudz un pēta pārāk maz, tā atrod viduvējus vietējos risinājumus, vienlaikus izlaižot garām izcilas alternatīvas. "Mēs gandrīz noteikti atrodamies šādā situācijā AI nozarē," Džounss iebilda.
Sekas ir satraucošas. Džonss atgādināja periodu tieši pirms transformatoru parādīšanās, kad pētnieki bezgalīgi pielāgoja atkārtotus neironu tīklus — iepriekšējo dominējošo arhitektūru —, lai iegūtu papildu ieguvumus. Kad ieradās transformatori, viss šis darbs pēkšņi šķita nenozīmīgs. "Cik daudz laika, jūsuprāt, šie pētnieki būtu pavadījuši, mēģinot uzlabot atkārtoto neironu tīklu, ja viņi zinātu, ka ap stūri ir kaut kas līdzīgs transformatoriem?" viņš jautāja.
Viņš uztraucas, ka lauks atkārto šo modeli. "Es esmu noraizējies, ka mēs šobrīd esam tādā situācijā, kad mēs tikai koncentrējamies uz vienu arhitektūru un tikai mainām to un izmēģinām dažādas lietas, kur, iespējams, būs izrāviens tepat aiz stūra."
Kā papīrs “Uzmanība ir viss, kas jums nepieciešams” radās no brīvības, nevis spiediena
Lai uzsvērtu savu viedokli, Džonss aprakstīja apstākļus, kas ļāva vispirms parādīties transformatoriem, kas ir krass kontrasts ar mūsdienu vidi. Projekts, viņš teica, bija "ļoti organiski, no apakšas uz augšu," dzimis no "runājot pusdienu laikā vai nejauši uzzīmējot uz tāfeles birojā."
Kritiski, "mums patiesībā nebija labas idejas, mums bija brīvība faktiski pavadīt laiku un iet un strādāt pie tās, un, kas ir vēl svarīgāk, mums nebija nekāda spiediena no vadības," Džounss atstāstīja. "Nav spiediena strādāt pie kāda konkrēta projekta, publicējiet vairākus dokumentus, lai paaugstinātu noteiktu rādītāju."
Šīs brīvības, Džonss ieteica, mūsdienās lielākoties nav. Pat pētnieki, kas pieņemti darbā par astronomiskām algām – "burtiski miljons dolāru gadā, dažos gadījumos" — var nebūt pilnvarots riskēt. "Vai jūs domājat, ka, stājoties jaunajā amatā, viņi jūtas pilnvaroti izmēģināt savas mežonīgākās idejas un spekulatīvākas idejas, vai arī viņi izjūt milzīgu spiedienu, lai pierādītu savu vērtību un vēlreiz meklētu zemu augļus?" viņš jautāja.
Kāpēc viena AI laboratorija liek derības, ka pētniecības brīvība pārspēj miljonu dolāru algas
Džounsa piedāvātais risinājums ir apzināti provokatīvs: pagrieziet uz augšu "izpētes ciparnīca" un atklāti dalīties ar atklājumiem, pat par konkurētspējīgu cenu. Viņš atzina savas pozīcijas ironiju. "Tas var izklausīties nedaudz pretrunīgi, dzirdot kādu no Transformeru autoriem stāvam uz skatuves un stāstam, ka viņam tie ir galīgi slimi, taču tas ir diezgan godīgi, vai ne? Esmu pie tiem strādājis ilgāk nekā jebkurš cits, izņemot, iespējams, septiņus cilvēkus."
Plkst Sakana AIDžonss sacīja, ka mēģina atjaunot vidi pirms transformācijas, izmantojot dabas iedvesmotus pētījumus un minimālu spiedienu meklēt publikācijas vai tieši konkurēt ar konkurentiem. Viņš piedāvāja pētniekiem inženiera Braiena Čeuna mantru: "Jums vajadzētu veikt tikai to izpēti, kas nenotiktu, ja jūs to nedarītu."
Viens piemērs ir Sakana "nepārtrauktas domas mašīna," kas ietver smadzenēm līdzīgu sinhronizāciju neironu tīklos. Darbinieks, kurš izvirzīja šo ideju, Džounsam sacīja, ka būtu saskāries ar skepsi un spiedienu netērēt laiku iepriekšējos darba devējus vai akadēmiskajos amatos. Sakanā Džonss deva viņam nedēļu, lai izpētītu. Projekts kļuva pietiekami veiksmīgs, lai tas būtu uzmanības centrā NeurIPSliela AI konference.
Džounss pat ieteica, ka brīvība pārspēj kompensāciju darbā pieņemšanā. "Tas ir ļoti, ļoti labs veids, kā iegūt talantus," viņš teica par izpētes vidi. "Padomājiet par to, talantīgi, inteliģenti cilvēki, ambiciozi cilvēki, protams, meklēs šādu vidi."
Transformatora panākumi var bloķēt AI nākamo izrāvienu
Iespējams, ka visizaicinošāk Džonss ierosināja, ka transformatori var kļūt par savu panākumu upuriem. "Fakts, ka pašreizējā tehnoloģija ir tik spēcīga un elastīga… neļāva mums meklēt labāku," viņš teica. "Ir loģiski, ka, ja pašreizējā tehnoloģija būtu sliktāka, vairāk cilvēku meklētu labāku."
Viņš rūpīgi paskaidroja, ka nenoraida notiekošo transformatoru izpēti. "Joprojām ir jāpaveic daudz ļoti svarīgu darbu pie pašreizējām tehnoloģijām, kas nākamajos gados radīs lielu vērtību," viņš teica. "Es tikai saku, ka, ņemot vērā mūsu rīcībā esošo talantu un resursu apjomu, mēs varam atļauties darīt daudz vairāk."
Viņa galvenais vēstījums bija sadarbība, nevis konkurence. "Patiešām, no manas perspektīvas, šīs nav sacensības," Džounss secināja. "Mums visiem ir viens un tas pats mērķis. Mēs visi vēlamies redzēt šīs tehnoloģijas progresu, lai mēs visi varētu no tās gūt labumu. Tātad, ja mēs visi kopā varam pacelt izpētes skalu un pēc tam atklāti dalīties ar to, ko atrodam, mēs varam sasniegt savu mērķi daudz ātrāk."
AI izpētes problēmas augstās likmes
Šīs piezīmes nonāk mākslīgajam intelektam izšķirošā brīdī. Nozare cīnās ar montāžas pierādījumiem, kas vienkārši veido lielāku transformatoru modeļus var tuvoties atdeves samazinājumam. Vadošie pētnieki ir sākuši atklāti apspriest, vai pašreizējai paradigmai ir fundamentāli ierobežojumi, un daži liek domāt, ka arhitektūras inovācijas — ne tikai mērogs — būs nepieciešamas, lai turpinātu virzību uz spējīgākām AI sistēmām.
Džounsa brīdinājums liecina, ka, lai atrastu šos jauninājumus, var būt nepieciešams demontēt tās stimulējošās struktūras, kas ir izraisījušas AI neseno uzplaukumu. Ar desmitiem miljardu dolāru, kas katru gadu tiek novirzīti AI attīstībai un sīvā konkurence starp laboratorijām, kas veicina slepenību un ātrus publicēšanas ciklus, viņa aprakstītā izpētes pētniecības vide šķiet arvien attālāka.
Tomēr viņa iekšējai perspektīvai ir neparasts svars. Kā cilvēks, kurš palīdzēja izveidot tehnoloģiju, kas šobrīd dominē šajā jomā, Džonss saprot gan to, kas nepieciešams, lai sasniegtu izrāvienu inovāciju, gan to, ar ko nozare riskē, atsakoties no šīs pieejas. Viņa lēmums atteikties no transformatoriem — arhitektūra, kas radīja viņa reputāciju — palielina uzticamību vēstījumam, kas citādi varētu izklausīties pēc pretrunīgas pozicionēšanas.
Joprojām nav skaidrs, vai mākslīgā intelekta spēlētāji ņems vērā aicinājumu. Taču Džonss piedāvāja stingru atgādinājumu par to, kas ir uz spēles: nākamais transformatora mēroga sasniegums varētu būt tepat aiz stūra, un to meklē pētnieki ar brīvību izpētīt. Vai arī tas varētu palikt neizpētīts, kamēr tūkstošiem pētnieku sacenšas, lai publicētu pakāpeniskus arhitektūras uzlabojumus, kas, pēc Džounsa vārdiem, ir viens no tās radītājiem. "galīgi slims."
Galu galā viņš ir strādājis pie transformatoriem ilgāk nekā gandrīz ikviens. Viņš zinātu, kad ir pienācis laiks doties tālāk.
