Viens no svarīgākajiem AI zinātniekiem Massive Tech vēlas atteikties no pašreizējās pieejas cilvēka līmeņa AI veidošanai. Jāns Lekuns norādīja, ka mums nav vajadzīgi lieli valodu modeļi, wager gan “pasaules modeļi”.
Paredzams, ka Lekuns, Meta “fundamentālo AI pētījumu” galvenais AI zinātnieks, drīzumā atkāpsies no Meta. saskaņā ar vairākas ziņojumi no uzticamām tirdzniecības vietām. Lekuns ir 65 gadus vecs vecākais valstsvīrs mākslīgā intelekta zinātnes pasaulē, un viņa rīcībā ir bijuši šķietami neierobežoti resursi, strādājot par lielo AI smadzenēm vienā no pasaules lielākajām tehnoloģiju kompānijām.
Kāpēc viņš pamet uzņēmumu, kas tērē bagātīgi, malucinot viskvalificētākos mākslīgā intelekta ekspertus no citām firmām, un saskaņā ar jūlijā emuāra ieraksts izpilddirektors Marks Cukerburgs, veicot tik pārsteidzošus lēcienus, ka it kā tagad ir redzama “superinteliģences attīstība”?
Patiesībā viņš jau ilgu laiku ir devis mājienu uz atbildi. Runājot par cilvēka līmeņa inteliģenci, Lekuns pēdējā laikā ir kļuvis bēdīgi slavens, sakot, ka LLM, kā mēs tos pašlaik saprotam, ir stulbi — vairs nav vērts tiekties, lai cik lielā mērā Massive Tech tos palielinātu. Viņš teica pagājušā gada aprīlī ka “LLM būtībā ir ārpus rampas, traucēklis, strupceļš.” (Arhi AI kritiķis Gerijs Markuss ir saplēsts LeCun par to, ka “kareivīgi” aizstāvēja LLM no paša Markusa kritikas un pēc tam apmetās.)
Wall Avenue Journal LeCun karjeras analīze publicētais piektdien norāda uz dažām citām iespējām par viņa aiziešanas iemesliem, ņemot vērā šo pārliecību. Pagājušajā vasarā 28 gadus vecs Aleksandrs Vans — LLM sensācijas ChatGPT līdzradītājs — kļuva par Meta mākslīgā intelekta vadītāju, padarot LLM fanātiķi par LeKuna priekšnieku. Un Meta šogad piesaistīja vēl vienu salīdzinoši jaunu galveno zinātnieku, kurš šogad strādās virs Lekuna, Šendzja Džao. Meta paziņojums par Džao jauno lomu touts mērogošanas “izrāviens”, ko viņš acīmredzot nodrošināja. LeCun saka, ka viņš ir zaudējis ticību mērogošana.
Ja jūs domājat, kā LeKuns var būt galvenais zinātnieks, ja Džao ir arī galvenais zinātnieks, tas ir tāpēc, ka Meta AI darbība izklausās, ka tai ir ekscentriska organizācijas diagramma, sadalīt vairākās atsevišķās grupās. Pagājušajā mēnesī simtiem cilvēku tika atlaisti, acīmredzot, cenšoties to visu sakārtot.
The Monetary Occasions atskaite LeCun šīs nedēļas sākumā liecina, ka LeCun tagad atradīs jaunuzņēmumu, kas koncentrējas uz “pasaules modeļiem”.
Atkal Lekuns nav kautrējies par to, kāpēc, viņaprāt, pasaules modeļiem ir AI nepieciešamās atbildes. Viņš deva a detalizēta runa par to februārī notikušajā AI rīcības samitā Parīzē, taču tas viņu aizēnoja ASV pārstāvis viceprezidents Dž.D. Vensssniedzot kareivīgu runu par to, kā ikvienam būtu labāk izkļūt no Amerikas AI.
Kāpēc Janu Lekunu aizrauj pasaules modeļi?
Kā norādīts viņa runā — Lekuns, kurš strādāja pie Meta AI viedajām brillēm, wager nē ievērojamā mērā Meta’s Llama LLM— ir milzīgs ticīgais valkājamām precēm.
Pārsteidzoši, kā Ray-Ban Meta brilles var palīdzēt vājredzīgajiem. https://t.co/w3ZxCFtTlE
— Jans Lekuns (@ylecun) 2024. gada 30. septembris
Mums būs jāsazinās ar turpmākajām valkājamajām ierīcēm it kā viņi būtu cilvēki, viņš domā, un LLM vienkārši nesaprot pasauli kā cilvēki. Ar LLM viņš saka: “Mēs pat nevaram reproducēt kaķu vai žurku intelektu, nemaz nerunājot par suņu intelektu. Viņi var paveikt pārsteidzošus varoņdarbus. Viņi saprot fizisko pasauli. Jebkurš mājas kaķis var plānot ļoti sarežģītas darbības. Un viņiem ir pasaules cēloņsakarības modeļi.”
LeCun piedāvā domu eksperimentu, lai ilustrētu to, kas, viņaprāt, varētu radīt pasaules modeli, un, viņaprāt, ikviens cilvēks var viegli izdarīt, ko LLM vienkārši nevar:
“Ja es jums saku” iedomājieties kubu, kas peld gaisā jūsu priekšā. Labi, tagad pagrieziet šo kubu par 90 grādiem ap vertikālo asi. Kā tas izskatās? Jums ir ļoti viegli izveidot šo garīgo rotējoša kuba modeli.
Protams, ar ļoti nelielu piepūli LLM var uzrakstīt netīro limeriku par lidojošu, rotējošu kubu, taču tas nevar palīdzēt jums mijiedarboties ar tādu. LeCun apgalvo, ka tas ir tāpēc, ka atšķiras teksta dati un dati, kas iegūti, apstrādājot daudzas pasaules daļas, kas nav teksts. Kamēr LLM ir apmācīti par teksta daudzumu, kura lasīšanai būtu nepieciešami 450 000 gadu, LeCun saka, ka četrus gadus vecs bērns, kurš ir bijis nomodā 16 000 stundu, ar acīm vai pieskaroties ir apstrādājis 1,4 x 10^14 baitus maņu datus par pasauli, kas, pēc viņa teiktā, ir vairāk nekā LLM.
Tie, starp citu, ir tikai aprēķini, ko Lekuns sniedz savā runā, un tas jāatzīmē viņš ir devis citiem. Tomēr abstrakcija, uz kuru norāda skaitļi, ir tāda, ka LLM ir ierobežoti tādā veidā, kā, pēc Lekuna domām, pasaules modeļi nebūtu.
Kādu modeli LeCun vēlas uzbūvēt un kā viņš to uzbūvēs?
LeCun jau ir sāka strādāt pie pasaules modeļiem uzņēmumā Meta— tostarp izveidojot ievada video, kurā tiek lūgts iedomāties rotējošu kubu.
Lekuna sapņu modelis, kas aprakstīts viņa AI Motion Summit runā, satur pašreizējo “pasaules stāvokļa novērtējumu” sava veida abstrakta attēlojuma veidā, labi, vissvai vismaz viss, kas ir aktuāls pašreizējā kontekstā, un nevis secīgas, marķierizētas prognozes, tas “paredz iegūto pasaules stāvokli, kas notiks pēc šīs darbību secības.”
Pasaules modeļi ļaus nākamajiem datorzinātniekiem izveidot, viņš saka, “sistēmas, kas var plānot darbības, iespējams, hierarhiski, lai sasniegtu mērķi, un sistēmas, kas var pamatot.” LeCun arī uzstāj, ka šādām sistēmām būs izturīgāki drošības līdzekļi, jo tajās tiks iebūvēti veidi, kā mēs tās kontrolējam, nevis kā noslēpumainas melnās kastes, kas izspļauj tekstu un kuras ir jāpilnveido, precīzi pielāgojot.
LeCun teiktais ir klasiskais AI, piemēram, meklētājprogrammā izmantotā programmatūra, visas problēmas var samazināt līdz optimizācijai. Viņš ierosina, ka viņa pasaules modelis aplūkos pašreizējo pasaules stāvokli un meklēs saderību ar kādu citu stāvokli, atrodot efektīvus risinājumus. “Jūs vēlaties enerģijas funkciju, kas mēra nesaderību, un, ņemot vērā x, atrodiet ay, kam ir zema enerģija šim x,” savā runā saka Lekuns.
Tie atkal ir tikai ticami ziņojumi no nopludinātās informācijas par Lekuna plāniem, un viņš pat nav apstiprinājis, ka dibina kaut ko jaunu. Ja viss, ko mēs varam apvienot no LeCun publiskajiem paziņojumiem, pašreizējā posmā izklausās provizoriski un nedaudz izplūduši, tam vajadzētu būt. LeCun izklausās, ka viņam ir prātā mēness šāviens, un viņš cenšas panākt vēl vienu ChatGPT līdzīgu neparastu spēju eksploziju. Var paiet gadsimti vai burtiski mūžīgi, nemaz nerunājot par miljardiem investoru dolāru, lai īstenotos kaut kas patiesi ievērojams.
Gizmodo sazinājās ar Meta, lai komentētu, kā LeCun darbs iekļaujas uzņēmuma AI misijā, un atjauninās, ja saņemsim atbildi.
