LinkedIn šonedēļ uzsāk savu jauno ar AI darbināmu cilvēku meklēšanu pēc tam, kad, šķiet, bija ļoti ilgi jāgaida, līdz kuram vajadzēja būt dabiskam ģeneratīvā AI piedāvājumam.
Tas nāk pilnus trīs gadus pēc ChatGPT palaišanas un sešus mēnešus pēc tam, kad LinkedIn atklāja savu AI darba meklēšanas piedāvājumu. Tehniskajiem vadītājiem šis laika grafiks ilustrē galveno uzņēmuma mācību: ģeneratīvā AI izvietošana reālos uzņēmuma iestatījumos ir izaicinājums, jo īpaši 1,3 miljardu lietotāju mērogā. Tas ir lēns, brutāls pragmatiskas optimizācijas course of.
Šis konts ir balstīts uz vairākām ekskluzīvām intervijām ar LinkedIn produktu un inženieru komandu, kas tika uzsākta.
Pirmkārt, lūk, kā produkts darbojas: lietotājs tagad var ievadīt dabiskās valodas vaicājumu, piemēram, "Kurš ir informēts par vēža ārstēšanu?" LinkedIn meklēšanas joslā.
LinkedIn vecā meklēšana, kas balstīta uz atslēgvārdiem, būtu apgrūtināta. Būtu meklējis tikai atsauces uz "vēzis". Ja lietotājs vēlējās iegūt izsmalcinātu, viņam būtu bijis jāveic atsevišķa, stingra atslēgvārdu meklēšana "vēzis" un tad "onkoloģija" un manuāli mēģiniet apkopot rezultātus.
Tomēr jaunā ar AI darbināmā sistēma saprot nolūks meklēšanas, jo zem pārsega esošā LLM uztver semantisko nozīmi. Tā atzīst, piemēram, to "vēzis" ir konceptuāli saistīts ar "onkoloģija" un vēl mazāk tieši, uz "genomikas pētījumi." Tā rezultātā tiek parādīts daudz atbilstošāks cilvēku saraksts, tostarp onkoloģijas vadītāji un pētnieki, pat ja viņu profilos nav izmantots precīzs vārds. "vēzis."
Sistēma arī līdzsvaro šo atbilstību ar lietderību. Tā vietā, lai tikai parādītu pasaules labāko onkologu (kurš varētu būt nesasniedzams trešās pakāpes savienojums), tiks izvērtēts arī tas, kurš ir jūsu tiešajā tīklā, piemēram, pirmās pakāpes savienojums. "diezgan aktuāli" un var kalpot kā būtisks tilts uz šo ekspertu.
Lai iegūtu piemēru, skatiet tālāk esošo videoklipu.
Tomēr neapšaubāmi svarīgākā mācība uzņēmumu praktiķiem ir "pavārgrāmata" LinkedIn ir izstrādājis: atkārtojamu, daudzpakāpju destilācijas, kopprojektēšanas un nerimstošās optimizācijas cauruļvadu. LinkedIn vajadzēja to pilnveidot vienā produktā, pirms mēģināt to izmantot citā.
"Necenties darīt pārāk daudz uzreiz," raksta Wenjing Zhang, LinkedIn inženierzinātņu viceprezidents, ierakstā par produkta izlaišanu un kurš arī pagājušajā nedēļā intervijā runāja ar VentureBeat. Viņa atzīmē, ka agrāk "vērienīgas ambīcijas" izveidot vienotu sistēmu visiem LinkedIn produktiem "apstājies progress."
Tā vietā LinkedIn koncentrējās uz to, lai vispirms uzvarētu vienu vertikāli. Iepriekš uzsāktās AI darba meklēšanas panākumi, kas noveda pie tā, ka darba meklētāji nebija ieguvuši četru gadu grādu Par 10% lielāka iespēja tikt pieņemtam darbāsaskaņā ar produktu inženierijas viceprezidentu Erranu Bergeru — sniedza projektu.
Tagad uzņēmums izmanto šo plānu daudz lielākam izaicinājumam. "Viena lieta ir to paveikt desmitiem miljonu darbu," Bergers pastāstīja VentureBeat. "Vēl viena lieta ir to darīt uz ziemeļiem no miljarda dalībnieku."
Uzņēmuma AI veidotājiem LinkedIn ceļojums nodrošina tehnisko rokasgrāmatu par to, kas tas ir patiesībā nepieciešams, lai no veiksmīga izmēģinājuma versijas pārietu uz miljardu lietotāju mēroga produktu.
Jaunais izaicinājums: 1,3 miljardu dalībnieku grafiks
Darba meklēšanas produkts radīja stabilu recepti, uz kuras varētu balstīties jaunais cilvēku meklēšanas produkts, skaidroja Bergers.
Recepte sākās ar a "zelta datu kopa" tikai no dažiem simtiem līdz tūkstoš reālu vaicājumu-profilu pāru, kas rūpīgi novērtēti, salīdzinot ar detalizētu 20 līdz 30 lappušu garu "produktu politika" dokumentu. Lai to pielāgotu apmācībai, LinkedIn izmantoja šo mazo zelta komplektu, lai mudinātu izveidot lielu pamatu modeli, lai radītu milzīgu apjomu sintētisks apmācību dati. Šie sintētiskie dati tika izmantoti, lai apmācītu a 7 miljardu parametrs "Produktu politika" modelis — augstas precizitātes atbilstības tiesnesis, kas bija pārāk lēns tiešraidē, guess lieliski piemērots mazāku modeļu mācīšanai.
Tomēr komanda jau agri atsitās pret sienu. Sešus līdz deviņus mēnešus viņi cīnījās, lai apmācītu vienu modeli, kas varētu līdzsvarot stingru politikas ievērošanu (atbilstību) ar lietotāju iesaistīšanās signāliem. The "aha mirklis" nāca, kad viņi saprata, ka viņiem ir jāatrisina problēma. Viņi destilēja 7B politikas modeli a 1.7B skolotāja modelis koncentrējoties tikai uz atbilstību. Pēc tam viņi to savienoja pārī ar atsevišķiem skolotāju modeļiem, kas tika apmācīti, lai paredzētu konkrētas dalībnieku darbības, piemēram, darba pieteikumus darba produktam vai savienošanu un sekošanu cilvēku meklēšanai. Šis "daudzskolotājs" ansamblis radīja mīkstus varbūtības rādītājus, kurus galīgais studenta modelis iemācījās atdarināt, izmantojot KL novirzes zudumu.
Iegūtā arhitektūra darbojas kā divpakāpju cauruļvads. Pirmkārt, lielāks 8B parametru modelis apstrādā plašu izguvi, metot plašu tīklu, lai izvilktu kandidātus no grafika. Pēc tam ļoti destilētais studentu modelis pārņem smalku ranžēšanu. Kamēr darba meklēšanas produkts tika veiksmīgi izvietots a 0,6 B (600 miljoni) parametru studentam, jaunajam cilvēku meklēšanas produktam bija nepieciešama vēl agresīvāka saspiešana. Kā atzīmē Džans, komanda savu jauno studentu modeli samazināja no 440 miljoniem līdz tikai 220M parametripanākot nepieciešamo ātrumu 1,3 miljardiem lietotāju ar mazāk nekā 1% atbilstības zudumu.
Taču, piemērojot to cilvēku meklēšanai, vecā arhitektūra tika salauzta. Jaunā problēma ietvēra ne tikai rangu guess arī izguve.
“Miljards ierakstu," Bergers teica, ir a "atšķirīgs zvērs."
Komandas iepriekšējā izguves kaudze tika veidota uz centrālajiem procesoriem. Lai apstrādātu jauno mērogu un latentuma prasības a "ņiprs" meklēšanas pieredzi, komandai bija jāpārvieto indeksēšana uz Uz GPU balstīta infrastruktūra. Šī bija pamata arhitektūras maiņa, kas nebija nepieciešama darba meklēšanas produktam.
Organizatoriski LinkedIn guva labumu no vairākām pieejām. Kādu laiku LinkedIn bija divas atsevišķas komandas — darba meklēšana un cilvēku meklēšana — paralēli mēģina atrisināt problēmu. Wager tiklīdz darba meklēšanas komanda panāca izrāvienu, izmantojot politikas virzītu destilācijas metodi, Bergers un viņa vadības komanda iejaucās. Viņi atnesa uzvaras arhitektiem darba meklējumos — produktu vadošais Rohans Rajivs un inženieru vadītājs Wenjing Zhang — lai pārstādītu savu “pavārgrāmatu” tieši jaunajā domēnā.
Destilēšana, lai iegūtu 10 reizes lielāku caurlaidspēju
Kad izguves problēma bija atrisināta, komanda saskārās ar ranžēšanas un efektivitātes izaicinājumu. Šeit pavārgrāmata tika pielāgota ar jaunām, agresīvām optimizācijas metodēm.
Džana tehniskais amats (Ielikšu saiti, kad tā būs tiešsaistē) sniedz konkrētu informāciju, ko mūsu AI inženieru auditorija novērtēs. Viena no nozīmīgākajām optimizācijām bija ievades lielums.
Lai pabarotu modeli, komanda trenējās cits LLM ar pastiprināšanas apmācību (RL) vienam mērķim: apkopot ievades kontekstu. Šis "apkopotājs" modelis varēja samazināt modeļa ievades lielumu par 20 reizes ar minimālu informācijas zudumu.
220 M parametru modeļa un 20 x ievades samazināšanas kopējais rezultāts? A 10 reizes ranžēšanas caurlaidspējas pieaugumsļaujot komandai efektīvi apkalpot modeli tās lielajai lietotāju bāzei.
Pragmatisms pār ažiotāžu: celtniecības instrumenti, nevis aģenti
Visu mūsu diskusiju laikā Bergers bija nelokāms par kaut ko citu, kas varētu piesaistīt cilvēku uzmanību: uzņēmumu patiesā vērtība šodien ir ieteikumu sistēmu pilnveidošanā, nevis dzenāšanā. "aģentu ažiotāža." Viņš arī atteicās runāt par konkrētajiem modeļiem, ko uzņēmums izmantoja meklēšanā, norādot, ka tam gandrīz nav nozīmes. Uzņēmums izvēlas modeļus, pamatojoties uz to, kurš no tiem ir visefektīvākais uzdevumam.
Jaunā ar AI darbināmā cilvēku meklēšana ir Bergera filozofijas izpausme, ka vislabāk ir vispirms optimizēt ieteikumu sistēmu. Arhitektūra ietver jaunu "vieds vaicājumu maršrutēšanas slānis," kā paskaidroja Bergers, tas pats par sevi ir nodrošināts ar LLM. Šis maršrutētājs pragmatiski izlemj, vai lietotāja vaicājums — patīk "uzticības eksperts" — jāiet uz jauno semantisko, dabiskās valodas kaudzi vai veco, uzticamo leksisko meklēšanu.
Visa šī sarežģītā sistēma ir veidota tā, lai tā būtu a "rīks" ka a nākotnē izmantos aģents, nevis pats aģents.
"Aģentu produkti ir tik labi, cik rīki, ko tie izmanto, lai veiktu uzdevumus cilvēkiem," Bergers teica. "Jums var būt pasaulē labākais spriešanas modelis, un, ja jūs mēģināt izmantot aģentu, lai veiktu cilvēku meklēšanu, guess cilvēku meklētājprogramma nav pārāk laba, jūs nevarēsit to nodrošināt."
Tagad, kad cilvēku meklēšana ir pieejama, Bergers ierosināja, ka kādu dienu uzņēmums piedāvās aģentiem to izmantot. Wager viņš nesniedza sīkāku informāciju par laiku. Viņš arī teica, ka recepte, kas izmantota darbam un cilvēku meklēšanai, tiks izplatīta citos uzņēmuma produktos.
Uzņēmumiem, kas veido savus AI ceļvežus, LinkedIn rokasgrāmata ir skaidra:
-
Esiet pragmatisks: Nemēģiniet uzvārīt okeānu. Laimējiet vienu vertikāli, pat ja tas aizņem 18 mēnešus.
-
Kodificēt "pavārgrāmata": Pārvērtiet šo uzvaru par atkārtojamu procesu (politikas dokumenti, destilācijas cauruļvadi, kopprojektēšana).
-
Nepārtraukti optimizējiet: Reālie 10x ieguvumi nāk pēc sākotnējais modelis atzarošanā, destilācijā un radošajā optimizācijā, piemēram, RL apmācīts apkopotājs.
LinkedIn ceļojums parāda, ka reālas pasaules uzņēmumu AI gadījumā uzsvars uz konkrētiem modeļiem vai foršām aģentu sistēmām ir jāatstāj otrajā plānā. Izturīgā, stratēģiskā priekšrocība rodas, apgūstot cauruļvads — mākslīgā intelekta pavārgrāmata par kopprojektēšanu, destilāciju un nežēlīgu optimizāciju.
(Redaktora piezīme: mēs drīzumā VentureBeat aplādes plūsmā publicēsim pilna garuma Podcast apraidi ar LinkedIn Erran Berger, kas padziļinās šajās tehniskajās detaļās.)
