AI infrastruktūras attīstībai sasniedzot satriecošus apmērus, pastāv lielāks spiediens nekā jebkad agrāk, lai no tiem GPU izspiestu pēc iespējas vairāk secinājumu. Un pētniekiem, kuriem ir pieredze konkrētā tehnikā, šis ir lielisks laiks, lai piesaistītu finansējumu.
Tā ir daļa no dzinējspēka Tensormešskas šonedēļ tiek uzsākta slepenībā ar 4,5 miljonu ASV dolāru sākuma finansējumu. Investīcijas vadīja Laude Ventures ar papildu eņģeļu finansējumu no datu bāzes pionieris Maikls Franklins.
Tensormesh izmanto naudu, lai izveidotu atvērtā pirmkoda komerciālu versiju LMCache utilīta, kuru palaida un uztur Tensormesh līdzdibinātājs Yihua Cheng. Labi izmantots, LMCache var samazināt secinājumu izmaksas pat desmit reizes — šī jauda ir padarījusi to par galveno atvērtā koda izvietošanas pamatelementu, kā arī integrāciju no tādiem smagiem spēlētājiem kā Google un Nvidia. Tagad Tensormesh plāno pārvērst šo akadēmisko reputāciju dzīvotspējīgā biznesā.
Atslēgas vērtību kešatmiņas (vai KV kešatmiņas) sirds — atmiņas sistēma, ko izmanto, lai efektīvāk apstrādātu sarežģītus ievades datus, kondensējot tos līdz galvenajām vērtībām. In tradicionālās arhitektūrasKV kešatmiņa tiek izmesta katra vaicājuma beigās, taču TensorMesh izpilddirektors Jučens Dzjans apgalvo, ka tas ir milzīgs neefektivitātes avots.
“Tas ir kā ļoti gudram analītiķim, kurš nolasa visus datus, guess pēc katra jautājuma viņi aizmirst to, ko ir iemācījušies,” saka Tensormesh līdzdibinātājs Junchen Jiang.
Tā vietā, lai izmestu šo kešatmiņu, Tensormesh sistēmas to aiztur, ļaujot to atkārtoti izvietot, kad modelis izpilda līdzīgu procesu atsevišķā vaicājumā. Tā kā GPU atmiņa ir tik vērtīga, tas var nozīmēt datu izplatīšanu vairākos dažādos krātuves slāņos, taču atlīdzība ir ievērojami lielāka izsecināšanas jauda par vienu un to pašu servera slodzi.
Izmaiņas ir īpaši spēcīgas tērzēšanas saskarnēs, jo modeļiem ir nepārtraukti jāatsaucas uz augošo tērzēšanas žurnālu sarunas gaitā. Aģentu sistēmām ir līdzīga problēma, jo palielinās darbību un mērķu žurnāls.
Teorētiski tās ir izmaiņas, ko AI uzņēmumi var veikt paši, taču tehniskā sarežģītība padara to par biedējošu uzdevumu. Ņemot vērā Tensormesh komandas darbu, pētot procesu un pašas detaļas sarežģītību, uzņēmums ir derējis, ka būs liels pieprasījums pēc gatavā produkta.
“KV kešatmiņas saglabāšana sekundārajā krātuves sistēmā un efektīva atkārtota izmantošana, nepalēninot visas sistēmas darbību, ir ļoti sarežģīta problēma,” saka Dzjans. “Mēs esam redzējuši, ka cilvēki algo 20 inženierus un pavada trīs vai četrus mēnešus, lai izveidotu šādu sistēmu. Vai arī viņi var izmantot mūsu produktu un darīt to ļoti efektīvi.”
