Vai vēlaties gudrāku ieskatu iesūtnē? Reģistrējieties mūsu iknedēļas biļeteniem, lai iegūtu tikai to, kas ir svarīgi uzņēmuma AI, datu un drošības vadītājiem. Abonēt tūlīt
Tensorzestarta ēkas atvērtā koda infrastruktūra lielām valodas modeļa lietojumprogrammām, pirmdien paziņoja Pirmā zīmear dalību no Bessemer Venture PartnersVerdzība PamatsVerdzība DRWVerdzība Koalīcijaun desmitiem stratēģisko eņģeļu investoru.
Finansējums nāk, jo 18 mēnešus vecais uzņēmums piedzīvo sprādzienbīstamu izaugsmi izstrādātāju kopienā. Tensorzero atvērtā koda krātuve Nesen sasniedza “#1 nedēļas tendence krātuveVietne visā pasaulē uz Github, pēdējos mēnešos pārejot no aptuveni 3000 līdz vairāk nekā 9700 zvaigznēm, jo uzņēmumi cīnās ar sarežģītību, kas saistīta ar ražošanu gataviem AI lietojumprogrammām.
“Neskatoties uz visu nozares troksni, uzņēmumiem, kas būvē LLM lietojumprogrammas, joprojām trūkst pareizo rīku, lai apmierinātu sarežģītas izziņas un infrastruktūras vajadzības, un tā izmanto, lai apvienotu visu, kas tirgū ir pieejami agrīnie risinājumi,” sacīja Metjū Turks, Firstmark ģenerālpartneris, kurš vadīja ieguldījumu. “Tensorzero nodrošina ražošanas pakāpi, uzņēmumam gatavus komponentus LLM lietojumprogrammu celtniecībai, kas dabiski darbojas kopā pašapzinošā cilpā, ārpus kastes.”
Bruklinā bāzētais uzņēmums pievēršas arvien pieaugošam sāpju punktam uzņēmumu izvietošanai AI lietojumprogrammas mērogā. Kaut arī lielas valodas modeļiem patīk GPT-5 un Kleita ir parādījuši ievērojamas iespējas, pārveidojot tās uzticamās biznesa lietojumprogrammās, ir nepieciešams orķestrēt vairākas sarežģītas sistēmas modeļa piekļuvei, uzraudzībai, optimizēšanai un eksperimentēšanai.
AI mērogošana sasniedz savas robežas
Strāvas robežas, pieaugošās marķiera izmaksas un secinājumu kavēšanās ir uzņēmuma AI pārveidošana. Pievienojieties mūsu ekskluzīvajam salonam, lai atklātu, kā ir labākās komandas:
- Enerģijas pārvēršana par stratēģisku priekšrocību
- Arhitektējot efektīvus secinājumus par reālu caurlaidspējas pieaugumu
- Konkurences IA atbloķēšana ar ilgtspējīgām AI sistēmām
Nostipriniet savu vietu, lai paliktu priekšā:
Kā kodolizturības pētījumi veidoja izrāviena AI optimizācijas platformu
Tensorzero pieeja rodas no līdzdibinātāja un CTO Viraj Mehta netradicionālās fona pastiprināšanas mācībās kodolizturības reaktoriem. Viņa doktora laikā plkst Kārnegija MelonaMehta strādāja pie Enerģētikas pētījumu departamenta projektiem, kur datu vākšana maksā “kā automašīna uz vienu datu punktu – 30 000 USD 5 sekunžu datiem”, viņš paskaidroja nesenā intervijā Venturebeat.
“Šī problēma rada milzīgas bažas par to, kur koncentrēt mūsu ierobežotos resursus,” sacīja Mehta. “Mēs gatavojāmies tikai veikt dažus izmēģinājumus, tāpēc jautājums kļuva: kāda ir nedaudz vērtīgākā vieta, no kuras mēs varam apkopot datus?” Šī pieredze veidoja Tensorzero galveno filozofiju: maksimāli palielinot katra datu punkta vērtību, lai nepārtraukti uzlabotu AI sistēmas.
Ieskats noveda Mehta un līdzdibinātāju Gabrielu Biankoni, bijušo galveno produktu virsnieku Ondo finansēšana (Decentralizēts finanšu projekts ar vairāk nekā USD 1 miljardu pārvaldītajos aktīvos), lai pārskatītu LLM lietojumprogrammas kā pastiprināšanas mācību problēmas, kurās sistēmas mācās no reālās atsauksmes.
“LLM pielietojumi plašākā kontekstā jūtas kā pastiprināšanas mācību problēmas,” skaidroja Mehta. “Jūs veicat daudz zvanu uz mašīnmācīšanās modeli ar strukturētām ieejām, iegūstat strukturētas izejas un galu galā saņemat kaut kādu atlīdzību vai atgriezenisko saiti. Tas man izskatās kā daļēji novērojams Markova lēmumu pieņemšanas course of.”
Kāpēc uzņēmumi nolaiž sarežģītas pārdevēju integrācijas vienotai AI infrastruktūrai
Tradicionālās pieejas LLM lietojumprogrammu veidošanai prasa uzņēmumiem integrēt daudzus specializētus rīkus no dažādiem pārdevējiem-modeļa vārtejām, novērojamības platformām, novērtēšanas ietvariem un precizējošiem pakalpojumiem. Tensorze apvieno šīs iespējas vienā atvērtā koda kaudzē, kas paredzēta, lai nemanāmi strādātu kopā.
“Lielākā daļa uzņēmumu neizdevās integrēt visus šos dažādos rīkus, un pat tie, kas to darīja, beidzās ar sadrumstalotiem risinājumiem, jo šie rīki nebija izstrādāti, lai labi darbotos savā starpā,” sacīja Bianconi. “Tātad mēs sapratām, ka ir iespēja izveidot produktu, kas ļauj ražot šo atgriezeniskās saites cilpu.”
Platformas galvenais jauninājums ir tas, ko dibinātāji sauc par “datiem un spararatu” – atgriezeniskās saites cilpu, kas ražošanas metriku un cilvēku atsauksmes pārvērš gudrākos, ātrākos un lētākos modeļos. Tensorzero, kas būvēts rūsā, iegūst apakšmilisekundē latentuma pieskaitāmās izmaksas, vienlaikus atbalstot visus galvenos LLM pakalpojumu sniedzējus caur vienotu API.
Galvenās bankas un AI jaunizveidotie uzņēmumi jau veido ražošanas sistēmas Tensorzero
Šī pieeja jau ir piesaistījusi ievērojamu uzņēmumu ieviešanu. Viena no lielākajām Eiropas bankām ir Tensorzero izmantošana, lai automatizētu kodu maiņas ģenerēšanu, savukārt daudzi AI pirmie jaunuzņēmumi no A sērijas B posma ir integrējuši platformu dažādās nozarēs, ieskaitot veselības aprūpes, finanses un patērētāju lietojumprogrammas.
“Gan atvērtā koda kopienas, gan uzņēmumu adopcijas pieaugums ir bijis neticami,” sacīja Bianconi. “Mums ir paveicies, ka esam saņēmuši ieguldījumu no desmitiem izstrādātāju visā pasaulē, un ir aizraujoši redzēt, ka Tensorzero jau darbina progresīvas LLM lietojumprogrammas pierobežas AI jaunizveidotos uzņēmumos un lielās organizācijās.”
Uzņēmuma klientu bāze aptver organizācijas no jaunizveidotiem uzņēmumiem līdz galvenajām finanšu iestādēm, ko veido gan tehniskās iespējas, gan platformas atvērtā koda raksturs. Uzņēmumiem, kuriem ir stingras atbilstības prasības, spēja vadīt Tensorzero viņu pašu infrastruktūrā nodrošina būtisku kontroli pār sensitīviem datiem.
Kā Tensorzero pārspēj Langchain un citus AI ietvarus uzņēmuma mērogā
Tensorze atšķir sevi no esošajiem risinājumiem, piemēram, Langchain un Litellms Izmantojot savu galīgo pieeju un koncentrējieties uz ražošanas līmeņa izvietošanu. Kaut arī daudzi ietvari izceļas ar ātru prototipu veidošanu, tie bieži skar mērogojamības griestus, kas liek uzņēmumiem atjaunot savu infrastruktūru.
“Par domām ir divas dimensijas,” skaidroja Biankoni. “Pirmkārt, tur ir vairāki projekti, kas ir ļoti labi, lai sāktu ātri, un jūs varat ļoti ātri izlikt prototipu. Wager bieži uzņēmumi ar daudziem no šiem produktiem sasniegs griestus, un viņiem ir jākļūst un jāceļas uz kaut ko citu.”
Platformas strukturētā pieeja datu vākšanai ļauj arī sarežģītākas optimizācijas metodes. Atšķirībā no tradicionālajiem novērojamības rīkiem, kas saglabā neapstrādātu teksta ievadi un izejas, Tensorzero uztur strukturētus datus par mainīgajiem, kas nonāk katrā secinājumā, padarot modeļu vieglāk pārkvalifikāciju un eksperimentēt ar dažādām pieejām.
Rūsa darbināma veiktspēja nodrošina apakšmilisekundes latentumu ar 10 000+ vaicājumiem sekundē
Veiktspēja ir bijis galvenais dizaina apsvērums. Etalīnos Tensorzero uz rūsas vārteja pievieno mazāk nekā 1 milisekundes latentuma 99. procentilē, vienlaikus apstrādājot vairāk nekā 10 000 vaicājumu sekundē. Tas ir labvēlīgi salīdzināts ar python balstītām alternatīvām, piemēram, Litellm, kas var pievienot 25–100x lielāku latentumu daudz zemākā caurlaides līmenī.
“Litellm (Python) 100 QPS pievieno 25-100x+ vairāk P99 latentuma nekā mūsu vārteja 10 000 QP,” dibinātāji atzīmēja savā paziņojumā, uzsverot to rūsas ieviešanas veiktspējas priekšrocības.
Atvērtā koda stratēģija, kas paredzēta AI pārdevēja aizslēgšanas bailēm
Tensorze ir apņēmies saglabāt savu galveno platformu pilnībā atvērtā pirmkoda, bez maksas funkcijām-stratēģija, kas izstrādāta, lai veidotu uzticību ar uzņēmuma klientiem, atturīgi no pārdevēja ieslēdzas. Uzņēmums plāno gūt peļņu no pārvaldīta pakalpojuma, kas automatizē sarežģītākos LLM optimizācijas aspektus, piemēram, GPU vadība pielāgotu modeļa apmācībai un proaktīvu optimizācijas ieteikumiem.
“Mēs ļoti agri sapratām, ka mums ir jāizgatavo šis atvērtais avots, lai dotu [enterprises] Pārliecība to darīt, ”sacīja Biankoni.” Nākotnē, vismaz gadu pēc šī brīža reālistiski, mēs atgriezīsimies ar papildinošu pārvaldītu pakalpojumu. “
Pārvaldītais pakalpojums koncentrēsies uz LLM optimizācijas skaitļošanas intensīvo aspektu automatizāciju, saglabājot atvērtā koda kodolu. Tas ietver GPU infrastruktūras apstrādi precizēšanai, automatizētu eksperimentu veikšanai un proaktīvu ieteikumu sniegšanu modeļa veiktspējas uzlabošanai.
Kas notiks nākamais uzņēmuma pārveidošanas uzņēmuma AI infrastruktūrai
Paziņojuma pozīcijas Tensorze Aizvien pieaugošās kustības priekšplānā, lai atrisinātu “LLMOPS” izaicinājumu – AI lietojumprogrammu darbības sarežģītību ražošanā. Tā kā uzņēmumi arvien vairāk uzskata AI par kritisku biznesa infrastruktūru, nevis eksperimentālo tehnoloģiju, pieprasījums pēc ražošanas gataviem instrumentiem turpina paātrināties.
Ar jauno finansējumu Tensorzero plāno paātrināt savas atvērtā koda infrastruktūras attīstību, veidojot savu komandu. Pašlaik uzņēmums pieņem darbā Ņujorkā un atzinīgi vērtē attīstītāju kopienas atvērtā koda ieguldījumu. Dibinātāji ir īpaši satraukti par pētniecības rīku izstrādi, kas ļaus ātrāk eksperimentēt dažādās AI lietojumprogrammās.
“Mūsu galvenais redzējums ir dot iespēju datiem un mācīties spararatu, lai optimizētu LLM lietojumprogrammas – atgriezeniskās saites cilpa, kas ražošanas metriku un cilvēku atgriezenisko saiti pārvērš gudrākos, ātrākos un lētākos modeļos un aģentos,” sacīja Mehta. “Tā kā AI modeļi kļūst gudrāki un uzņemas sarežģītākas darbplūsmas, jūs nevarat par tiem pamatot vakuumā; jums tas jādara saistībā ar viņu reālās sekām.”
Tensorzero straujā github izaugsme Un agrīnā uzņēmuma vilce liecina par spēcīgu produktu tirgu, lai risinātu vienu no aktuālākajiem izaicinājumiem mūsdienu AI attīstībā. Uzņēmuma atvērtā koda pieeja un koncentrēšanās uz uzņēmuma līmeņa sniegumu varētu izrādīties izšķirošas priekšrocības tirgū, kurā izstrādātāju pieņemšana bieži notiek pirms uzņēmuma pārdošanas.
Uzņēmumiem, kas joprojām cenšas pārvietot AI lietojumprogrammas no prototipa uz ražošanu, Tensorzero vienotā pieeja piedāvā pārliecinošu alternatīvu pašreizējam specializētu rīku labošanai. Kā atzīmēja viens nozares novērotājs, atšķirība starp AI demonstrāciju veidošanu un AI uzņēmumu veidošanu bieži rodas infrastruktūrā-un Tensorzero ir derīgs, ka vienota, uz veiktspēju orientēta infrastruktūra būs pamats, uz kura tiks uzbūvēta nākamās paaudzes AI uzņēmumi.
avots
