Uptime Industries veic derības par AI infrastruktūru uz vietas ar rokas ierīci “AI-in-a-box” ar nosaukumu Lemony AI.
Sviestmaizes izmērs, Citrona ai it kā var palaist lielu valodas modeli (LLM), AI aģentus un AI darbplūsmas vienā mezglā. Katrai citronijai ir nepieciešami tikai 65 vati jauda, kas ir līdzvērtīgs klēpjdatora uzlādēšanai, un to var sakraut un savienot, lai veidotu lielākas AI kopas.
Sascha Buehrle, Uptime līdzdibinātājs un izpilddirektors, TechCrunch pastāstīja, ka katrs mezgls var uzturēt LLM līdz 75 miljardiem parametru un var mitināt atvērtā koda modeļus vai modernizētas slēgtu modeļu versijas. Citrona mezglu kopā katra ierīce var palaist citu modeli.
Uptime tiek sākta ar partnerībām ar IBM un JetBrains, lai klientiem būtu vieglāk piekļūt AI modeļiem, ieskaitot IBM slēgtos modeļus.
Tāpat kā vairums tehnoloģiju jaunuzņēmumu, arī citronijas AI ideja radās no sānu projekta: Uptime līdzdibinātāji Buehrle un Ivans Kuleshovs mēģināja izdomāt, vai viņi var izplatīt valodu modeļus aveņu pi mikro datoros, un, lai gan tas sākotnēji nebija saistīts ar ģeneratīvu AI, kad tas darbojās, viņi sāka mēģināt, lai vēl varētu rīkoties.
Kad viņi saprata, ka vietējo ierīču modeļu palaišana varētu pierādīt atslēgu, lai atbloķētu vairāk organizāciju AI pieņemšanu-teiksim, uzņēmumi, kas nevēlas izmantot mākoņa modeļus-viņi sāka veidot savu ierīci. Viņi izdomāja, ka tas ir mazs, uzsverot datu privātumu, tas varētu panākt, lai uzņēmumi ātrāk pieņemtu AI.
“Mums jāveido kaut kas mazs, kas var viegli iedziļināties komandās un kas [does] Neprasa nevienu lēmumu pieņemšanu visā organizācijā-galvenokārt ievedot ģeneratīvus AI risinājumus biznesa komandās, galvenokārt, ”sacīja Buehrle. Mazo un jaudīgo ierīču kopas var palīdzēt sistēmai augt atbilstoši klienta vajadzībām, viņš piebilda.
Uzņēmums saka, ka tas jau ir piedzīvojis lielu pieprasījumu no uzņēmējdarbības ļoti regulētās nozarēs, piemēram, finansēs, veselības aprūpē un likumā.
“Viss paliek jūsu kastē,” sacīja Buehrle. “Tātad jūsu dokumenti, faili, e -pasti – modeļi tiek mitināti lodziņā, aģenti lokāli darbojas lodziņā, un nekas neatstāj lodziņu.”
Uptime līdz šim ir piesaistījusi 2 miljonus dolāru sēklu finansējuma kārtā, kuru vada patiesi uzņēmumi, piedaloties absolventu Ventures, JetBrains un dažiem eņģeļu investoriem. Uzņēmums izmantos līdzekļus, lai turpinātu attīstīt savas ierīces.
Startup saka, ka plāns tagad ir iegūt programmatūru, kuru tā ir izstrādājusi saviem mikro AI datoriem, citronija OS, lai strādātu pie citu uzņēmumu aparatūras, piemēram, Nvidia dgx dzirksteleApvidū Tā arī vēlas paplašināt programmatūru no pašreizējās, viena lietotāja fokusa uz tādu, kuru var izmantot komandas.
Lemonijas AI lietošana maksā 499 USD mēnesī, un tai var piekļūt līdz pieciem lietotājiem.
