Šis raksts ir daļa no VentureBeat īpašā numura “AI reālās izmaksas: veiktspēja, efektivitāte un ROI mērogā”. Lasiet vairāk no šī īpašā numura.
Lielu valodu modeļu (LLMS) parādīšanās ir ļāvusi uzņēmumiem vieglāk iedomāties projektus, kurus viņi var veikt, izraisot izmēģinājuma programmu pieaugumu, kas tagad pāriet uz izvietošanu.
Tomēr, tā kā šie projekti guva impulsu, uzņēmumi saprata, ka agrākās LLM, ko viņi bija izmantojuši, ir smagi un, vēl sliktāk, dārgi.
Ievadiet mazu valodu modeļus un destilāciju. Modeļi, piemēram, GoogleGemma ģimene, MicrosoftPhi un Mistrālsmazais 3.1 ļāva uzņēmumiem izvēlēties ātrus, precīzus modeļus, kas darbojas pēc konkrētiem uzdevumiem. Uzņēmumi var izvēlēties mazāku modeli noteiktiem lietošanas gadījumiem, ļaujot tiem samazināt izmaksas, kas saistītas ar AI lietojumprogrammu vadīšanu un potenciāli sasniegt labāku ieguldījumu atdevi.
LinkedIn Izcilais inženieris Kartiks Ramgopāls pastāstīja VentureBeat, ka uzņēmumi dažu iemeslu dēļ izvēlas mazākus modeļus.
“Mazākiem modeļiem ir nepieciešams mazāk aprēķināt, atmiņu un ātrāku secinājumu laiku, kas tieši pārvēršas zemākā infrastruktūras OPEX (darbības izdevumi) un CAPEX (kapitāla izdevumi), ņemot vērā GPU izmaksas, pieejamību un jaudas prasības,” sacīja Ramgoapl. “Uzdevumam specifiskiem modeļiem ir šaurāks darbības joma, padarot viņu izturēšanos laika gaitā saskaņotāku un uzturējamu bez sarežģītas tūlītējas inženierijas.”
Modeļu izstrādātāji attiecīgi cenšas sasniegt savus mazos modeļus. Openai O4-Mini Izmaksas par 1,1 USD par miljonu žetonu par izejvielām un 4,4 miljoniem USD marķieru par izejām, salīdzinot ar pilnu O3 versiju 10 USD par ieejām un 40 USD par izejām.
Uzņēmumiem šodien ir lielāks mazu modeļu kopums, uzdevumam specifiski modeļi un destilēti modeļi, no kuriem izvēlēties. Mūsdienās vairums flagmanu modeļu piedāvā virkni izmēru. Piemēram, Claude modeļu saime no Antropisks Satver Claude Opus, lielāko modeli, Claude Sonnet, universālo modeli, un Claude Haiku, mazākā versija. Šie modeļi ir pietiekami kompakti, lai darbotos portatīvajās ierīcēs, piemēram, klēpjdatoros vai mobilajos tālruņos.
Uzkrājumu jautājums
Tomēr, apspriežot ieguldījumu atdevi, jautājums vienmēr ir: kā izskatās IA? Vai tam vajadzētu būt radušo izmaksu atdevei vai laika ietaupījumiem, kas galu galā nozīmē dolārus, kas ietaupīti pa līniju? Eksperti VentureBeat runāja ar minēto ROI var būt grūti spriest, jo daži uzņēmumi uzskata, ka viņi jau ir sasnieguši ROI, samazinot uzdevumu pavadīto laiku, kamēr citi gaida faktiskos ietaupītos dolārus vai vairāk uzņēmējdarbības, kas ienesis, lai pateiktu, vai AI ieguldījumi faktiski ir darbojušies.
Parasti uzņēmumi aprēķina IA ar vienkāršu formulu, kā aprakstīts Izzināt galvenais tehnologs Ravi Naarla amatā: IA = (pabalstu izmaksas)/izmaksas. Bet ar AI programmām ieguvumi nav uzreiz acīmredzami. Viņš ierosina uzņēmumiem noteikt ieguvumus, ko viņi sagaida, novērtējot tos, pamatojoties uz vēsturiskajiem datiem, ir reāli attiecībā uz AI kopējām izmaksām, ieskaitot īrēšanu, ieviešanu un uzturēšanu, un jāsaprot, ka jums tas ir jāatrodas ilgtermiņā.
Izmantojot mazus modeļus, eksperti apgalvo, ka tie samazina ieviešanas un uzturēšanas izmaksas, it īpaši, ja precizējot modeļus, lai nodrošinātu viņiem lielāku kontekstu jūsu uzņēmumam.
Arijits Sengupta, dibinātājs un izpilddirektors Taiteica, ka tas, kā cilvēki rada kontekstu modeļiem, nosaka, cik daudz izmaksu ietaupījumu viņi var iegūt. Personām, kurām ir nepieciešams papildu konteksts uzvedumiem, piemēram, ilgstošām un sarežģītām instrukcijām, tas var izraisīt augstākas žetonu izmaksas.
“Jums ir jānorāda modeļiem konteksts vienā vai otrā veidā; nav bezmaksas pusdienu. Bet ar lieliem modeļiem, ko parasti veic, liekot to uzvednē,” viņš teica. “Padomājiet par precizēšanu un pēc apmācību kā alternatīvu veidu, kā dot modeļiem kontekstu. Man varētu rasties 100 USD pēc apmācības izmaksām, bet tas nav astronomisks.”
Sengupta sacīja, ka viņi ir redzējuši apmēram 100x izmaksu samazinājumu tikai no tikai pēc apmācības tikai pēc apmācības, bieži vien metiena izmaksu samazināšanas izmaksas “no viena cipara miljoniem līdz kaut kam līdzīgam 30 000 USD”. Viņš tomēr norādīja, ka šis numurs ietver programmatūras darbības izdevumus un pašreizējās modeļa un vektora datu bāzu izmaksas.
“Runājot par uzturēšanas izmaksām, ja jūs to darāt manuāli ar cilvēku ekspertiem, to var būt dārgi uzturēt, jo mazi modeļi ir jāizmeklē, lai iegūtu rezultātus, kas salīdzināmi ar lieliem modeļiem,” viņš teica.
Eksperimenti Aible vadīts parādīja, ka dažos lietošanas gadījumos, tāpat kā LLMS, ir labi precīzi pielāgots modelis, tāpat kā LLM, liekot gadījumu, ka vairāku lietojumu specifisku modeļu izvietošana, nevis lieli, lai darītu visu, ir rentablāks.
Uzņēmums salīdzināja LLAMA-3.3-70B instrukcijas pēc apmācības versiju ar mazāku tā paša modeļa 8B parametra opciju. 70B modelis, kas bija pēc apmācības par USD 11,30, bija 84% precīzs automatizētos novērtējumos un 92% manuālajā novērtējumā. Pēc tam, kad 8B modelis bija precīzi noregulēts līdz USD 4,58, manuālā novērtējumā 82% precizitāte, kas būtu piemērota mazāk nelieliem, mērķtiecīgākiem lietošanas gadījumiem.
Izmaksu faktori ir piemēroti mērķim
Paaugstinātā izmēra modeļiem nav jānāk uz veiktspējas rēķina. Mūsdienās organizācijas saprot, ka modeļa izvēle nenozīmē tikai izvēli starp GPT-4O vai LLAMA-3.1; Tas ir zināt, ka dažus lietošanas gadījumus, piemēram, apkopošanu vai kodu ģenerēšanu, labāk apkalpo mazs modelis.
Daniels Hoske, kontaktu centra AI produktu pakalpojumu sniedzēja galvenais tehnoloģiju vadītājs Krestaminēts, ka sākums ar LLMS ar LLMS informē iespējamos izmaksu ietaupījumus labāk.
“Jums jāsāk ar lielāko modeli, lai redzētu, vai tas, ko jūs iedomājaties, vispār darbojas, jo, ja tas nedarbojas ar lielāko modeli, tas nenozīmē, ka tas būtu ar mazākiem modeļiem,” viņš teica.
Ramgopāls sacīja, ka LinkedIn seko līdzīgam modelim, jo prototipēšana ir vienīgais veids, kā šīs problēmas var sākt parādīties.
“Mūsu tipiskā pieeja aģentu lietošanas gadījumiem sākas ar vispārējas nozīmes LLMS, jo to plašā vispārinamība ļauj mums ātri prototipu, apstiprināt hipotēzes un novērtēt produktu tirgus piemērotību,” sacīja LinkedIn Ramgopal. “Kad produkts nobriest un mēs saskaramies ar ierobežojumiem par kvalitāti, izmaksām vai latentumu, mēs pārejam uz vairāk pielāgotiem risinājumiem.”
Eksperimenta posmā organizācijas var noteikt, ko tās visvairāk vērtē no savām AI lietojumprogrammām. To izdomāšana ļauj izstrādātājiem labāk plānot to, ko viņi vēlas ietaupīt, un izvēlēties modeļa lielumu, kas vislabāk atbilst viņu mērķim un budžetam.
Eksperti brīdināja, ka, lai arī ir svarīgi veidot ar modeļiem, kas vislabāk darbojas ar to, ko viņi izstrādā, augstā parametru LLM vienmēr būs dārgāki. Lieliem modeļiem vienmēr būs nepieciešama ievērojama skaitļošanas jauda.
Tomēr problēmas rada arī mazu un uzdevumu specifisku modeļu pārmērīga izmantošana. Rauls Pathaks, datu viceprezidents un AI GTM plkst Awsemuāra ierakstā teica, ka izmaksu optimizācija nāk ne tikai no modeļa izmantošanas ar zemām aprēķinu jaudas vajadzībām, bet gan ar modeļa saskaņošanu ar uzdevumiem. Mazākiem modeļiem var nebūt pietiekami liels konteksta logs, lai izprastu sarežģītākas instrukcijas, kas palielina cilvēku darbinieku darba slodzi un augstākas izmaksas.
Sengupta arī brīdināja, ka daži destilēti modeļi var būt trausli, tāpēc ilgtermiņa lietošana var neiziet.
Pastāvīgi novērtēt
Neatkarīgi no modeļa lieluma, nozares dalībnieki uzsvēra elastību, lai risinātu iespējamus jautājumus vai jaunus lietošanas gadījumus. Tātad, ja viņi sāk ar lielu modeli un mazāku modeli ar līdzīgu vai labāku veiktspēju un zemākām izmaksām, organizācijas nevar būt vērtīgas par viņu izvēlēto modeli.
Tessa Burg, CTO un zīmolu mārketinga uzņēmuma inovāciju vadītāja Mod oppastāstīja VentureBeat, ka organizācijām jāsaprot, ka neatkarīgi no tā, ko viņi tagad veido, vienmēr aizstās labāka versija.
VaiMēs sākām ar domāšanas veidu, ka tehnoloģija, kas atrodas zem tās darbplūsmas, kuras mēs veidojam, mainīsies procesi, kurus mēs veidojam efektīvāki. Mēs zinājām, ka jebkurš modelis, ko mēs izmantojam, būs modeļa sliktākā versija. ”
Burga sacīja, ka mazākie modeļi palīdzēja ietaupīt viņas uzņēmumu un klientu laiku koncepciju izpētē un attīstībā. Pēc viņa sacīja, ka laika gaitā ietaupītais laiks ir ietaupīts. Viņa piebilda, ka ir laba ideja izdalīt augstas izmaksu, augstas frekvences lietošanas gadījumus vieglas modeļiem.
Sengupta atzīmēja, ka pārdevēji tagad atvieglo modeļu automātisku pārslēgšanu, bet brīdināja lietotājus atrast platformas, kas arī atvieglo precizēšanu, tāpēc viņiem nav papildu izmaksas.
