Jaunākais papildinājums mazajam uzņēmumu modeļa vilnim nāk no AI21 laboratorijaskas ir derības, ka modeļu ieviešana ierīcēs atbrīvos trafiku datu centros.
AI21 Jamba argumentācija 3B, “niecīgs” atvērtā koda modelis, kas var darbināt pagarinātu argumentāciju, kodu ģenerēšanu un reaģēt, pamatojoties uz zemes patiesību. Jamba argumentācija 3B apstrādā vairāk nekā 250 000 žetonu un var izpildīt secinājumus par malu ierīcēm.
Uzņēmums sacīja, ka Jamba argumentācija 3B darbojas ar tādām ierīcēm kā klēpjdatori un mobilie tālruņi.
Ori Gošens, AI21 līdzdirektors, sacīja VentureBeat, ka uzņēmums maziem modeļiem redz vairāk uzņēmumu lietošanas gadījumu, galvenokārt tāpēc, ka visvairāk secinājumu virzīšana uz ierīcēm atbrīvo datu centrus.
“Tas, ko mēs šobrīd redzam šajā nozarē, ir ekonomikas problēma, kurā ir ļoti dārgi datu centra izveidošana, un ieņēmumi, kas tiek gūti no datu centriem, salīdzinot ar visu to mikroshēmu nolietojuma līmeni, parāda, ka matemātika nesummējas,” sacīja Gošens.
Viņš piebilda, ka nākotnē “nozare kopumā būtu hibrīds tādā nozīmē, ka daži aprēķini atradīsies ierīcēs uz vietas un citi secinājumi pārcelsies uz GPU”.
Pārbaudīts MacBook
Jamba argumentācija 3B apvieno MAMBA arhitektūru un transformatorus, lai tas varētu palaist 250k marķiera logu ierīcēs. AI21 paziņoja, ka tas var veikt 2-4x ātrāku secinājumu ātrumu. Gošens sacīja, ka Mamba arhitektūra ievērojami veicināja modeļa ātrumu.
Jamba argumentācija 3B hibrīda arhitektūra arī ļauj tai samazināt atmiņas prasības, tādējādi samazinot to skaitļošanas vajadzības.
AI21 pārbaudīja modeli standarta MacBook Professional un atklāja, ka tas var apstrādāt 35 marķierus sekundē.
Gošens sacīja, ka modelis vislabāk darbojas uzdevumos, kas saistīti ar funkciju izsaukšanu, politiku pamatotu paaudzi un instrumentu maršrutēšanu. Viņš sacīja, ka vienkāršus pieprasījumus, piemēram, lūdzot informāciju par gaidāmo sanāksmi un lūdzot modeli izveidot tā darba kārtību, varētu veikt ierīcēs. Sarežģītākus spriešanas uzdevumus var saglabāt GPU klasteriem.
Mazi modeļi uzņēmumā
Uzņēmumi ir ieinteresēti izmantot mazu modeļu sajaukumu, no kuriem daži ir īpaši izstrādāti to nozarei, un citi, kas ir saīsinātas LLMS versijas.
Septembrī, Meta atbrīvots Mobilellm-R1, argumentācijas modeļu ģimene svārstās no 140 m līdz 950 m parametriem. Šie modeļi ir paredzēti matemātikas, kodēšanas un zinātniskai spriešanai, nevis tērzēšanas lietojumprogrammām. MobilellM-R1 var darboties ar aprēķinātiem ierobežotām ierīcēm.
Google‘s Gemma bija viens no pirmajiem mazajiem modeļiem, kas ieradās tirgū, kas bija paredzēts darbībai ar portatīvām ierīcēm, piemēram, klēpjdatoriem un mobilajiem tālruņiem. Gemma kopš tā laika ir ir paplašinātsApvidū
Uzņēmumiem patīk Fico ir arī sākuši veidot savus modeļus. FICO palaists Tās FICO koncentrētā valoda un FICO fokusētie mazie modeļi, kas atbildēs tikai uz finansēm raksturīgiem jautājumiem.
Gošens sacīja, ka viņu modeļa piedāvātais lielais atšķirība ir tāda, ka tas ir pat mazāks nekā vairums modeļu, un tomēr tas var veikt spriešanas uzdevumus, nezaudējot ātrumu.
Etalona pārbaude
Etalona testē Qwen 4b, Meta‘S LLAMA 3.2B-3B un phi-4-mini no MicrosoftApvidū
Tas pārspēja visus IFBench testa un cilvēces pēdējā eksāmena modeļus, lai gan tas bija otrais Qwen 4 MMLU-Professional.
Gošens sacīja, ka vēl viena mazu modeļu, piemēram, Jamba argumentācijas 3B, priekšrocība ir tā, ka tie ir ļoti vadāmi un nodrošina labākas privātuma iespējas uzņēmumiem, jo secinājumi netiek nosūtīti uz serveri citur.
“Es ticu, ka ir pasaule, kurā jūs varat optimizēt klienta vajadzībām un pieredzi, un modeļi, kas tiks turēti ierīcēs, ir liela daļa no tā,” viņš teica.
