Vai vēlaties gudrāku ieskatu iesūtnē? Reģistrējieties mūsu iknedēļas biļeteniem, lai iegūtu tikai to, kas ir svarīgi uzņēmuma AI, datu un drošības vadītājiem. Abonēt tūlīt
Maziem modeļiem ir mirklis. Uz jauna AI redzējuma modeļa izlaišanas papēžiem pietiekami mazs, lai ietilptu viedpulkstenī no MIT Spinoff Liquid AI un pietiekami mazs modelis, lai palaistu viedtālrunī no Google, NVIDIA šodien pievienojas partijai ar jauns mazas valodas modelis (SLM) savs, Nemotron-nano-9b-v2kas ieguva augstāko sniegumu savā klasē par atlasītajiem etaloniem un nāk ar iespēju lietotājiem pārslēgt un izslēgt AI “argumentāciju”, tas ir, pašpārliecinoties pirms atbildes izvadīšanas.
Savukārt 9 miljardu parametru ir lielāki nekā daži no multimiljonu parametru, kas nesen ir apskatīti VentureBeatNVIDIA norāda, ka tas ir nozīmīgs samazinājums no tā sākotnējā lieluma – 12 miljardiem parametru un ir paredzēts, lai ietilptu a viens nvidia A10 GPUApvidū
Kā Oleksii Kuchiaev, AI modeļa pēc apmācības NVIDIA direktors, Teica par x Atbildot uz jautājumu, kuru es viņam iesniedzu: “12b tika apgriezts līdz 9B, lai īpaši piemērotu A10, kas ir populāra GPU izvēle izvietošanai. Tas ir arī hibrīda modelis, kas ļauj tai apstrādāt lielāku partijas izmēru un būt līdz 6x ātrāk nekā līdzīga izmēra transformatoru modeļi. ”
Kontekstā daudzi vadošie LLM ir parametru diapazonā no 70 miljardiem (atsaukšanas parametri attiecas uz iekšējiem iestatījumiem, kas regulē modeļa uzvedību, un parasti apzīmē lielāku un spējīgāku, wager vairāk apkopotu intensīvu modeli).
AI mērogošana sasniedz savas robežas
Strāvas robežas, pieaugošās marķiera izmaksas un secinājumu kavēšanās ir uzņēmuma AI pārveidošana. Pievienojieties mūsu ekskluzīvajam salonam, lai atklātu, kā ir labākās komandas:
- Enerģijas pārvēršana par stratēģisku priekšrocību
- Arhitektējot efektīvus secinājumus par reālu caurlaidspējas pieaugumu
- Konkurences IA atbloķēšana ar ilgtspējīgām AI sistēmām
Nostipriniet savu vietu, lai paliktu priekšā:
Modelis apstrādā vairākas valodas, ieskaitot angļu, vācu, spāņu, franču, itāļu, japāņu un paplašinātos aprakstos, korejiešu, portugāļu, krievu un ķīniešu valodā. Tas ir piemērots abiem NOSLĒDZĪGS UN KODU GENERIJA.
Nemotron-nano-9b-v2 un tā pirms apmācības datu kopas Pašlaik pieejams sejas apskaušanā un caur uzņēmuma modeļa katalogu.
Transformatora un Mamba arhitektūru saplūšana
Tas ir balstīts uz Nemotron-hhibrīda Mamba-Transformer modeļu komplekts, kas veido pamatu uzņēmuma jaunākajiem piedāvājumiem.
Kaut arī vispopulārākie LLM ir tīri “transformatoru” modeļi, kas pilnībā balstās uz uzmanības slāņiem, tie var kļūt dārgi atmiņā un aprēķināt, pieaugot secības garumam.
Tā vietā nemotron-h modeļi un citi, izmantojot Mamba arhitektūra, ko izstrādājuši pētnieki arī Kārnegija Melona universitātē un Prinstonā, arī aust selektīvos stāvokļa kosmosa modeļos (vai SSM), kas, saglabājot stāvokli, var rīkoties ar ļoti garām informācijas sekvencēm.
Šie slāņi ir lineāri mērogoti ar secības garumu un var apstrādāt kontekstu daudz ilgāk nekā standarta sevis uzmanība bez tādas pašas atmiņas un aprēķinot pieskaitāmās izmaksas.
HYBRID Mamba-transformers samazina šīs izmaksas, aizstājot lielāko uzmanību ar lineārā laika stāvokļa telpas slāņiem, sasniedzot līdz 2–3 × augstāku caurlaidspēju ilgos kontekstos ar salīdzināmu precizitāti.
Citas AI laboratorijas ārpus NVIDIA, piemēram, AI2, ir izlaidušas arī modeļus, kuru pamatā ir Mamba arhitektūra.
Pārslēgt/argumentāciju, izmantojot valodu
Nemotron-nano-9B-V2 ir novietots kā vienota, tikai teksta tērzēšana un argumentācijas modelis, kas apmācīts no nulles.
Līdz Sistēmas noklusējuma spriešanas izsekošanas ģenerēšana pirms galīgās atbildes sniegšanas, lai gan lietotāji var pārslēgt šo uzvedību Izmantojot vienkāršus vadības žetonus, piemēram, /domā vai /no_think.
Modelis arī iNetrodu izpildītā “domāšanas budžeta” vadībakas ļauj izstrādātājiem ierobežot žetonu skaitu veltīts iekšējai spriešanai, pirms modelis pabeidz atbildi.
Šī mehānisma mērķis ir līdzsvarot precizitāti ar latentumu, īpaši tādās lietojumprogrammās kā klientu atbalsts vai autonomi aģenti.
Etaloni stāsta daudzsološu stāstu
Novērtēšanas rezultāti izceļ konkurences precizitāti pret citiem atvērtiem maza mēroga modeļiem. Pārbaudīts “argumentācija ieslēgts” režīmā, izmantojot Nemo-Expertise Suite, Nemotron-nano-9B-V2 sasniedz 72,1 procentu AIME25Verdzība 97,8 procenti no Math500, 64,0 procenti GPQAun 71,1 procents par LivecodeBenchApvidū
Tiek ziņots arī par sekojošo instrukciju un garā konteksta etaloniem: 90,3 procenti no IFEVAL, 78,9 procenti no lineāla 128K testaun mazāki, wager izmērāmi ieguvumi no BFCL V3 un HLE etalona.
Visā dēļā Nano-9B-V2 parāda augstāku precizitāti nekā QWEN3-8B, kopīgs salīdzināšanas punkts.
NVIDIA ilustrē šos rezultātus ar precizitāti pret budžeta līknēm, kas parāda, kā veiktspējas skalas palielinās marķiera pabalsts argumentācijai. Uzņēmums ierosina, ka rūpīga budžeta kontrole var palīdzēt izstrādātājiem optimizēt gan kvalitāti, gan latentumu ražošanas lietošanas gadījumos.
Apmācīts sintētiskās datu kopās
Gan Nano modelis, gan Nemotron-H ģimene paļaujas uz kuratoru, tīmekļa veidotu un sintētisko apmācības datu sajaukumu.
Korporā ietilpst vispārīgs teksts, kods, matemātika, zinātne, juridiski un finanšu dokumenti, kā arī izlīdzināšanas stila jautājumu atbildes datu kopas.
NVIDIA apstiprina sintētiskas spriešanas pēdas, ko rada citi lieli modeļi, lai stiprinātu veiktspēju sarežģītos etalonos.
Licencēšana un komerciāla izmantošana
Nano-9B-V2 modelis tiek izlaists zem NVIDIA atvērtā modeļa licences līgumspēdējo reizi atjaunināts 2025. gada jūnijā.
Licence ir izstrādāta tā, lai tā būtu pieļaujama un uzņēmumam draudzīga. NVIDIA skaidri norāda, ka modeļi ir komerciāli izmantojams ārpus kastesun tas Izstrādātāji var brīvi izveidot un izplatīt atvasinātos modeļus.
Svarīgi ir tas, ka NVIDIA nepretendē uz modeļa radītajiem rezultātiem, atstājot atbildību un tiesības ar izstrādātāju vai organizāciju, izmantojot to.
Uzņēmuma izstrādātājam tas nozīmē, ka modeli var nekavējoties ieviest ražošanā, nesarunājot par atsevišķu komerciālu licenci vai maksājot nodevas, kas saistītas ar lietošanas sliekšņiem, ieņēmumu līmeni vai lietotāju skaitu. Nav nevienas klauzulas, kas prasītu apmaksātu licenci, tiklīdz uzņēmums sasniedz noteiktu mērogu, atšķirībā no dažām daudzpakāpju atvērtām licencēm, kuras izmanto citi pakalpojumu sniedzēji.
Tomēr nolīgumā ir jāievēro vairāki nosacījumi, kas ir jāievēro:
- Aizsargmargas: Lietotāji nevar apiet vai atspējot iebūvētus drošības mehānismus (saukti par “aizsargmargām”), neīstenojot salīdzināmas nomaiņas, kas piemērotas viņu izvietošanai.
- Pārdale: Jebkurā modeļa vai atvasinājumu pārdalīšanā jāiekļauj NVIDIA atvērtā modeļa licences teksts un piedēvēšana (“Licencēta NVIDIA Company saskaņā ar NVIDIA atvērtā modeļa licenci”).
- Piemērotība: Lietotājiem jāievēro tirdzniecības noteikumi un ierobežojumi (piemēram, ASV eksporta likumi).
- Uzticami AI termini: Lietojumprogrammai jābūt saskaņotai ar NVIDIA uzticamām AI vadlīnijām, kas aptver atbildīgus izvietošanu un ētiskus apsvērumus.
- Tiesvedības klauzula: Ja lietotājs ierosina autortiesības vai patentu tiesvedību pret citu vienību, kas apgalvo, ka modeļa pārkāpums tiek pārkāpts, licence automātiski beidzas.
Šie nosacījumi koncentrējas uz likumīgu un atbildīgu izmantošanu, nevis komerciālu mērogu. Uzņēmumiem nav jāmeklē papildu atļauja vai jāmaksā autoratlīdzība NVIDIA tikai par produktu celtniecību, to gūšanu vai pelnīšanu vai to lietotāju bāzes mērogošanu. Tā vietā viņiem jāpārliecinās, ka izvietošanas prakse ievēro drošību, piedēvēšanu un atbilstības saistības.
Pozicionēšana tirgū
Izmantojot NVIDIA, NVIDIA ir paredzēta izstrādātājiem, kuriem ir nepieciešams spriešanas spēju un izvietošanas efektivitātes līdzsvars mazākos mērogos.
Runtime budžeta kontrole un argumentācijas funkcijas ir paredzētas, lai sistēmu veidotājiem būtu lielāka elastība precizitātes pārvaldībā un reakcijas ātrumā.
Viņu atbrīvošana uz apskaušanas seju un NVIDIA modeļa katalogs norāda, ka viņi ir domāts, lai būtu plaši pieejams eksperimentēšanai un integrācijai.
NVIDIA izlaišana Nemotron-nano-9B-V2 demonstrē turpmāku koncentrēšanos uz efektivitāti un kontrolējamu spriešanu valodu modeļos.
Apvienojot hibrīdu arhitektūras ar jaunām saspiešanas un apmācības metodēmUzņēmums piedāvā izstrādātājiem rīkus, kuru mērķis ir saglabāt precizitāti, vienlaikus samazinot izmaksas un latentumu.
avots
