Home Tehnoloģija IBM atvērtā pirmkoda Granite 4.0 Nano AI modeļi ir pietiekami mazi, lai...

IBM atvērtā pirmkoda Granite 4.0 Nano AI modeļi ir pietiekami mazi, lai tie darbotos lokāli tieši jūsu pārlūkprogrammā

8
0

Nozarē, kurā modeļa lielums bieži tiek uzskatīts par inteliģences aizstājēju, IBM plāno citu kursu — tādu, kas vērtē efektivitāte pār milzīgumuun pieejamība, nevis abstrakcija.

114 gadus vecais tehnoloģiju gigants četri jauni Granite 4.0 Nano modeļikas izlaista šodien, svārstās no tikai 350 miljoniem līdz 1,5 miljardiem parametru, kas ir daļa no to serveriem piesaistīto radinieku lieluma, piemēram, OpenAI, Anthropic un Google.

Šie modeļi ir izstrādāti tā, lai tie būtu ļoti pieejami: 350 M varianti var ērti darboties modernā klēpjdatora centrālajā procesorā ar 8–16 GB RAM, savukārt 1,5 B modeļiem vienmēr ir nepieciešams GPU ar vismaz 6–8 GB VRAM, lai nodrošinātu vienmērīgu darbību, vai arī pietiekamu sistēmas RAM un apmaiņu, lai veiktu tikai CPU. Tas padara tos labi piemērotus izstrādātājiem, kas veido lietojumprogrammas uz patērētāju aparatūras vai malas, nepaļaujoties uz mākoņdatošanu.

Faktiski mazākie var pat darboties lokāli jūsu tīmekļa pārlūkprogrammā, kā Džošua Ločners. KsenovaTransformer.js veidotājs un Hugging Face mašīnmācīšanās inženieris, rakstīja sociālajā tīklā X.

Visi Granite 4.0 Nano modeļi tiek izlaisti saskaņā ar Apache 2.0 licenci — lieliski piemērots izmantošanai pētniekiem un uzņēmumiem vai neatkarīgiem izstrādātājiem, pat komerciālai lietošanai.

Tie ir sākotnēji saderīgi ar llama.cpp, vLLM un MLX un ir sertificēti saskaņā ar ISO 42001 atbildīgai AI izstrādei — standarta IBM palīdzēja pionieri.

Guess šajā gadījumā mazs nenozīmē mazāk spējīgu — tas var nozīmēt tikai gudrāku dizainu.

Šie kompaktie modeļi ir paredzēti nevis datu centriem, guess malas ierīcēm, klēpjdatoriem un vietējiem secinājumiem, kur aprēķini ir ierobežoti un latentumam ir nozīme.

Un, neskatoties uz to nelielo izmēru, Nano modeļi uzrāda salīdzinošos rezultātus, kas konkurē vai pat pārsniedz lielāku modeļu veiktspēju tajā pašā kategorijā.

Izlaidums ir signāls, ka strauji veidojas jauna mākslīgā intelekta robeža, kurā dominē nevis milzīgais mērogs, guess gan stratēģiskā mērogošana.

Ko tieši IBM izlaida?

The Granīts 4.0 Nano saimē ir četri atvērtā pirmkoda modeļi, kas tagad ir pieejami vietnē Apskāva seja:

  • Granīts-4.0-H-1B (~1,5 B parametri) – Hibrīda-SSM arhitektūra

  • Granīts-4,0-H-350M (~350M parametri) – Hibrīda-SSM arhitektūra

  • Granīts-4,0-1B – Uz transformatoriem balstīts variants, parametru skaits tuvāk 2B

  • Granīts-4,0-350M – Variants uz transformatora bāzes

H sērijas modeļos — Granite-4.0-H-1B un H-350M — tiek izmantota hibrīdstāvokļa telpas arhitektūra (SSM), kas apvieno efektivitāti ar spēcīgu veiktspēju, kas ir ideāli piemērota vidēm ar zemu latentumu.

Tikmēr standarta transformatoru varianti — Granite-4.0-1B un 350M — piedāvā plašāku saderību ar tādiem rīkiem kā llama.cpp, kas paredzēti izmantošanai gadījumos, kad hibrīda arhitektūra vēl netiek atbalstīta.

Praksē transformatora 1B modelis ir tuvāks 2B parametriem, guess veiktspējas ziņā ir saskaņots ar tā hibrīda brāli, piedāvājot izstrādātājiem elastību, pamatojoties uz viņu izpildlaika ierobežojumiem.

“Hibrīda variants ir īsts 1B modelis. Tomēr nehibrīdais variants ir tuvāk 2B, taču mēs izvēlējāmies saglabāt nosaukumu pieskaņotu hibrīda variantam, lai savienojums būtu viegli redzams,” skaidroja Emma, ​​Granite produktu mārketinga vadītāja. Reddit "Jautājiet man jebko" (AMA) sesija r/LocalLLaMA.

Konkurētspējīga mazo modeļu klase

IBM ienāk pārpildītā un strauji augošā mazo valodu modeļu (SLM) tirgū, konkurējot ar tādiem piedāvājumiem kā Qwen3, Google Gemma, LiquidAI LFM2 un pat Mistral blīvajiem modeļiem sub-2B parametru telpā.

Lai gan OpenAI un Anthropic koncentrējas uz modeļiem, kuriem nepieciešamas GPU kopas un sarežģīta secinājumu optimizācija, IBM Nano saime ir paredzēta izstrādātājiem, kuri vēlas darbināt veiktspējīgus LLM lokālajā vai ierobežotā aparatūrā.

Salīdzinošajos testos IBM jaunie modeļi pastāvīgi ieņem pirmo vietu savā klasē. Saskaņā ar datiem Vietnē X dalījās Deivids Kokss, IBM Research AI modeļu viceprezidents:

  • Programmā IFEval (norādījums seko) Granite-4.0-H-1B ieguva 78,5 punktus, pārspējot Qwen3-1,7B (73,1) un citus 1–2B modeļus.

  • Programmā BFCLv3 (funkciju/rīku izsaukšana) Granite-4.0-1B bija vadībā ar rezultātu 54,8, kas ir augstākais rādītājs savā izmēra klasē.

  • Drošības kritērijos (SALAD un AttaQ) Granite modeļi ieguva vairāk nekā 90%, pārspējot līdzīga izmēra konkurentus.

Kopumā Granite-4.0-1B sasniedza vadošo vidējo etalona rezultātu 68,3% vispārējo zināšanu, matemātikas, koda un drošības jomās.

Šī veiktspēja ir īpaši nozīmīga, ņemot vērā aparatūras ierobežojumus, kuriem šie modeļi ir paredzēti.

Viņiem ir nepieciešams mazāk atmiņas, tie darbojas ātrāk CPU vai mobilajās ierīcēs, un tiem nav nepieciešama mākoņa infrastruktūra vai GPU paātrinājums, lai nodrošinātu izmantojamus rezultātus.

Kāpēc modeļa izmēram joprojām ir nozīme, guess ne tā, kā tas bija agrāk

Sākotnējā LLM vilnī lielāks nozīmēja labāk — vairāk parametru nozīmē labāku vispārinājumu, dziļāku argumentāciju un bagātīgāku rezultātu.

Taču, transformatoru izpētei attīstoties, kļuva skaidrs, ka arhitektūra, treniņu kvalitāte un uzdevumiem raksturīgā regulēšana var ļaut mazākiem modeļiem ievērojami pārspēt savu svara klasi.

IBM atbalsta šo attīstību. Atbrīvojot atvērtus, mazus modeļus, kas ir konkurētspējīgs reālos uzdevumosuzņēmums piedāvā alternatīvu monolītajām AI API, kas dominē mūsdienu lietojumprogrammu kaudzē.

Faktiski Nano modeļi apmierina trīs arvien svarīgākas vajadzības:

  1. Izvietošanas elastība — tie darbojas jebkur, no mobilā līdz mikroserveriem.

  2. Secināt privātumu — lietotāji var saglabāt datus lokālus, bez nepieciešamības izsaukt mākoņa API.

  3. Atklātība un auditējamība — pirmkods un modeļa svari ir publiski pieejami saskaņā ar atklāto licenci.

Sabiedrības reakcijas un ceļveža signāli

IBM Granite komanda ne tikai laida klajā modeļus un devās promenade, guess arī to darīja Reddit atvērtā pirmkoda kopiena r/LocalLLaMA tieši sadarboties ar izstrādātājiem.

AMA stila pavedienā Emma (produktu mārketings, granīts) atbildēja uz tehniskajiem jautājumiem, pievērsās bažām par nosaukumu piešķiršanas metodēm un izteica mājienus par turpmāko.

Ievērojami apstiprinājumi no pavediena:

  • Pašlaik tiek apmācīts lielāks Granite 4.0 modelis

  • Uz argumentāciju vērsti modeļi ("domājošie kolēģi") tiek gatavoti

  • IBM drīzumā izlaidīs precizējošas receptes un pilnu mācību dokumentu

  • Vairāk instrumentu un platformu savietojamības ir iekļautas ceļvedī

Lietotāji entuziastiski reaģēja uz modeļu iespējām, īpaši instrukciju izpildes un strukturētas atbildes uzdevumos. Viens komentētājs to rezumēja:

“Tas ir liels, ja tas attiecas uz 1B modeli — ja kvalitāte ir laba un nodrošina konsekventus rezultātus. Funkciju izsaukšanas uzdevumi, daudzvalodu dialogi, FIM pabeigšanas… tas varētu būt īsts darba zirgs.”

Cits lietotājs atzīmēja:

“Granite Tiny jau ir mana iecienītākā tīmekļa meklēšana programmā LM Studio — labāk nekā daži Qwen modeļi. Es gribu izmēģināt Nano.”

Pamatinformācija: IBM Granite un Enterprise AI Race

IBM virzība uz lielo valodu modeļiem sākās 2023. gada beigās, kad debitēja Granite Basis modeļu saime, sākot ar tādiem modeļiem kā Granīts.13b.norādīt un Granīts.13b.čats. Šie sākotnējie tikai dekodētājiem paredzētie modeļi, kas tika izlaisti izmantošanai Watsonx platformā, liecināja par IBM ambīciju izveidot uzņēmuma līmeņa AI sistēmas, kurās prioritāte ir caurspīdīgums, efektivitāte un veiktspēja. Uzņēmums 2024. gada vidū izstrādāja atsevišķus Granite koda modeļus, izmantojot Apache 2.0 licenci, tādējādi radot pamatu plašākai ieviešanai un izstrādātāju eksperimentiem.

Īstais novirzes punkts radās ar Granite 3.0 2024. gada oktobrī — pilnībā atvērtā pirmkoda universālu un domēnu specializētu modeļu komplektu ar parametriem no 1 B līdz 8 B. Šajos modeļos tika uzsvērta efektivitāte salīdzinājumā ar brutālu mērogu, piedāvājot tādas iespējas kā garāki konteksta logi, instrukciju regulēšana un integrētas aizsargmargas. IBM pozicionēja Granite 3.0 kā tiešu konkurentu Meta’s Llama, Alibaba’s Qwen un Google’s Gemma, taču ar unikālu uzņēmuma objektīvu. Vēlākās versijās, tostarp Granite 3.1 un Granite 3.2, tika ieviesti vēl uzņēmumam draudzīgāki jauninājumi: iegulta halucināciju noteikšana, laika rindu prognozēšana, dokumentu redzes modeļi un nosacītās argumentācijas pārslēgi.

Granite 4.0 saime, kas tika izlaista 2025. gada oktobrī, ir līdz šim tehniski vērienīgākais IBM laidiens. Tas ievieš hibrīda arhitektūru, kas apvieno transformatora un Mamba-2 slāņus, lai apvienotu uzmanības mehānismu kontekstuālo precizitāti ar stāvokļa un telpas modeļu atmiņas efektivitāti. Šis dizains ļauj IBM ievērojami samazināt atmiņas un latentuma izmaksas, lai izdarītu secinājumus, padarot Granite modeļus dzīvotspējīgus mazākā aparatūrā, vienlaikus pārspējot vienaudžus instrukciju izpildes un funkciju izsaukšanas uzdevumos. Izlaišana ietver arī ISO 42001 sertifikātu, kriptogrāfiskā modeļa parakstīšanu un izplatīšanu tādās platformās kā Hugging Face, Docker, LM Studio, Ollama un watsonx.ai.

Visās iterācijās IBM fokuss ir bijis skaidrs: izveidot uzticamus, efektīvus un juridiski nepārprotamus AI modeļus uzņēmumu lietošanas gadījumiem. Ar pieļaujamo Apache 2.0 licenci, publiskiem etaloniem un uzsvaru uz pārvaldību Granite iniciatīva ne tikai reaģē uz pieaugošajām bažām par patentētiem melnās kastes modeļiem, guess arī piedāvā Rietumiem atbilstošu atvērtu alternatīvu tādu komandu kā Alibaba Qwen straujajam progresam. To darot, Granite pozicionē IBM kā vadošo balsi, kas varētu būt nākamā atvērtā svara, ražošanai gatava AI fāze.

Pāreja uz mērogojamu efektivitāti

Galu galā IBM izlaidums Granite 4.0 Nano modeļiem atspoguļo stratēģiskas pārmaiņas LLM attīstībā: no parametru skaita ierakstu meklēšanas līdz lietojamības, atvērtības un izvietošanas sasniedzamības optimizēšanai.

Apvienojot konkurētspējīgu veiktspēju, atbildīgas izstrādes praksi un dziļu sadarbību ar atvērtā pirmkoda kopienu, IBM pozicionē Granite kā ne tikai modeļu saimi, guess arī platformu nākamās paaudzes vieglu, uzticamu AI sistēmu izveidei.

Izstrādātājiem un pētniekiem, kas meklē veiktspēju bez papildu izmaksām, Nano laidiens piedāvā pārliecinošu signālu: jums nav nepieciešami 70 miljardi parametru, lai izveidotu kaut ko spēcīgu — tikai pareizos.

avots

LEAVE A REPLY

Please enter your comment!
Please enter your name here