Šis “lētais” atvērtā koda AI modelis faktiski sadedzina jūsu aprēķinu budžetā

Pētījumā tika pārbaudīts 19 dažādi AI modeļi Trīs uzdevumu kategorijās: pamatzināšanu pamati, matemātiskās problēmas un loģiskās mīklas. Komanda izmērīja “marķiera efektivitāti” – cik daudz skaitļošanas vienību modeļos izmanto attiecībā pret to risinājumu sarežģītību – metriku, kas ir saņēmusi nelielu sistemātisku pētījumu, neskatoties uz tā nozīmīgajām ietekmēm izmaksām.

“Token efektivitāte ir kritiska metrika vairāku praktisku iemeslu dēļ,” atzīmēja pētnieki. “Lai arī atvērtā svara modeļu mitināšana var būt lētāka, šo izmaksu priekšrocību var viegli kompensēt, ja tiem ir nepieciešami vairāk žetonu, lai saprastu par konkrēto problēmu.”

Neefektivitāte ir īpaši izteikta lieliem argumentācijas modeļiem (LRM), kas izmanto pagarinātu “Domas ķēdes”Lai atrisinātu sarežģītas problēmas. Šie modeļi, kas izstrādāti, lai pārdomātu problēmas soli pa solim, var patērēt tūkstošiem žetonu, kas apdomā vienkāršus jautājumus, kuriem būtu nepieciešams minimāls aprēķins.

Pamatzināšanu jautājumiem, piemēram, “kāda ir Austrālijas galvaspilsēta?” Pētījumā tika atklāts, ka argumentācijas modeļi tērē “simtiem žetonu, apdomājot vienkāršus zināšanu jautājumus”, uz kuriem varētu atbildēt vienā vārdā.

Kuri AI modeļi faktiski piegādā sprādzienu jūsu buks

Pētījums atklāja krasas atšķirības starp modeļa nodrošinātājiem. Openai modeļi, it īpaši tā O4-Mini un nesen atbrīvots atvērtā koda GPT-oss Varianti, kas pierādīja ārkārtas marķiera efektivitāti, īpaši matemātiskām problēmām. Pētījumā tika atklāts, ka Openai modeļi “izceļas ar galēju marķiera efektivitāti matemātikas problēmās”, izmantojot ne vairāk kā trīs reizes mazāk žetonu nekā citi komerciālie modeļi.

Starp atvērtā koda iespējām, Nvidia’s lama-3.3-nemotrons-super-49b-v1 Izveidojās kā “visvairāk efektīvā marķiera atvērtā svara modelis visās jomās”, savukārt jaunāki modeļi no tādiem uzņēmumiem kā maģistrāle parādīja “ārkārtīgi augstu marķiera izmantošanu” kā novirzes.

Efektivitātes atšķirība ievērojami atšķīrās pēc uzdevuma veida. Kaut arī atvērtie modeļi matemātiskām un loģiskām problēmām izmantoja aptuveni divreiz vairāk žetonu, atšķirība, kas tika izmantota vienkāršiem zināšanu jautājumiem, kur efektīvai argumentācijai vajadzētu būt nevajadzīgai.

Kas uzņēmuma vadītājiem jāzina par AI skaitļošanas izmaksām

Rezultātiem ir tūlītēja ietekme uz uzņēmuma AI ieviešanu, kurā skaitļošanas izmaksas var strauji mērogot, izmantojot lietošanu. Uzņēmumi, kas novērtē AI modeļus, bieži koncentrējas uz precizitātes etaloniem un cenu noteikšanu uz vienu taktu, taču tie var ņemt vērā kopējās skaitļošanas prasības reālās pasaules uzdevumiem.

“Jo labāka slēgtā svara modeļu marķiera efektivitāte bieži kompensē šo modeļu augstāku API cenu noteikšanu,” pētnieki atklāja, analizējot kopējās secinājumu izmaksas.

Pētījums arī atklāja, ka slēgtā avota modeļa nodrošinātāji, šķiet, aktīvi optimizē efektivitāti. “Slēgtā svara modeļi ir iteratīvi optimizēti, lai izmantotu mazāk žetonu, lai samazinātu secinājumu izmaksas,” savukārt atvērtā pirmkoda modeļi ir “palielinājuši savu marķiera izmantošanu jaunākām versijām, iespējams, atspoguļojot prioritāti labākai argumentācijas veiktspējai.”

Kā pētnieki uzlauza kodu AI efektivitātes mērīšanā

Pētniecības grupa saskārās ar unikālām problēmām, lai izmērītu efektivitāti dažādās modeļa arhitektūrās. Daudzi slēgta avota modeļi neatklāj savus neapstrādātos spriešanas procesus, tā vietā nodrošinot saspiestus to iekšējo aprēķinu kopsavilkumus, lai neļautu konkurentiem kopēt savus paņēmienus.

Lai to risinātu, pētnieki izmantoja pabeigšanas žetonus – kopējās skaitļošanas vienības, par kurām rēķina par katru vaicājumu – kā starpniecības centienus. Viņi atklāja, ka “jaunākie slēgtā avota modeļi nedalīsies ar savām neapstrādātām spriešanas pēdām” un tā vietā “izmantojiet mazākas valodas modeļus, lai pārrakstītu domu ķēdi kopsavilkumos vai saspiestos attēlojumos”.

Pētījuma metodika ietvēra pārbaudi ar labi zināmu problēmu modificētām versijām, lai samazinātu iegaumētu risinājumu ietekmi, piemēram Amerikas ielūguma matemātikas pārbaude (AIME)Apvidū

AI efektivitātes nākotne: kas notiks tālāk

Pētnieki norāda, ka marķiera efektivitātei vajadzētu kļūt par galveno optimizācijas mērķi līdztekus precizitātei turpmākai modeļa izstrādei. “Dīvaināka gultiņa ļaus arī efektīvāk izmantot kontekstu un var novērst konteksta degradāciju izaicinošu spriešanas uzdevumu laikā,” Viņi rakstījaApvidū

Openai atvērtā koda izlaišana GPT-OSS modeļikas parāda mūsdienīgu efektivitāti ar “brīvi pieejamu gultiņu”, varētu kalpot par atskaites punktu citu atvērtā pirmkoda modeļu optimizēšanai.

Pilnīga pētījumu datu kopa un novērtēšanas kods ir Pieejams vietnē githubļaujot citiem pētniekiem apstiprināt un paplašināt atklājumus. Tā kā AI nozare sacenšas par jaudīgākām spriešanas iespējām, šis pētījums liek domāt, ka reālā konkurence var nebūt par to, kurš var veidot visgudrāko AI, guess kurš var veidot visefektīvāko.

Galu galā pasaulē, kurā katrs marķieris ir izšķērdākais modelis, var būt cena ārpus tirgus neatkarīgi no tā, cik labi viņi var domāt.

Ikdienas ieskats par biznesa lietošanas gadījumiem ar VB katru dienu

Ja vēlaties pārsteigt savu priekšnieku, VB Each day jūs esat aptvēris. Mēs sniedzam jums iekšēju liekšķeri par to, ko uzņēmumi dara ar ģeneratīvu AI, sākot no normatīvajām maiņām uz praktisko izvietošanu, lai jūs varētu dalīties ar ieskatu par maksimālo IA.

Izlasiet mūsu konfidencialitātes politiku

Paldies par abonēšanu. Pārbaudiet vairāk VB biļetenu šeit.

Radās kļūda.