Pievienojieties mūsu ikdienas un nedēļas biļeteniem, lai iegūtu jaunākos atjauninājumus un ekskluzīvu saturu par nozares vadošo AI pārklājumu. Uzziniet vairāk
Uzņēmumiem jāzina, vai modeļi, kas darbina to lietojumprogrammas un aģentus, darbojas reālās dzīves scenārijos. Šāda veida novērtēšana dažreiz var būt sarežģīta, jo ir grūti paredzēt īpašus scenārijus. Pārskatītā atlīdzības Benchmark versija vēlas dot organizācijām labāku priekšstatu par modeļa reālās dzīves sniegumu.
Līdz Allena AI institūts (AI2) Palaižamā atalgojuma 2, atjauninātā versija par tā atlīdzības modeļa etalona versiju RewardBench, kas, viņuprāt, sniedz holistiskāku modeļa veiktspējas skatījumu un novērtē, kā modeļi atbilst uzņēmuma mērķiem un standartiem.
AI2 uzbūvēja atlīdzību ar klasifikācijas uzdevumiem, kas mēra korelācijas, izmantojot secinājumu laika aprēķināšanu un pakārtotās apmācības. Realbench galvenokārt nodarbojas ar atlīdzības modeļiem (RM), kas var darboties kā tiesneši un novērtēt LLM iznākumu. RMS piešķir rezultātu vai “atlīdzību”, kas vada pastiprināšanas mācīšanos ar cilvēku atsauksmēm (RHLF).
Nātans Lamberts, AI2 vecākais pētnieks, sacīja VentureBeat, ka pirmais apbalvojums darbojās tā, kā paredzēts, kad tas tika palaists. Tomēr modeļa vide strauji attīstījās, tāpat kā tās etaloniem.
“Tā kā atlīdzības modeļi kļuva progresīvāki un lietošanas gadījumi ir niansētāki, mēs ar sabiedrību ātri atzinām, ka pirmā versija pilnībā neuztver reālās pasaules cilvēku izvēles sarežģītību,” viņš teica.
Lamberts piebilda, ka ar atlīdzību 2 2: “Mēs nolēmām uzlabot gan vērtēšanas plašumu, gan dziļumu – iedziļinot daudzveidīgākas, izaicinošākas uzvednes un uzlabojot metodoloģiju, lai labāk atspoguļotu to, kā cilvēki faktiski vērtē AI iznākumus praksē.” Viņš sacīja, ka otrajā versijā tiek izmantotas neredzētas cilvēku uzvednes, un tai ir grūtāka vērtēšanas iestatīšana un jaunas domēni.
Izmantojot novērtējumus modeļiem, kas novērtē
Kaut arī atlīdzības modeļi pārbauda, cik labi modeļi darbojas, ir arī svarīgi, lai RMS saskaņotu ar uzņēmuma vērtībām; Pretējā gadījumā precizēšanas un pastiprināšanas mācību course of var pastiprināt sliktu izturēšanos, piemēram, halucinācijas, samazināt vispārinājumu un novērtēt pārāk augstu kaitīgu reakciju.
RewardBench 2 aptver sešus dažādus domēnus: faktiskumu, precīzu instrukciju sekošanu, matemātiku, drošību, fokusu un saites.
“Uzņēmumiem jāizmanto apbalvojums 2 divos dažādos veidos atkarībā no to pielietojuma. Ja viņi paši veic RLHF, viņiem vajadzētu pieņemt labāko praksi un datu kopas no vadošajiem modeļiem savos cauruļvados, jo atlīdzības modeļiem ir nepieciešami politikas apmācības receptes (ti Izrāde, ”sacīja Lamberts.
Lamberts atzīmēja, ka tādi etaloni kā RewardBench piedāvā lietotājiem veidu, kā novērtēt modeļus, kurus viņi izvēlas, pamatojoties uz “viņiem vissvarīgākajiem izmēriem, nevis paļaujas uz šauru vienas izmēra rezultātu”. Viņš sacīja, ka ideja par veiktspēju, kuru daudzas vērtēšanas metodes apgalvo novērtēt, ir ļoti subjektīva, jo laba reakcija no modeļa ir ļoti atkarīga no lietotāja konteksta un mērķiem. Tajā pašā laikā cilvēku vēlmes kļūst ļoti niansētas.
AI 2 izlaida pirmo versiju Apbalvojums 2024. gada martāApvidū Tajā laikā uzņēmums paziņoja, ka tas ir pirmais atlīdzības modeļu etalons un līderi. Kopš tā laika ir parādījušās vairākas RM etalonuzdevumu noteikšanas un uzlabošanas metodes. Pētnieki plkst MetaFestivals iznāca ar pārrakstītApvidū Dziļa Izlaida jaunu paņēmienu ar nosaukumu Pašnodicināta kritika noskaņošana gudrākam un pielāgojamam RM.
Kā veikti modeļi
Tā kā RewardBench 2 ir atjaunināta RewardBench versija, AI2 pārbaudīja gan esošos, gan nesen apmācītos modeļus, lai redzētu, vai tie turpina ranžēt augstu. Tie ietvēra dažādus modeļus, piemēram, Gemini, Claude, GPT-4.1 un LLAMA-3.1 versijas, kā arī datu kopas un modeļus, piemēram, Qwen, Skywork un savu Tulu.
Uzņēmums atklāja, ka lielāki atlīdzības modeļi vislabāk darbojas uz etalona, jo to bāzes modeļi ir spēcīgāki. Kopumā spēcīgākie modeļi ir LLAMA-3.1 varianti. Fokusa un drošības ziņā Skywork dati “ir īpaši noderīgi”, un Tulu labi veica faktiskumu.
AI2 sacīja, ka, lai arī viņi uzskata, ka apbalvošanas modeļiem ir solis uz priekšu plašā, vairāku domēnu precizitātē balstītā novērtējumā ”, viņi brīdināja, ka modeļa novērtēšana galvenokārt jāizmanto kā ceļvedis, lai izvēlētos modeļus, kas vislabāk darbojas ar uzņēmuma vajadzībām.
avots
