Patīk vai nē, lielie valodu modeļi ir ātri iestrādāti mūsu dzīvē. Un viņu intensīvo enerģijas un ūdens vajadzību dēļ tie varētu arī izraisīt mums spirāles vēl ātrāk klimata haosā. Tomēr daži LLM varētu atbrīvot vairāk planētu sildoša piesārņojuma nekā citi, atklāts jauns pētījums.
Vaicājumi, kas izgatavoti dažiem modeļiem Robežas komunikācijā. Diemžēl un, iespējams, nepārsteidzoši, precīzākiem modeļiem parasti ir lielākās enerģijas izmaksas.
Grūti novērtēt, cik sliktas LLM ir videi, taču daži pētījumi ir ierosinājuši, ka Coaching Chatgpt patērēja līdz 30 reizes vairāk enerģijas nekā vidējais amerikāņu lietojums gadā. Nav zināms, vai dažiem modeļiem ir straujākas enerģijas izmaksas nekā viņu vienaudžiem, atbildot uz jautājumiem.
Pētnieki no Hochschule München lietišķo zinātņu universitātes Vācijā novērtēja 14 LLM, sākot no 7 līdz 72 miljardiem parametru-sviras un ciparnīcas, kas precizē modeļa izpratni un valodas ģenerēšanu-1000 etalona jautājumus par dažādiem priekšmetiem.
LLMS katru vārdu vai vārdu daļas uzvednē pārveido skaitļu virknē, ko sauc par marķieri. Daži LLM, it īpaši argumentācijas LLM, ieejas secībā ievieto arī īpašus “domāšanas žetonus”, lai pirms izvades ģenerēšanas varētu veikt papildu iekšēju aprēķinu un argumentāciju. Šī konvertācija un sekojošie aprēķini, kurus LLM veic ar marķieriem, izmanto enerģiju un atbrīvo CO2.
Zinātnieki salīdzināja katra pārbaudītā modeļa radīto žetonu skaitu. Argumentācijas modeļi vidēji vienā jautājumā izveidoja 543,5 domāšanas žetonus, turpretī kodolīgajiem modeļiem katram jautājumam bija nepieciešami tikai 37,7 žetoni, atklāts pētījums. Piemēram, Chatgpt pasaulē GPT-3.5 ir kodolīgs modelis, turpretī GPT-4O ir argumentācijas modelis.
Šis spriešanas course of izraisa enerģijas vajadzības, atklāja autori. “Apmācītu LLMS jautājuma ietekmi uz vidi stingri nosaka to spriešanas pieeja,” paziņojumā sacīja pētījuma autors Maksimilians Dauners, Hochschule München Lietišķo zinātņu universitātes pētnieks. “Mēs noskaidrojām, ka argumentācijas iespējotie modeļi radīja līdz 50 reizes vairāk CO2 izmešu nekā kodolīgi reaģēšanas modeļi.”
Jo precīzāk modeļi bija, jo vairāk oglekļa emisijas viņi radīja, atklāja pētījums. Argumentācijas modelis Cogito, kam ir 70 miljardi parametru, sasniedza līdz 84,9% precizitāti, guess tas arī radīja trīs reizes vairāk CO2 izmešu nekā līdzīga izmēra modeļi, kas rada kodolīgākas atbildes.
“Pašlaik mēs redzam skaidru precizitātes uzturēšanas kompromisu, kas raksturīgs LLM tehnoloģijām,” sacīja Dauners. “Neviens no modeļiem, kas saglabāja emisijas zem 500 gramiem CO2 ekvivalenta, ir sasniegusi augstāku par 80% precizitāti, atbildot uz 1000 jautājumiem.” CO2 ekvivalents ir vienība, ko izmanto dažādu siltumnīcefekta gāzu ietekmes mērīšanai.
Vēl viens faktors bija priekšmets. Jautājumi, kuriem bija nepieciešama detalizēta vai sarežģīta argumentācija, piemēram, abstraktā algebra vai filozofija, izraisīja līdz sešām reizēm augstākas emisijas nekā tiešākie subjekti, liecina pētījums.
Tomēr ir daži brīdinājumi. Emisijas ir ļoti atkarīgas no tā, kā tiek strukturēti vietējie enerģijas režģi, un no jūsu pārbaudītajiem modeļiem, tāpēc nav skaidrs, cik vispārējie ir šie atklājumi. Tomēr pētījuma autori sacīja, ka viņi cer, ka darbs mudinās cilvēkus būt “selektīviem un pārdomātiem” par LLM izmantošanu.
“Lietotāji var ievērojami samazināt emisijas, pamudinot AI radīt kodolīgas atbildes vai ierobežot augstas ietilpības modeļu izmantošanu uzdevumiem, kas patiesi prasa šo varu,” teikts Dauners paziņojumā.
