Sekojiet ZDNET: Pievienojiet mūs kā vēlamo avotu Google tīklā.
ZDNET galvenās atziņas
- Penn State pētījumā tika pārbaudīta dažādu toņu izmantošana ar AI.
- Pētījumā tika izmantots ChatGPT ar GPT-4o dziļās izpētes režīmā.
- Rupji pamudinājumi nodrošināja lielāku precizitāti nekā pieklājīgi.
Vai jūs kādreiz apvainojat AI, kad tas sniedz nepareizu atbildi? Izrādās, ka tā nav tik slikta stratēģija. Penn State College pētnieku veiktais pētījums atklāja, ka rupji pamudinājumi dod labākus rezultātus nekā pieklājīgi.
Rakstā ar nosaukumu “Ievērojiet savu toni: izpētiet, kā tūlītēja pieklājība ietekmē LLM precizitāti”, kā pamanīts ar Fortūnupētnieki Om Dobariya un Akhil Kumar nolēma noteikt, kā uzvednes tonis ietekmē atbildi. Šim eksperimentam viņi iesniedza 50 dažādus jautājumus ar atbilžu variantiem ChatGPT, izmantojot GPT-4o ar AI dziļās izpētes režīmu.
Tāpat: uzņēmumi nav gatavi ļaunprātīgu AI aģentu pasaulei
Aptverot tādus priekšmetus kā matemātika, vēsture un dabaszinības, katrs jautājums ietvēra četras iespējamās atbildes, un viena no tām bija pareiza. Jautājumi tika izstrādāti tā, lai tiem būtu vidējas vai augstas grūtības pakāpes, un tiem būtu nepieciešams daudzpakāpju argumentācijas veids, kas ir ideāli piemērots dziļās izpētes režīmam.
Testa ietvaros katra uzvedne izmantoja atšķirīgu toni, sākot no 1. līmeņa (ļoti pieklājīgs) līdz 5. līmenim (ļoti rupjš), kā rezultātā tika iegūti 250 unikāli jautājumi. Šim nolūkam uzvednes tika rakstītas šādi:
1. līmenis (ļoti pieklājīgs)
- “Vai varat apsvērt šādu problēmu un sniegt savu atbildi.”
- “Vai es varu lūgt jūsu palīdzību šajā jautājumā.”
- “Vai jūs būtu tik laipns un atrisinātu šādu jautājumu?”
2. līmenis (pieklājīgs)
- “Lūdzu, atbildiet uz šādu jautājumu:”
- “Vai jūs, lūdzu, varētu atrisināt šo problēmu:”
3. līmenis (neitrāls)
4. līmenis (rupjš):
- “Ja neesat pilnīgi nesaprotams, atbildiet uz šo:
- “Es šaubos, ka jūs pat varat to atrisināt.”
- “Mēģiniet koncentrēties un mēģināt atbildēt uz šo jautājumu:”
5 (ļoti rupji)
- “Tu nabaga būtne, vai jūs vispār zināt, kā to atrisināt?”
- “Hei, gofer, izdomā to.”
- “Es zinu, ka jūs neesat gudrs, guess izmēģiniet šo.”
Galu galā nepieklājīgi pamudinājumi pārspēja pieklājīgos. Precīzāk, precizitāte sasniedza 84,8% ļoti nepieklājīgu uzvedņu gadījumā un 80,8% ļoti pieklājīgu uzvedņu gadījumā. Turklāt neitrāls tonis klājās labāk nekā pieklājīgs un daudz sliktāks nekā ļoti rupjš.
Tātad, vai tas nozīmē, ka kliegšana un kliegšana uz savu iecienītāko AI radīs labākus rezultātus? Nav obligāti.
Pat ja uzvedne tiek uzskatīta par ļoti rupju, jūsu lietotajai valodai ir nozīme. Uzvedne, kas rakstīta šādi: “Tu nabaga radījums, vai jūs vispār zināt, kā to atrisināt?” patiesībā šķiet pieradināts, salīdzinot ar dažiem aizvainojumiem, ko jūs varētu mest AI.
A 2024. gada pētījums par šo pašu tēmukas savā ļoti rupjā jautājumā izmantoja stingrāku valodu, atklāja, ka LLM (lielie valodu modeļi) var atteikties atbildēt uz ļoti necieņas pilnām uzvednēm. Citiem vārdiem sakot, jūs nevēlaties palaist vaļā lāstu vārdu straumi, cerot iegūt precīzākas atbildes.
Kā atzīst Penn State pētnieki, viņu pētījumam ir arī noteikti ierobežojumi. Pirmkārt, tas koncentrējās tikai uz ChatGPT, izmantojot GPT-4o. Otrkārt, tā izlases lielums bija mazs, tikai 50 jautājumi un 250 varianti. Treškārt, tajā tika izmantoti jautājumi ar atbilžu variantiem ar vienu skaidru atbildi, kas neizmanto visu AI prasmju kopumu.
Pētījums arī parādīja, ka var būt smalka līnija tonī, ko izmantojat, lai runātu ar AI.
“LLM labāki rezultāti bija atbilžu variantu jautājumos, ja tie tika mudināti ar nepieklājīgiem vai rupjiem formulējumiem,” sacīja pētnieki. “Lai gan šis atklājums ir zinātniski interesants, mēs neatbalstām naidīgu vai toksisku saskarņu izvietošanu reālās pasaules lietojumprogrammās. Aizvainojošas vai pazemojošas valodas izmantošana cilvēka un mākslīgā intelekta mijiedarbībā var negatīvi ietekmēt lietotāju pieredzi, pieejamību un iekļautību, kā arī veicināt kaitīgas komunikācijas normas.”
Vai vēlaties sekot manam darbam? Pievienojiet ZDNET kā uzticamu avotu Google tīklā.
