Pirmdien izstrādātājs, kurš izmanto populāro AI darbināmu koda redaktoru Kursors Pamanīja kaut ko dīvainu: pārslēgšanās starp mašīnām uzreiz tos izrakstīja, pārtraucot kopīgu darbplūsmu programmētājiem, kuri izmanto vairākas ierīces. Kad lietotājs sazinājās ar Cursor atbalstu, aģents vārdā “Sam” viņiem teica, ka tā ir gaidāma uzvedība saskaņā ar jaunu politiku. Wager šāda politika neeksistēja, un Sems bija robots. AI modelis padarīja šo politiku, izraisot sūdzību un atcelšanas draudu vilni Hakeru ziņas un RedditApvidū
Tas iezīmē jaunāko AI gadījumu saplūšana (saukts arī par “halucinācijām”), kas rada iespējamu uzņēmējdarbības kaitējumu. Konfabulācijas ir “radošu plaisu piepildīšanas” reakcijas veids, kurā AI modeļi izgudro ticamu skanīgu, wager nepatiesu informāciju. Tā vietā, lai atzītu nenoteiktību, AI modeļi bieži izvirza prioritāti ticamu, pārliecinātu atbilžu radīšanai, pat ja tas nozīmē informācijas ražošanu no nulles.
Uzņēmumiem, kas izvieto šīs sistēmas, kas saistītas ar klientiem vērstās lomās bez cilvēku pārraudzības, sekas var būt tūlītējas un dārgas: neapmierināti klienti, bojāta uzticība un Kursora gadījumā potenciāli atcelti abonementi.
Kā tas izvērsās
Incidents sākās, kad Reddit lietotājs vārdā Brokentoasteroven pamanīts Tas, ka, apmainoties ar galddatoru, klēpjdatoru un attālo dev boksu, kursora sesijas tika negaidīti izbeigtas.
“Piesakoties kursorā uz vienas mašīnas nekavējoties nederīga sesija uz jebkuras citas mašīnas,” Brokentoasteroven rakstīja ziņojumā, kas bija Vēlāk izdzēsts autors R/kursora moderatori. “Šī ir nozīmīga UX regresija.”
Apjukumā un neapmierināts, lietotājs uzrakstīja e -pastu Cursor atbalstu un ātri saņēma atbildi no SAM: “Kursors ir paredzēts darbam ar vienu ierīci katrā abonementā kā galveno drošības funkciju”, lasiet e -pasta atbildi. Reakcija izklausījās galīga un oficiāla, un lietotājam nebija aizdomas, ka Sems nav cilvēks.
Pēc sākotnējā Reddit ziņojuma lietotāji ieņēma amatu kā oficiālu apstiprinājumu par faktiskām politikas izmaiņām – tādiem, kas pārtrauca ieradumus, kas ir nepieciešami daudzu programmētāju ikdienas kārtībai. “Vairāku ierīču darbplūsmas ir galda likmes Devs,” rakstīja viens lietotājs.
Neilgi pēc tam vairāki lietotāji publiski paziņoja par savu abonēšanas atcelšanu par Reddit, kā iemeslu norādot uz neeksistējošo politiku. “Es burtiski tikko atcēlu savu apakšdaļu,” uzrakstīja oriģinālais Reddit plakāts, piebilstot, ka viņu darba vieta tagad ir “to pilnībā attīrījusi”. Citi pievienojās: “Jā, es arī atceļu, tas ir asināli.” Drīz pēc tam moderatori aizslēdza Reddit pavedienu un noņēma sākotnējo ziņu.
“Hei! Mums nav šādas politikas,” rakstīts kursora pārstāvis Reddit atbildē trīs stundas vēlāk. “Jūs, protams, varat brīvi izmantot kursoru vairākās mašīnās. Diemžēl šī ir nepareiza atbilde no priekšējās līnijas AI atbalsta robotprogrammatūras.”
AI konfabulācijas kā biznesa dangers
Kursora debašu atgādina a Līdzīga epizode No 2024. gada februāra, kad Air Canada tika pavēlēts pagodināt atmaksas politiku, ko izgudrojusi pašas tērzēšanas robots. Šajā incidentā Džeiks Mofats sazinājās ar Air Canada atbalstu pēc viņa vecmāmiņas nāves, un aviokompānijas AI aģents nepareizi teica, ka viņš varētu rezervēt regulāru cenu lidojumu un pieteikties uz zaudējumu likmi ar atpakaļejošu datumu. Kad Air Canada vēlāk noraidīja savu atmaksas pieprasījumu, uzņēmums apgalvoja, ka “tērzēšanas robots ir atsevišķa juridiska persona, kas ir atbildīga par savām darbībām”. Kanādas tribunāls noraidīja šo aizstāvību, nolemjot, ka uzņēmumi ir atbildīgi par informāciju, ko sniedz viņu AI rīki.
Tā vietā, lai apstrīdētu atbildību, kā to bija izdarījusi Air Canada, kursors atzina kļūdu un veica pasākumus, lai veiktu labojumus. Kursora līdzdibinātājs Maikls Truels vēlāk atvainojās par hakeru ziņām Neskaidrībai par neeksistējošo politiku, paskaidrojot, ka lietotājs ir atmaksāts, un jautājums radās aizmugures izmaiņu dēļ, kas paredzēts, lai uzlabotu sesijas drošību, kas dažiem lietotājiem netīšām radīja nederīgas problēmas.
“Visas AI atbildes, kas izmantotas e -pasta atbalstu, tagad ir skaidri marķētas kā tādas,” viņš piebilda. “Mēs izmantojam Ai-AiSist atbildes kā pirmo filtru e-pasta atbalstam.”
Tomēr negadījums radīja ilgstošus jautājumus par lietotāju atklāšanu, jo daudzi cilvēki, kuri mijiedarbojās ar Samu, acīmredzot uzskatīja, ka tas ir cilvēks. “LLMS izliekas par cilvēkiem (jūs to nosaucāt par Sam!) Un nav marķēts kā tāds, ir skaidri paredzēts, ka tas ir maldinošs,” viens lietotājs rakstīja hacker NewsApvidū
Kamēr Cursor laboja tehnisko kļūdu, epizodē parāda AI modeļu izvietošanas riskus ar klientiem vērstās lomās bez pienācīgām aizsardzības pasākumiem un caurspīdīguma. Uzņēmumam, kas izstrādātājiem pārdod AI produktivitātes rīkus, sava AI atbalsta sistēma izgudro politiku, kas atsvešina tā galvenos lietotājus, ir īpaši neērtu sevis izraisītas brūces.
“Ir noteikts ironijas daudzums, ko cilvēki ļoti cenšas pateikt, ka halucinācijas vairs nav liela problēma,” viens lietotājs rakstīja hacker News“Un tad to tieši ievaino uzņēmums, kas gūtu labumu no šī stāstījuma.”
Šis stāsts sākotnēji parādījās ARS TechnicaApvidū
