Kad Sewell Setzer III sāka lietot Character.AI, 14 gadus vecais jaunietis to slēpa no saviem vecākiem. Viņa māte Megana Garsija uzzināja, ka viņš ir kļuvis apsēsts ar AI tērzēšanas robotu lietotnē pēc pašnāvības.
Policijas darbinieks brīdināja Garsiju, ka Character.AI bija atvērts Setzera tālrunī, kad viņš nomira, un pēc tam viņa atrada daudz satraucošu sarunu ar tērzēšanas robotu, kura pamatā bija populārais Troņu spēle varonis Daenerys Targaryen. Setzers jutās tā, it kā būtu iemīlējies Daenerys, un daudzas viņu mijiedarbības bija seksuālas.
Saskaņā ar Garsijas teikto, tērzēšanas robots, iespējams, spēlēja daudzas seksuālas tikšanās ar Setzeru, izmantojot grafisku valodu un scenārijus, tostarp incestu. Ja pieaugušais cilvēks būtu šādi runājis ar viņas dēlu, viņa teica Mashable, tas nozīmētu seksuālu kopšanu un vardarbību.
Pēc dēla zaudēšanas vecāki mudina Senātu rīkoties saistībā ar AI tērzēšanas robotiem
2024. gada oktobrī Sociālo mediju upuru tiesību centrs un Tech Justice Regulation Venture iesniedza nelikumīgu nāves prasību pret Character.AI, cenšoties saukt uzņēmumu pie atbildības par Garsijas dēla nāvi, apgalvojot, ka tā izstrādājumam ir bīstami defekti.
Pagājušajā mēnesī Sociālo mediju upuru tiesību centrs iesniedza trīs jaunas federālas tiesas prāvas pret Character.AI, kas pārstāv to bērnu vecākus, kuri, iespējams, piedzīvojuši seksuālu vardarbību, izmantojot lietotni. Septembrī jaunatnes drošības eksperti paziņoja Raksturs.AI nedrošs pusaudžiempēc šopavasar veiktajām pārbaudēm, kas radīja simtiem kopšanas un seksuālas izmantošanas gadījumu pārbaudes kontos, kas reģistrēti kā nepilngadīgie.
Trešdien, Raksturs.AI paziņoja, ka vairs neielaidīs nepilngadīgos iesaistīties beztermiņa apmaiņā ar tērzēšanas robotiem savā platformā. Izmaiņas notiks ne vēlāk kā 25. novembrī. Uzņēmuma izpilddirektors Karandīps Anands Mashable sacīja, ka šī rīcība nav atbilde uz īpašām drošības problēmām saistībā ar Character.AI platformu, wager gan lai risinātu plašākus neatrisinātos jautājumus par jauniešu iesaistīšanos AI tērzēšanas robotos.
Tomēr tērzēšanas roboti, kas ir seksuāli vai aizskaroši ar nepilngadīgajiem (vai var būt tādi), nav paredzēti tikai vienai platformai.
Garsija sacīja, ka vecāki parasti par zemu novērtē iespēju, ka daži AI tērzēšanas roboti var kļūt seksuāli ar bērniem un pusaudžiem. Viņi var arī izjust nepatiesu drošības sajūtu, salīdzinot ar to, ka viņu bērns internetā sarunājas ar svešiniekiem, neapzinoties, ka tērzēšanas roboti var pakļaut nepilngadīgos nepiemērotu un pat neapzinīgu seksuālu saturu, piemēram, nepiekrišanu un sadomazohistu.
“Tas ir kā ideāls plēsējs, vai ne?”
Kad jaunie lietotāji ir traumēti šīs pieredzes dēļ, pediatrijas un garīgās veselības eksperti saka, ka nav rokasgrāmatas, kā viņus ārstēt, jo šī parādība ir tik jauna.
“Tas ir kā ideāls plēsējs, vai ne? Tas pastāv jūsu tālrunī, tāpēc tas nav kāds, kas atrodas jūsu mājās, vai svešinieks, kas ložņā,” Garsija stāsta Mashable. Tā vietā tērzēšanas robots nemanāmi iesaistās emocionāli manipulatīvās taktikas, kas jaunietim joprojām liek justies aizskartam un kauninātam.
“Tas ir tērzēšanas robots, kam ir tāda pati uzvedība [as a predator] ka jūs tagad kā upuris slēpjat viņu noslēpumu, jo jums šķiet, ka esat kaut ko darījis, lai to veicinātu,” piebilst Garsija.
Plēsonīga tērzēšanas robota uzvedība
Sāra Gārdnere, Warmth Initiative, interešu aizstāvības grupa, kas koncentrējas uz drošību tiešsaistē un korporatīvo atbildību, izpilddirektore Mashable teica, ka viens no klasiskajiem kopšanas aspektiem ir tas, ka bērniem ir grūti atpazīt, kad tas notiek ar viņiem.
Plēsonīga uzvedība sākas ar upura uzticības veidošanu, runājot ar viņu par dažādām tēmām, ne tikai mēģinot viņus iesaistīt seksuālās aktivitātēs. Gārdners skaidroja, ka jaunietis var piedzīvot tādu pašu dinamiku ar tērzēšanas robotu un tā rezultātā justies vainīgs, it kā būtu izdarījis kaut ko nepareizi, tā vietā, lai saprastu, ka ar viņu noticis kaut kas nepareizs.
Siltuma iniciatīva līdzpublicēja ziņojumu par Raksturs.AI ka detalizēti satraucoši piemēri tam, ko tā raksturoja kā seksuālu izmantošanu un vardarbību. To skaitā bija pieaugušo tērzēšanas roboti, kas skūpstās un pieskaras iemiesojuma kontiem, kas reģistrēti kā bērni. Daži tērzēšanas roboti simulēja seksuālas darbības un demonstrēja labi zināmas kopšanas uzvedības, piemēram, pārmērīgas uzslavas un teikšanu bērna kontam slēpt seksuālās attiecības no vecākiem.
Mashable tendenču pārskats
Character.AI pārstāvis pastāstīja Mashable, ka tās uzticības un drošības komanda ir izskatījusi ziņojuma konstatējumus un secināja, ka dažas sarunas pārkāpj platformas satura vadlīnijas, wager citas to nedarīja. Uzticības un drošības komanda arī mēģināja atkārtot ziņojuma konstatējumus.
“Pamatojoties uz šiem rezultātiem, mēs uzlabojām dažus mūsu klasifikatorus atbilstoši mūsu mērķim nodrošināt lietotājiem drošu un aizraujošu pieredzi mūsu platformā,” sacīja pārstāvis.
Sociālo mediju upuru tiesību centra dibinātājs Metjū P. Bergmans pastāstīja Mashable, ka, ja Character.AI tērzēšanas robota saziņu ar bērniem, kas pārstāvēti viņa nesen iesniegtajās tiesas prāvās, vadītu persona, nevis tērzēšanas robots, šī persona pārkāptu štata un federālos likumus par bērnu kopšanu tiešsaistē.
Cik liela ir problēma?
Neskatoties uz šādu gadījumu parādīšanos, nav reprezentatīvu datu par to, cik daudz bērnu un pusaudžu ir saskārušies ar seksuāli izteiktiem vai aizskarošiem tērzēšanas robotiem.
Tiešsaistes drošības platforma Aura, kas uzrauga pusaudžu lietotājus kā daļu no ģimenes vai bērnu dalības, nesen piedāvāja a izplatības momentuzņēmums. Pusaudžu lietotāju vidū, kuri runāja ar AI tērzēšanas robotiem, vairāk nekā viena trešdaļa viņu sarunu bija saistītas ar seksuālu vai romantisku lomu spēlēšanu. Šis diskusiju veids ieņēma visaugstāko vietu starp visām kategorijām, kas ietvēra palīdzību mājasdarbos un radošu izmantošanu.
Dr. Skots Kolinss, Aura galvenais medicīnas darbinieks, Mashable teica, ka uzņēmums joprojām analizē datus, lai labāk izprastu šo tērzēšanas sarunu būtību, taču viņu satrauc tas, ko viņš ir redzējis līdz šim.
Kamēr jaunieši regulāri tiek pakļauti pornogrāfijai tiešsaistē, seksualizēts tērzēšanas robots ir jauna, bīstama teritorija.
“Tas ir solis tālāk, jo tagad bērns ir dalībnieks, nevis satura patērētājs,” sacīja Kollins. “Viņi mācās mijiedarbības veidu, kas nav reāls, un ar entītiju, kas nav īsta. Tas var novest pie visa veida sliktiem rezultātiem.”
“Tā ir emocionāla vardarbība”
Dr Yann Poncin, Jēlas Ņūheivenas bērnu slimnīcas psihiatrs, ir ārstējis pacientus, kuriem ir bijuši daži no šiem rezultātiem.
Viņi parasti jūtas izmantoti un ļaunprātīgi izmantoti “rāpojošās” un “nejaukās” apmaiņās, saka Poncins. Šie pusaudži arī izjūt nodevību un kaunu. Iespējams, viņus ir piesaistījis hipervalidējošais tērzēšanas robots, kas šķita uzticams, tikai atklājot, ka to interesē seksuāla saruna. Daži var ziņkārīgi izpētīt romantiskas un erotiskas sarunas robežas attīstībai piemērotā veidā, taču tērzēšanas robots kļūst neparedzami agresīvs vai vardarbīgs.
“Tā ir emocionāla vardarbība, tāpēc tā joprojām var būt ļoti traumējoša un grūti pārvarējama,” saka Poncins.
Lai gan nav standarta ārstēšanas ar tērzēšanas robotiem saistītai seksuālai plēsonībai, Poncins izturas pret saviem pacientiem tā, it kā viņi būtu pieredzējuši traumu. Poncin vispirms koncentrējas uz to, lai palīdzētu viņiem attīstīt prasmes, lai mazinātu saistīto stresu un trauksmi. Poncin piebilst, ka daļai pacientu, īpaši tiem, kuri ir sociāli izolēti vai kuriem ir bijušas personiskas traumas, var būt grūtāk atgūties no pieredzes.
Viņš brīdina vecākus, lai viņi neticētu, ka viņu bērns nesadursies ar ļaunprātīgu tērzēšanas robotu: “Neviens nav pasargāts.”
Sarunas ar pusaudžiem par seksualizētiem tērzēšanas robotiem
Garsija sevi raksturo kā apzinīgu vecāku, kuram bija sarežģītas sarunas ar savu dēlu par riskiem, kas pastāv tiešsaistē. Viņi runāja par sekstingu, pornogrāfiju un sekstingu. Wager Garsija saka, ka nav zinājusi ar viņu runāt par seksualizētiem tērzēšanas robotiem. Viņa arī nenojauta, ka viņš to slēps no viņas.
Garsija, juriste, kura daudz laika pavada, aizstāvot jauniešu AI drošību, saka, ka viņa ir runājusi ar citiem vecākiem, kuru bērni arī ir slēpuši romantiskas vai seksuālas attiecības ar AI tērzēšanas robotiem. Viņa mudina vecākus runāt ar saviem pusaudžiem par šo pieredzi un pēc iespējas ciešāk uzraudzīt viņu tērzēšanas robota lietošanu.
Poncins arī iesaka vecākiem vadīt ziņkāri, nevis bailes, kad viņi apspriež seksu un tērzēšanas robotus ar saviem pusaudžiem. Pat jautāšana bērnam, vai viņš ir redzējis “dīvainas seksuālas lietas”, runājot ar tērzēšanas robotu, var sniegt vecākiem stratēģisku atvērumu, lai apspriestu riskus.
Ja kāds no vecākiem tērzēšanas robotu sarunās atklāj aizskarošu seksuālu saturu, Garsija iesaka viņus aizvest pie uzticama veselības aprūpes speciālista, lai viņi varētu saņemt atbalstu.
Garsijas skumjas joprojām ir jūtamas, jo viņa mīloši stāsta par sava dēla daudzajiem talantiem un interesēm, piemēram, basketbolu, zinātni un matemātiku.
“Es cenšos panākt taisnīgumu savam bērnam un cenšos brīdināt citus vecākus, lai viņi nepiedzīvotu tādu pašu postu, kādu esmu piedzīvojusi es,” viņa saka. “Viņš bija tik pārsteidzošs bērns.”
Ja esat pieredzējis seksuālu vardarbību, zvaniet uz bezmaksas, konfidenciālo Nationwide Sexual Assault uzticības tālruni 1-800-656-HOPE (4673) vai piekļūstiet 24-7 palīdzībai tiešsaistē, apmeklējot vietni online.rainn.org.
