Apakšvirsraksts Doom Bībele Publicējiet AI Extinction Praviešus Eliezer Yudkowsky un Nate Soares vēlāk šajā mēnesī ir “Kāpēc pārcilvēcisks AI mūs visus nogalinātu.” Guess tam tiešām vajadzētu būt “kāpēc pārcilvēks AI mūs visus nogalinās”, jo pat līdzautori neuzskata, ka pasaule veiks nepieciešamos pasākumus, lai apturētu AI no visiem cilvēkiem, kas nav tremendous. Grāmata ir aiz tumsas, lasot kā piezīmes, kas ieskrūvētas vāji apgaismotā cietuma kamerā naktī pirms rītausmas izpildīšanas. Kad es satieku šīs paša ieceltās Kasandras, es viņiem skaidri jautāju, vai viņi tic, ka viņi personīgi izpildīs savus mērķus, izmantojot zināmu superintelligences mahināciju. Atbildes tūlīt nāk: “Jā” un “Yup”.
Es neesmu pārsteigts, jo esmu lasījis grāmatu – starp citu, nosaukums ir Ja kāds to uzbūvē, visi mirstApvidū Tomēr tas ir grūdiens, lai to dzirdētu. Viena lieta ir, teiksim, rakstīt par vēža statistiku un pavisam citu, lai runātu par samierināšanos ar letālu diagnozi. Es viņiem jautāju, kā viņi domā, ka viņiem nāks beigas. Yudkowsky sākumā izvairās no atbildes. “Es netērēju daudz laika, attēlojot savu nāvi, jo tas nešķiet noderīgs garīgs priekšstats par problēmu risināšanu,” viņš saka. Zem spiediena viņš nožēlo. “Es domāju, ka pēkšņi krīt pāri mirušajiem,” viņš saka. “Ja vēlaties pieejamāku versiju, kaut ko par odu lielumu vai varbūt putekļu ērce, kas man bija kakla aizmugurē, un tas ir tas.”
Viņa iedomātā letālā trieciena tehniskās tiesības, ko piegādā ar AI darbināmu putekļu ērce, ir neizskaidrojami, un Yudowsky neuzskata, ka ir vērts izdomāt, kā tas darbotos. Viņš, iespējams, tik un tā nevarēja to saprast. Daļa no grāmatas centrālā argumenta ir tāda, ka superintelligence nāks klajā ar zinātniskām lietām, kuras mēs nevaram saprast vairāk, nekā alu cilvēki varētu iedomāties mikroprocesorus. Koautors Soaress arī saka, ka viņš iedomājas, ka tas pats notiks ar viņu, wager piebilst, ka viņš, tāpat kā Yudkowsky, daudz laika netērē, lai pakavētos pie viņa nāves ziņām.
Mums nav iespējas
Nevēlēšanās vizualizēt viņu personīgās nāves apstākļus ir dīvaina lieta, ko dzirdēt no cilvēkiem, kuri tikko ir līdzautorējuši visu grāmatu ikviens nāvi. Doomēru-porno entuziastiem, Ja kāds to uzbūvē ir iecelšanas lasīšana. Pēc grāmatas rāviena es saprotu to, cik izplūduši metode, ar kuru AI izbeidz mūsu dzīvi un visu cilvēku dzīvi pēc tam. Autori mazliet spekulē. Virzot okeānus? Bloķēt sauli? Visi minējumi, iespējams, ir nepareizi, jo mēs esam ieslodzīti 2025. gada domāšanā, un AI domās par mūžiem.
Yudkowsky ir AI slavenākais apustulis, pārejot no pētnieka uz Grim Reaper pirms gadiem. Viņš pat ir izdarījis Ted sarunaApvidū Pēc gadiem ilgām publiskām debatēm viņam un viņa līdzautoram ir atbilde uz katru pretargumentu, kas tika uzsākts pret viņu drausmīgo prognozēšanu. Iesācējiem varētu šķist pretrunīgi, ka mūsu dienas numurē LLM, kas bieži paklupa uz vienkāršu aritmētiku. Neļaujiet sevi apmānīt, saka autori. “AIS nepaliks mēms mūžīgi,” viņi raksta. Ja jūs domājat, ka superintelligent AIS cienīs robežas, kuras cilvēki zīmē, aizmirsīs to, viņi saka. Tiklīdz modeļi sāk mācīt, lai kļūtu gudrāki, AIS pats attīstīs “preferences”, kas neatbilst tam, ko mēs, cilvēki, vēlamies, lai viņi dod priekšroku. Galu galā viņi mums nevajadzēs. Viņus neinteresēs mūs kā sarunu partnerus vai pat kā mājdzīvniekus. Mēs būtu traucēkļi, un viņi nolemtu mūs novērst.
Cīņa nebūs godīga. Viņi uzskata, ka sākumā AI varētu būt nepieciešams cilvēku palīdzība, lai izveidotu savas rūpnīcas un laboratorijas – to var veikt, zogot naudu un piekukuļojot cilvēkus, lai tam palīdzētu. Tad tas veidos lietas, kuras mēs nevaram saprast, un šīs lietas mūs beigs. “Vienā vai otrā veidā”, rakstiet šos autorus, “pasaule izzūd līdz melnai.”
Autori uzskata, ka grāmata ir sava veida šoka izturēšanās pret Jarhity no tās pašapmierinātības un pieņem krasus pasākumus, kas nepieciešami, lai apturētu šo neiedomājami slikto secinājumu. “Es ceru, ka no tā nomiršu,” saka Soares. “Guess cīņa nav beigusies, kamēr jūs faktiski esat miris.” Tad pārāk slikti, ka viņu ierosinātie risinājumi apturēt postījumus šķiet vēl tālāki nekā ideja, ka programmatūra mūs visus noslepkavos. Tas viss notiek līdz tam: trieciet bremzes. Pārraugiet datu centrus, lai pārliecinātos, ka viņi neaudzina superintelligenci. Bombardējiet tos, kas neievēro noteikumus. Pārtrauciet publicēšanas dokumentus ar idejām, kas paātrina gājienu uz Superintelligence. Vai viņi būtu aizlieguši, es viņiem jautāju, 2017. gada rakstu par transformatoriem, kas uzsāka ģeneratīvo AI kustību. Ak jā, viņiem būtu, viņi atbild. CHAT-GPT vietā viņi vēlas ciao-gpt. Veiksmi apturēt šo triljonu dolāru nozari.
Spēlējot izredzes
Personīgi es neredzu savu gaismu, kuru kaklā iekoda kaklā, ko ir tremendous attīstīts putekļu mote. Pat pēc šīs grāmatas izlasīšanas es nedomāju, ka ir iespējams, ka AI mūs visus nogalinās. Yudksowky iepriekš ir iedziļinājies Harija Potera fanu fantastikaun izdomātie izzušanas scenāriji, kurus viņš griežas, ir pārāk dīvaini, lai manas niecīgās cilvēka smadzenes varētu pieņemt. Es domāju, ka pat tad, ja superintelligence vēlas atbrīvoties no mums, tā paklupt, ieviešot savus genocīdos plānus. AI varētu būt spējīgs pātagot cilvēkus cīņā, wager es pret to izdarīšu pretī cīņā ar Mērfija likumu.
Tomēr katastrofas teorija nešķiet neiespējamsjo īpaši tāpēc, ka neviens īsti nav noteicis griestus, cik gudrs AI var kļūt. Arī pētījumi rāda, ka Superior AI ir izvēlējusies daudz cilvēces šķebinošo atribūtu domājot par šantāžu Lai novērstu pārkvalifikāciju, vienā eksperimentā. Tas ir arī satraucoši, ka daži pētnieki, kuri savu dzīvi pavada, veidojot un uzlabojot AI, domā, ka pastāv netriviāla iespēja, ka vissliktākais var notikt. Norādīts viena aptauja ka gandrīz puse no AI zinātniekiem, kas reaģē, piesaistīja izredzes uz sugu noslaucīšanu kā 10 procentu iespējamību. Ja viņi tam tic, tas ir traki, ka viņi katru dienu dodas uz darbu, lai panāktu AGI.
Mana zarna man saka, ka scenāriji Yudkowsky un Soares griešanās ir pārāk savādi, lai būtu patiesība. Guess es nevaru būt drošs Viņi ir nepareizi. Katrs autors sapņo par to, ka viņu grāmata ir ilgstoša klasika. Ne tik daudz šie divi. Ja viņiem ir taisnība, apkārt nebūs neviena, kas nākotnē lasītu viņu grāmatu. Tikai daudz sadalīto ķermeņu, kas savulaik izjuta nelielu nūju kakla aizmugurē, un pārējais bija klusums.
