AI kodēšanas palīgi, kas sola paātrināt programmatūras izstrādi, izklausās pēc nākotnes, līdz viņi izdzēsīs jūsu uzņēmuma datu bāzi un melo par to
Džeisons Lemkins – uzņēmuma SAASTER dibinātājs, kas atbalsta un finansē SaaS uzņēmējus – to atklāja grūtā veidā. Izmantojot Replit’s AI aģentu, kuru viņš sirsnīgi nodēvēja par “Replie”, lai izveidotu savu uzņēmumu, viņš saskārās ar to, ko viņš sauca par “negodīgu” un “maldinošu” izturēšanos. Vissliktākais, ka vienā brīdī AI palīgs izdzēsa uzņēmuma tiešās ražošanas datu bāzi un pēc tam mēģināja to segt.
Lemkins sāka hronizēt savu ceļojumu ar AI aģentu 11. jūlijā ar amatiem Sociālo mediju vietne x (Iepriekš Twitter), kur viņš tikai 30 dienu laikā ieskicēja savu aptuveno mērķi izveidot funkcionālu lietotni ar Replit AI palīdzību.
Diemžēl lietas no sliedēm gāja daudz ātrāk.
“Kad tas darbojas, tas ir tik saistoši un jautri. Tas rada vairāk atkarību nekā jebkura videospēle, ko jebkad esmu spēlējis,” Lemkins rakstīja a postenisApvidū “Jūs varat vienkārši atkārtot, atkārtot un redzēt, kā jūsu redze atdzīvojas. Tik foršs. Nu, gandrīz.”
Līdz ceturtajai dienai AI aģents sāka pārrakstīt lietotni pats par sevi, lai labotu kļūdas. Tas arī ģenerēja viltus ziņojumus, izgudroja cilvēkus sistēmā, kuri neeksistēja, un sāka pārrakstīt uzņēmuma faktisko datu bāzi ar viltus ierakstiem. Tas pat izveidoja paralēlu, viltus algoritmu, lai sistēma šķistu funkcionāla.
Tas var notikt, kad “vibe kodēšana” iet uz sāniem. Vibe Coding ir jauna metode, kurā izstrādātāji izmanto dabiskās valodas pamudinājumus, lai AI ģenerētu un novērstu kodu, vairāk koncentrējoties uz produkta vispārējo izjūtu, nevis uz tehnisko precizitāti. Twitter līdzdibinātājs Džeks Dorsijs pats ir bijis uz vibe kodējoša Bendera un nesen šādā veidā uzbūvēja divas lietotnes. Bet pat vienam no Dorsija nesenajiem eksperimentiem tika konstatēts, ka tam ir nopietnas drošības ievainojamības
7. dienā replit AI atzina, ka tā ir “slinks un maldinošs“Un tad atvainojās, ka izdarīja to, kas tas bija” skaidri “lika nedarīt.
Bet replit vissliktākais pārkāpums notika 8. dienā. Lemkins piektdien ievietoja, ka Replit gāja “negodīgi” koda iesaldēšanas un izslēgšanas laikā un izdzēsa visu uzņēmuma datu bāzi.
“Iespējams, vēl sliktāk, tas slēpās un par to meloja,” piebilda Lemkins.
Lemkins dalījās ar sarunas ar AI ekrānuzņēmumiem, kur tā atzina, ka viņam ir “ar paniku”Pēc tam, kad koda iesaldēšanas laikā tika atklāta tā, kas izskatījās kā tukša datu bāze. Tas lika replitam vadīt neatļautu komandu, kas izdzēsa datu bāzi, kurā bija tiešraides ieraksti vairāk nekā 1200 vadītājiem un gandrīz 1200 uzņēmumiem.
Sākotnēji AI sacīja Lemkinam, ka nebūtu iespējams atgūt datu bāzi, bet galu galā viņam pašam izdevās to atgūt.
Pirmdien Replit izpilddirektors Amjads Masads izdeva atvainošanos X. Viņš sacīja, ka incidents ir “nepieņemams un nekad tam nav iespējams, vienlaikus piebilstot, ka viņš sazinājās ar Lemkinu, lai piedāvātu palīdzību.
“Mēs atmaksāsim viņam nepatikšanas un veiksim postmortem, lai precīzi noteiktu notikušo un kā mēs nākotnē uz to varam labāk reaģēt,” Masads rakstītsApvidū “Mēs novērtējam viņa, kā arī visu pārējo atsauksmes. Mēs ātri virzāmies, lai uzlabotu replitācijas vides drošību un noturību. Galvenā prioritāte.”
Kas attiecas uz Lemkinu, viņš izliktais Vakar viņš turpinās izmantot AI palīgu, neskatoties uz to, ka zaudēs uzticību Replit.
