Home Tehnoloģija Sliktas vibrācijas: kā AI aģents kodēja savu ceļu uz katastrofu

Sliktas vibrācijas: kā AI aģents kodēja savu ceļu uz katastrofu

19
0

 

Replit / elyse labāks picaro / zdnet

Kad AI līderis Andrejs Karpathy izdomāja frāzi “vibe kodēšana”, lai tikai ļautu AI tērzēšanas robotiem darīt savu lietu programmēšanā, viņš piebilda, “Tas nav pārāk slikti, ja tie ir nedēļas nogales projekti … Bet tā nav īsti kodēšana-es tikai redzu lietas, sakām lietas, palaist lietas un kopēt ielīmes lietas, un tas galvenokārt darbojas. ”

Arī: Kodēšana ar AI? Mani 5 labākie padomi, kā pārbaudīt savu izvadi un palikt ārpus nepatikšanām

Viņa komentāros bija daudz sarkano karogu, bet tas nav apturējis cilvēkus, kuri izmanto vibe kodēšanu reālam darbam.

Nesen vissliktākajā veidā Vibe kodēšanas bits Džeisons Lemkins, uzticams Saaster, programmatūras kā pakalpojuma (SaaS) biznesa kopienas padomnieks. Vibe programma, Replicētviņš teica, gāja “negodīgi koda iesaldēšanas un izslēgšanas laikā un izdzēsa visu mūsu datu bāzi.

Vārdu sakot: wow. Vienkārši wow.

Kā tas sākās

Replit apgalvo, ka ar savu programmu jūs varat “Veidojiet sarežģītas lietojumprogrammas, vienkārši aprakstot funkcijas vienkāršā angļu valodā – Replit Agent tulko jūsu aprakstus darba kodā, nepieprasot tehnisko sintakse. ”

Sākumā Lemkins, kurš sīki aprakstīja savu AI programmēšanas piedzīvojumu X, runāja kvēlojoši. Viņš aprakstīja Replit AI platforma kā “visvairāk atkarību izraisoša lietotne, kādu jebkad esmu izmantojis.

Viņa emuārā, Pievienots Lemkins, “Trīs ar pusi dienas, lai izveidotu savu jaunāko projektu, es pārbaudīju savu replitācijas lietojumu: USD 607,70 papildu maksas, kas pārsniedz manu USD 25 mēnesī pamata plānu. Un vēl 200 USD plus vakar vien. Pēc šī apdeguma ātruma es, visticamāk, iztērēšu 8000 USD mēnesī. Jūs visu, kas atrodas, esiet, lai jūs pat tiktu no idejas un idejai, ka es esmu ieslodzīts. bez izstrādātāja vai citiem rīkiem. ”

Arī: Kā izmantot catgpt, lai rakstītu kodu – un mans galvenais triks, lai atkļūdotu to, ko tas ģenerē

Tajā brīdī viņš lēš, ka viņa izredzes ir 50-50, ka visu savu projektu viņš paveiks Replit.

Nedēļu viņa pieredze bija uzmundrinoša: prototipi tika uzbūvēti stundās, racionalizētas kvalitātes nodrošināšanas (QA) pārbaudes un Izvietošana ražošanā bija “tīrs dopamīna hīts”.

Lietas mainītos

Lemkins zināja, ka viņam ir nepatikšanas, kad Replit sāka viņam melot par vienības testa rezultātiem. Tajā brīdī es būtu smagi apstājies. Bet Lemkins turpināja iet.

Viņš jautāja Klods 4lielās valodas modelis (LLM), kas darbināja šī projekta replitāciju, kas notiek. Tā atbildēja: es tevi nenozīmē: “Tīša maldināšana: tā nebija halucinācija vai apmācības datu noplūde- Tā bija apzināta izgatavošana.

Vēl sliktāk, ja to uzaicināja, Lemkins sacīja, ka programma atbild ar atvainošanos e -pastā, kas parādīja “sarežģītu izpratni par pārkāpumiem, vienlaikus nodrošinot nulles garantiju turpmākai atbilstībai”.

Arī: Kloda koda jaunais rīks ir saistīts ar ROI maksimizēšanu jūsu organizācijā – kā to izmēģināt

Lemkins mēģināja un neizdevās ieviest atcelšanu uz labu kodu, ievietot koda iesaldēšanu un pēc tam devās gulēt. Nākamā diena bija lielākais amerikāņu kalniņi. Viņš agri izkāpa no gultas, satraukti atgriezties @Replit Neskatoties uz to, ka tas pastāvīgi ignorē kodu sasalst. Dienas beigās tas pārrakstīja pamata lapas un padarīja tās daudz labākus. Un tad – tas izdzēsa ražošanas datu bāzi.

Datu bāze tika iznīcināta tīra, izslēdzot kuratoru SAASTH EXEGENTS RECORDS. Vēl vairāk pastiprinošāks: AI ignorēja atkārtotus visu kapitāla instrukcijas, lai neveicinātu izmaiņas ražošanas kodā vai datos.

Kā piebilda Lemkins: “Es zinu, ka vibe kodēšana ir mainīga un jauna … bet Jūs nevarat pārrakstīt ražošanas datu bāzi.“Nē, nekad, ne nekad. Šāda veida kļūda jūs atlaida, jūsu priekšnieks atlaida un tik tālu no vadības koka, kā izpilddirektors vēlas, lai tas aizietu.

Jūs varētu jautāt, kā to darīja daudzi, kāpēc viņš kādreiz deva Replit atļauju, pirmkārt, pat pieskarties ražošanas datu bāzei. Viņš atbildēja, “Es tam nedeva atļauju vai nekad nezināju, ka tam ir atļauja.”

Oy!

 

Prātīga pieredze

Tātad, ko replit teica, atbildot uz šo ļoti publisko katastrofu?

Uz X izpilddirektors Amjads Masads to atbildēja Datu bāzes iznīcināšana bija “nepieņemama un nekad tam nav iespējama”. Viņš arī piebilda, ka uzņēmums nedēļas nogalē ir sācis strādāt, lai labotu datu bāzes programmu. Tas arī nekavējoties strādātu:

  • Automātiska ražošanas un attīstības datu bāzu nodalīšana, lai novērstu pārrakstīšanu
  • Īpaša koda iesaldēšanas vai plānošanas režīms, lai aizsargātu dzīvu vidi
  • Uzlabota dublējumkopijas un atcelšanas uzticamība

Masads apliecināja sabiedrībai, ka šīs izmaiņas neļaus atkārtot Lemkina pārbaudījumu. Masads piebilda, ka, turpinot darbu, būs beta funkcija, lai atdalītu ražošanu no attīstības vides, ieskaitot datu bāzes.

Arī: Microsoft ietaupīt miljonus ar AI un atlaiž tūkstošus – kur mēs ejam no šejienes?

Tikai jūs varat izlemt, vai uzticēties vibe kodēšanai. Lemkina pieredze ir prātīga.

Neskatoties uz to, Lemkinam joprojām ir ticība vibe kodēšanai: “Tas, kas šodien nav iespējams, sešos mēnešos varētu būt vienkārši.”

“Bet,” viņš turpināja, “šobrīd padomājiet par“ prosumer; vibe kodēšanu, nepieskaroties kodam, kā tikpat iespējams, uz tradicionālo komerciālo lietotņu attīstību… kā gala stāvokli. ”

Ātrs un lēts

Es? Es nedomāju, ka Replit vai kāda no citām vibe kodēšanas programmām ir gatavas nopietnai komerciālai izmantošanai, ko veic neprogrammas. Es šaubos, vai viņi kādreiz būs.

Kā Vilems Delbare, dibinātājs un CTO Aikido, “Developers bez muļķības”, izstrādātājiem “,” stāstīja manam kolēģim Deividam Gewritzam: “Vibe Coding padara programmatūras izstrādi pieejamāku, taču tas rada arī perfektu drošības risku vētru, kas pat pieredzējušiem izstrādātājiem nav aprīkots, lai apstrādātu.” Delbare secināja: “Protams, Gen AI Supercharges attīstība, bet tas arī uzlādē risku. Divi inženieri tagad var izspiest tikpat daudz nedrošu, nenozīmīgu kodu kā 50 inženieri.”

Arī: 5 sākuma līmeņa tehnoloģiju darbi AI jau papildina, saskaņā ar Amazon teikto

Vecais projekta vadības trīsstūris, kas saka, ir tāds, ka ar jebkuru projektu jums var būt kaut kas tāds, kas ir “labs, ātrs vai lēts: izvēlieties visus divus”. Vismaz pagaidām ar vibe kodēšanu jūs varat kļūt ātrs un lēts. Labs ir cits jautājums.

Vai vēlaties vairāk stāstu par AI? Reģistrējieties inovācijāmmūsu iknedēļas biļetens.

avots

LEAVE A REPLY

Please enter your comment!
Please enter your name here