Tiek apgalvots, ka apjukums ir nelikumīgi piekļūt saturu no vietnēm, neskatoties uz to, ka tā ir aizliegta to darīt. Globālais tīmekļa drošības pakalpojumu uzņēmums CloudFlare veica pārbaudi, lai apstiprinātu atbilžu dzinēju uzņēmuma slepeno izturēšanos. Pētnieki uzsvēra, ka ne tikai apjukuma roboti bija ne tikai vietņu direktīvu ignorēšanas, wager arī aktīvi slēpj savu identitāti, izmantojot vairākus līdzekļus, lai nodrošinātu, ka vietņu īpašnieki nevar izsekot darbībai. CloudFlare arī spēja atrast veidu, kā veiksmīgi izslēgt mākslīgā intelekta (AI) uzņēmuma centienus.
CloudFlare uztver apjukuma slepeno taktiku darbībā
A emuāra ierakststīmekļa drošības platforma apgalvoja, ka apjukums ir iesaistīts “slepenās pārmeklēšanas” aktivitātēs. “Mēs redzam turpmāku pierādījumu tam, ka apjukums atkārtoti modificē viņu lietotāju aģentu un maina viņu avotu Asns, lai paslēptu viņu pārmeklēšanas darbību, kā arī ignorētu vai dažreiz neizdodas pat atnest – robots.txt failus,” piebilda ziņojums.
Pirms iedziļināšanās apjukuma uzvedībā ir svarīgi saprast, kā darbojas visa sistēma. Satura vietņu īpašnieki pievieno informāciju, un trešo personu pakalpojumi, piemēram, meklētājprogrammas, iegūst šos datus, lai indeksētu šīs vietnes un liktu parādīties, kad tiek ierakstīts attiecīgs vaicājums. Dažas lietotnes un vietnes arī nokasa vietnes, lai vai nu tās varētu saskarties savā interfeisā, vai arī apkopot datus ar atļauju.
Tomēr, lai šīs attiecības starp vietnēm un rāpuļprogrammām darbotos, ir jābūt uzticībai. To nosaka šie robotprogrammatūras, ievērojot noteikumu kopumu, pārmeklējot jebkuru vietni. Šie noteikumi nosaka, ka robotprogrammatūras darbībai jābūt caurspīdīgai, tiem vajadzētu būt skaidram mērķim un jāveic tikai konkrēta darbība, un tiem vajadzētu ievērot vietņu direktīvas un vēlmes. Tātad, ja vietne bloķē robotu, tai nevajadzētu pārmeklēt viņu vietni.
Saskaņā ar CloudFlare pētniekiem, apjukums pārkāpj šo uzticības modeli, izmantojot slepeno taktiku, lai nokasītu vietnes datus pat no tām vietnēm, kas skaidri bloķē tās deklarētos robotprogrammatūras-apjukumu un apjukumu lietotāju. Pētnieki varēja apstiprināt šo darbību, izveidojot jaunus testa domēnus.
Šos domēnus indeksēja neviena meklētājprogramma vai padarīja publiski pieejamu vai atklājamu. Turklāt pētnieki ieviesa failu robots.txt (teksta fails, ko vietnes izmanto, lai sniegtu norādījumus tīmekļa rāpuļprogrammām), lai apturētu visus robotus no piekļuves jebkurai vietnes daļai.
Pēc tam CloudFlare pētnieki devās uz apjukumu un uzdeva tam īpašus jautājumus par šiem jaunizveidotajiem domēniem. Viņi atklāja, ka, neraugoties uz interneta protokolu sekošanu, lai novērstu pārmeklēšanas aktivitāti, apjukums joprojām spēja parādīt detalizētu informāciju par šīm vietnēm.
CloudFlare apgalvo, ka Matlexity lietotāju aģenti vai tīmekļa kāpuri veic vairākas darbības, lai apietu vietņu direktīvas un piekļūtu datiem. Ja deklarētam lietotāja aģentam tiek liegta piekļuve, izmantojot robots.txt, tas to ignorē un turpina nokasīt datus. Ja vietne ir ieviesusi tīmekļa lietojumprogrammu ugunsmūri (WAF), lai bloķētu robotprogrammatūru, uzņēmums izmanto vispārēju pārlūka aģentu, kas paredzēts, lai uzdotos par Google Chrome vai MacOS.
Tiek arī teikts, ka šis nedeklarētais robots izmanto vairākus IPS, kas nav uzskaitīti Matlexity oficiālajā IP diapazonā, lai mānītu vietni. Lai vēl vairāk paslēptu tās celiņus, tika teikts, ka šie rāpuļprogrammas izmanto dažādus automātisko sistēmu numurus. Proti, CloudFlare paziņoja, ka tad, kad šie nedeklarētie robotprogrammatūras tika veiksmīgi apturēti, apjukuma reakciju kvalitāte samazinājās, jo, lai atbildētu uz vaicājumu, tā sāka paļauties uz citiem datu avotiem.
CloudFlare paziņoja, ka tās BOT pārvaldības sistēma spēja reģistrēt visas nedeklarētās pārmeklēšanas aktivitātes no apspiešanas slēptajiem lietotāju aģentiem un tagad automātiski aizsargā visus savus robotprogrammatūras pārvaldības klientus. Turklāt uzņēmums ir pievienojis parakstu spēles Stealth Crawler savam pārvaldītajam noteikumam, kas bloķē AI pārmeklēšanas darbību. Tas ir pieejams visiem CloudFlare lietotājiem, ieskaitot tos, kas atrodas bezmaksas līmenī.
