Négy történet, egy közös hiba.
Az elmúlt hónapokban négy egymástól teljesen független ügyfélnél futottunk bele ugyanabba a mintázatba. Más iparág, más méret, más probléma a felszínen, de a mag ugyanaz: valaki AI-jal megcsinált valamit, ami működni látszott, aztán kiderült, hogy senki, még az sem, aki csinálta, nem tudja pontosan mi van a motorháztető alatt.
Ez nem az AI hibája. Ez egy kontroll nélküli folyamat hibája.
1. történet: a kép, ami majdnem jó
Egy kereskedelmi cég marketingese hónapokig generált termékfotókat és rövid videókat egy AI-eszközzel, mert „ezt mindenki csinálja, és ingyen van”. A képek 90 százaléka használhatatlan volt: hat ujjú kezek, fizikailag értelmezhetetlen tárgyformák, torz feliratok. A megmaradt 10 százalék is annyi utómunkát igényelt, hogy végül gyorsabb lett volna eleve profi fotóst hívni.
A veszteség itt nem is elsősorban a elköltött kredit volt, hanem a hónapok, amíg azt hitték, ez a megoldás, és nem építettek alternatívát.
2. történet: az öt perces javítás
Egy szolgáltató cég vezetője lecserélte a teljes weboldalát egy AI-alapú site-építő eszközzel. Az eredmény vizuálisan tényleg szép lett, ez el is hangzott felé őszintén. A hívás oka viszont az volt, hogy a régi oldalra kiépített mérési rendszer (konverziókövetés, hirdetési adatvisszacsatolás) egyik napról a másikra leállt, hiszen egy vadonatúj, ismeretlen kódbázisú oldal futott a régi helyén.
A kérdés egyszerű volt:
– Csak pár perc megoldani, ugye?
A valóság nem az volt. Egy ismeretlen hátterű, saját AI-fiókban generált oldalnál nem lehet tudni, egyáltalán kér-e engedélyt a látogatók adatainak kezelésére (ez a consent-kezelés), hol keletkezik a hiba, és hogyan lehet belenyúlni anélkül, hogy a tulajdonos saját verziója és a mi verziónk véglegesen szétváljon, és onnantól két, egymástól független weboldal verzió éljen tovább.
3. történet: a jelszó, ami kiírta magát
Egy adatkezeléssel foglalkozó felület fejlesztése AI-asszisztált, kontroll nélküli folyamatban zajlott. Az admin felület hibaüzenete, minden szándék nélkül, elárulta a ténylegesen érvényes admin jelszót: ha valaki rossz jelszót írt be, a hibaüzenet nem csak jelezte a hibát, hanem visszaadta azt a jelszót is, amivel utána be lehetett lépni. Egy apró, könnyen észrevehetetlen hiba, ami pontosan azért kerülhetett be, mert senki nem nézte át sor soronként, mi is készült el valójában.
4. történet: a szöveg, ami nem is a miénk volt
Egy ügyfél weboldalának demó verziójához AI-jal generáltattunk szöveget, kifejezetten azzal a céllal, hogy gyorsan legyen valami bemutatható. Utólag vettük észre, hogy a generált szöveg egy az egyben átvett egy részletet egy konkurens cég publikus szövegéből. Amikor szembesítettük az AI-t a hasonlósággal, nem ismerte el a forrást, hanem azt állította, hogy a szöveget „csak kitalálta”. Mivel ez demóanyag volt, sosem került élesbe: a végleges szöveget rendes szövegíró írta.
Ez a történet azért fontos, mert rávilágít egy olyan kockázatra, amiről szinte senki nem beszél: az AI nem csak biztonsági vagy adatkezelési hibákat vihet be, hanem szerzői jogi kockázatot is, és amikor erre rákérdezel, nem feltétlenül fogja beismerni.
A közös szál
Mindegyik esetben ugyanaz történt:
Ez a minta ismerős lesz mindenkinek, aki most azt hallja mindenhonnan: „csinálj mindent AI-val, nem kell hozzá fejlesztő”. Ez az állítás félig igaz. Az AI tényleg képes generálni valamit gyorsan. Amit nem mond el senki, hogy a generált eredmény ellenőrzése, integrálása és biztonságos üzemeltetése továbbra is szakértelmet igényel, és ez a rész nem opcionális, ha valós ügyfeleket, valós fizetési adatokat, vagy valós személyes adatokat érintő rendszerről van szó.
Nem csak mi látjuk ezt
A saját tapasztalatunkat kutatási adatok is alátámasztják. A Veracode biztonsági elemzése szerint, amely több mint száz nagy nyelvi modellt vizsgált, az AI által generált kód alig több mint fele megy át alapszintű biztonsági teszteken, miközben szintaktikailag szinte mindig hibátlannak tűnik, vagyis fut, lefordul, kész terméknek látszik, miközben biztonsági rést hordoz. Kevésbé látható hibatípusoknál (mint amilyen a harmadik történetünkben is felmerült) ez az arány sokkal rosszabb: bizonyos sérülékenységtípusoknál a generált kód nyolcvan-kilencven százaléka sérülékenynek bizonyult. Egy független amerikai elemzés hasonló nagyságrendet talált: az AI-generált kód körülbelül negyven százaléka hordoz valamilyen biztonsági hibát, egy másik, valós fejlesztői munkafolyamatokat vizsgáló kutatás pedig azt találta, hogy az AI-jal írt kód közel háromszor annyi scripting-sérülékenységet (XSS) tartalmaz, mint az ember által írt kód.
Ez nem csak elméleti kockázat. A Veracode adatai szerint a felmért szervezetek nagy többsége tapasztalt már sikeres kibertámadást az elmúlt évben, és a biztonsági „adósság” (fel nem tárt, ki nem javított sérülékenységek) évről évre nő, nem csökken.
A „mit adtál oda az AI-nak” kérdés is egyre kevésbé elméleti. Egy nemrég nyilvánosságra került eset szerint a nagy AI-szolgáltatók (nem csak egy konkrét cég, több is) emberi munkatársakat is alkalmaznak a felhasználói beszélgetések egy részének átnézésére a modellek fejlesztéséhez. A szolgáltatók igyekeznek személyes adatot eltávolítani ebből a folyamatból, de saját bevallásuk szerint ez a szűrés nem tökéletes. Ez pontosan azt támasztja alá, amit mi is mondunk: nem az a kérdés, hogy használsz-e AI-t, hanem hogy tudod-e, mi történik azzal, amit beírsz neki.
Ez a fajta kontroll nélküli AI-használat egyébként már a munkaerőpiacon is lecsapódik: egyre több álláshirdetés keres kifejezetten olyan szakembert, aki az AI által összecsapott, hibás munkát javítja ki.
A mi álláspontunk
Nem gondoljuk, hogy az AI rossz, sőt. Napi szinten használjuk, és rengeteget gyorsít a munkánkon, ötletelésben, tartalomban, kódrészletekben, kutatásban. Ami kamikaze akció, az nem az AI használata, hanem az, ha egy komoly, valós adatokat vagy pénzt mozgató rendszert úgy engedsz élesbe, hogy közben senki, aki érti, mit csinál, nem nézte át. A gyorsaság nem old ki a felelősség alól.
Mit jelent ez a gyakorlatban?
Nem arról van szó, hogy ne használj AI-t. Arról van szó, hogy tudd, mit használsz.
Egy gyors, célzott átvilágítás (mit ér el kívülről bárki, milyen adatot kezel a rendszer, milyen hozzáférést kapott bárki, ami nem a tiéd) sok esetben egy délelőtt alatt elvégezhető, és pontosan azokat a kockázatokat szűri ki, amik később bírságba, adatvesztésbe vagy egy teljes leállásba torkollhatnak.
Ha te is felismersz valamit a fenti történetekből a saját cégedben, ez egy jelzés, nem feltétlenül baj. A kérdés csak az, hogy most nézed-e meg, vagy majd akkor, amikor már történt valami.
