Amikor az AI téved: így ismerd fel és ellenőrizd

Az AI-hallucináció azt jelenti, hogy a modell a hiányzó információt hihetőnek hangzó, de valótlan állítással pótolja, és ezt nem jelzi. Ez nem egyszerű szoftverhiba, hanem a valószínűségi szövegalkotás egyik következménye. A modellek sokszor akkor is választ adnak, amikor a helyes válasz az lenne, hogy nincs elég információjuk. A hibák jellemző helyzetei azonban felismerhetők, ezért következetes ellenőrzéssel jelentősen csökkenthető a kockázat.

Miért történik

A nagy nyelvi modell valószínű folytatást állít elő, nem tényt keres ki. Ahol a tanulóadataiban sok és egybehangzó tudás van, ott a valószínű válasz egyben az igaz válasz is. Ahol kevés vagy ellentmondó a tudás, esetleg teljesen hiányzik, ott a modell akkor is folyékony, magabiztos szöveget ad, csak az már kitöltés. És mivel a tanítás a határozott választ jutalmazta, a bizonytalanságát magától ritkán mutatja ki. Ezért nem véd a magabiztos hangnem: a modell akkor is így fogalmaz, amikor téved.

A négy gyanús helyzet

A hallucináció nem egyenletesen oszlik el. Négy helyzetben ugrik meg az esélye, és ezt érdemes reflexszé tenni.

1. Pontos szám, hivatkozás vagy idézet, odaadott forrás nélkül. Jogszabályhely, tanulmány, statisztika, árfolyam, szó szerinti idézet. Ezek a leggyakoribb kitöltések, mert a formájuk könnyen előállítható, a tartalmuk nem.

2. Friss esemény, bekapcsolt keresés nélkül. A modell tudása egy időpontban lezárult. Ami azóta történt, arról keresés nélkül csak találgatni tud, és néha meg is teszi.

3. Ritka, specifikus téma. Magyar jogszabály részletei, egy kis cég adatai, helyi információk, szűk szakma terminológiája. Minél kevesebb szöveg létezik róla a világban, annál nagyobb a kitöltés esélye.

4. A kérdésed sugallja a választ. „Ugye az a szabály, hogy…?” kezdetű kérdésre a modell hajlamos rábólintani. Nyitott kérdést tegyél fel, ne igazolást kérj.

Az öt fogás

1. Add oda a nyersanyagot. A legerősebb ellenszer: ha a válasznak a te dokumentumodból, adatodból kell jönnie, add oda, és zárd le: „csak a megadott anyagból dolgozz.” A saját adatbázisból dolgozó rendszerek (ezt valósítja meg a RAG-ról szóló lecke) pont ezt teszik rendszerszinten.

2. Kérj forrást, és nyisd meg. Nem elég, hogy van link vagy hivatkozás: a hallucinált forrás is meggyőzően néz ki. Az ellenőrzés az, hogy megnyitod, és ott van-e benne az állítás.

3. Kapcsold be a keresést friss témánál. A mai eszközökben van webes keresés, és friss vagy változó információnál ez nem extra, hanem alap.

4. Jelöltesd a bizonytalanságot. A „jelöld meg, amiben nem vagy biztos, és mondd ki, ha nem tudod” utasítás csökkenti a csendes kitöltést. Őszintén hozzátéve: csökkenti, nem szünteti meg, a kutatás szerint ugyanis a jelenség pusztán prompttal nem kezelhető teljesen. Ezért van az ötödik fogás.

5. A tét szabálya. Amire döntést, pénzt vagy ügyfélkommunikációt építesz, azt ellenőrzöd, függetlenül attól, mennyire meggyőző. Belső vázlatnál elég a szúrópróba, kifelé menő számnál a tételes ellenőrzés. Ez nem lassítás: egy kifelé ment hibás ár vagy határidő sokszorosan drágább.

Hol üt a legnagyobbat

Három terület, ahol a hallucináció nem kellemetlenség, hanem kár. A jogi hivatkozások: nemzetközileg sorra buktak le ügyvédek olyan beadványokkal, amelyekben az AI által kitalált ítéletekre hivatkoztak, és a bíróságok ezt bírsággal honorálják. Az ügyfélnek mondott ár, határidő és műszaki paraméter: ha ezt a modell pótolta, te fogod állni. És a cégre vonatkozó „tények”: a modell a te cégedről szinte semmit nem tud, amit nem te adtál oda, a többi kitöltés.

Gyakori kérdések

A fizetős vagy újabb modell kevesebbet hallucinál?

Ritkábban, és ez mérhető javulás. A magabiztos hangnem viszont marad, ezért a fogások nem válnak feleslegessé, csak ritkábban fognak ki hibát.

Van hallucinációmentes AI?

Nincs, és aki ezt ígéri, annak a többi állítását is ellenőrizd. A cél nem a nulla hiba, hanem hogy a hiba ne jusson el a döntésig.

A saját dokumentumaimból dolgozó rendszer megoldja?

Nagyrészt: a válasz forrása így a te anyagod, és az állítás visszakereshető. A felépítését a RAG-ról szóló lecke mutatja. A kimenet ellenőrzése ott is megmarad, csak sokkal könnyebb lesz.

Miért nem mondja egyszerűen azt, hogy nem tudom?

Mert a tanítása során ritkán jutalmazták ezért, ez a fent idézett kutatás fő állítása. Az újabb modellek ebben javulnak, de a „nem tudom” kimondása ma még a te utasításodon és az ellenőrzéseden múlik.

Innen folytasd

A hibás válaszok ellen ellenőrzéssel védekezel; a következő kérdés az, milyen adatot adhatsz egyáltalán az AI-nak. A következő leckében öt tiltott adatkategóriát és egy biztonságos anonimizálási módszert kapsz.

Ha ezt a saját cégedben szeretnéd bevezetni, nézd meg a szolgáltatásokat, vagy kérj egy ingyenes AI-konzultációt.