AI asistent dokáže napísať odpoveď, ktorá znie sebavedomo, profesionálne a úplne presvedčivo — a pritom je vecne nesprávna. Tento jav, ľudovo nazývaný halucinácia, je najväčší zdroj rizika pri zavádzaní AI do firmy. Nie preto, že by sa stával často, ale preto, že vyzerá rovnako dôveryhodne ako správna odpoveď. Pre účtovnú kanceláriu, právnu firmu alebo e-shop, kde nesprávny údaj v klientskej komunikácii môže mať následky, je preto otázka "ako výstupy overujeme" rovnako dôležitá ako "ako ich generujeme". Tento článok je o tej druhej, často prehliadanej polovici.
Prečo AI "halucinuje"
Jazykový model negeneruje pravdu — generuje pravdepodobné pokračovanie textu. Vo väčšine prípadov je najpravdepodobnejšie pokračovanie aj správne, a preto AI funguje. Problém nastáva, keď model nemá oporu v dátach a "domyslí" si chýbajúci kúsok. Typické situácie, kedy riziko stúpa:
- Otázka mimo poskytnutých podkladov — pýtate sa na niečo, čo v dokumentoch nie je, a model si odpoveď doplní namiesto toho, aby povedal "neviem".
- Konkrétne čísla, dátumy, paragrafy a citácie — práve tu vznikajú najpresvedčivejšie a najnebezpečnejšie chyby.
- Zastarané alebo protirečivé podklady — ak má model k dispozícii dve verzie dokumentu, môže si vybrať tú nesprávnu.
- Príliš všeobecné zadanie — čím menej kontextu, tým viac model dopĺňa.
Dôležité je pochopiť, že to nie je porucha, ktorú "opravíme aktualizáciou". Je to vlastnosť technológie, s ktorou treba rátať v návrhu procesu.
Ktoré úlohy znesú akú mieru kontroly
Nie každý výstup potrebuje rovnaké overovanie. Rozumné je rozdeliť úlohy podľa následkov chyby:
- Nízke riziko — interný draft, ktorý si aj tak prečítate, nápady na text, prvá verzia e-mailu. Tu stačí bežná ľudská kontrola pred odoslaním.
- Stredné riziko — sumarizácia dokumentu, príprava reportu, klasifikácia. Vyžaduje kontrolu proti zdroju, nie len letmé prečítanie.
- Vysoké riziko — čokoľvek, čo ide klientovi ako záväzná informácia, právny či daňový výklad, finančné údaje. Tu je nevyhnutný podpis človeka a ideálne aj dohľadateľnosť, z akého zdroja údaj pochádza.
Toto rozdelenie robíme pre každý scenár už v audite — výsledkom je aj risk mapa, ktorá hovorí, kde sú kvalitatívne a compliance riziká a ako ich minimalizovať.
Interné kontroly, ktoré reálne fungujú
Overovanie nie je o nedôvere k technológii, ale o profesionalite. Tu sú postupy, ktoré sa v praxi osvedčili:
Človek na konci (human-in-the-loop)
Pri všetkom, čo opúšťa firmu alebo má následky, drží posledný podpis človek. AI pripraví, človek schváli. Tým sa nestráca úspora času — príprava je drahá časť, kontrola je rýchla — a zároveň sa eliminuje najväčšie riziko.
Odpovede naviazané na zdroj
Pri Q&A nad firemnými dokumentmi (RAG) nastavujeme asistenta tak, aby pri odpovedi uvádzal, z ktorého dokumentu čerpá. Kontrolujúci tak nemusí veriť, ale vie si odpoveď overiť na zdroji za pár sekúnd.
Inštrukcia "radšej priznaj, že nevieš"
Dobre navrhnutý prompt explicitne hovorí modelu, aby pri chýbajúcich podkladoch nepriznané neodhadoval, ale jasne uviedol, že informáciu nemá. Znie to triviálne, ale rozdiel v praxi je veľký.
Aktuálna a upratná znalostná báza
Polovica halucinácií v praxi nie sú výmysly, ale verné citácie zo zastaraného dokumentu. Pravidelná údržba podkladov je preto súčasť kontroly kvality, nie samostatná aktivita.
Náhodné kontroly a spätná väzba
Aj pri zabehnutom procese sa oplatí občas skontrolovať vzorku výstupov a zbierať od tímu prípady, keď AI "vystrelila vedľa". Z toho sa ladia prompty aj inštrukcie.
Časté omyly pri zavádzaní
Z praxe vidíme opakovane tie isté chyby. Prvou je slepá dôvera — "veď to vyzerá správne" nie je kontrola. Druhou je opačný extrém, keď firma kontroluje úplne všetko vrátane nízkorizikových draftov, čím zabije úsporu času. Tretia je presvedčenie, že problém vyrieši lepší model. Aj ten najlepší model halucinuje; rozdiel robí proces okolo neho. A štvrtou je miešanie citlivých dát do nástrojov bez ošetrenia — to už nie je otázka presnosti, ale GDPR a dôvernosti.
Overovanie je súčasť návrhu, nie dodatok
Dobre nasadená AI nie je tá, ktorá nikdy nespraví chybu — taká neexistuje. Je to tá, kde je chyba zachytená skôr, než spôsobí škodu. Práve preto navrhujeme procesy s overovaním zabudovaným od začiatku: každý scenár má priradenú mieru kontroly, asistenti naviazaní na zdroj a tím zaškolený na to, čomu veriť a čo si overiť. Výsledok je AI, ktorá šetrí hodiny a zároveň nezvyšuje riziko.
Nastavme overovanie pre Vaše procesy
Ak zvažujete AI v prostredí, kde záleží na presnosti — účtovníctvo, právo, klientská komunikácia — radi prejdeme Vaše scenáre a navrhneme k nim primerané kontroly. Dohodnite si bezplatnú 30-minútovú konzultáciu alebo si pozrite, čo zahŕňa AI audit vrátane risk mapy.