Sebejistota nic neříká o pravdě
Jazykový model zní úplně stejně sebejistě, ať odpovídá správně, nebo si celou odpověď vymyslí. Nezaváhá, nezačne větu slovy „nejsem si jistý“, pokud ho k tomu výslovně nevybídnete, a klidně dovysvětlí i podrobnosti k tvrzení, které nikdy nebylo pravdivé. Tohle je první věc, kterou lidem na školeních říkáme, a je to zároveň nejdůležitější věc z celého textu: tón odpovědi je k ověřování výstupu nepoužitelný ukazatel.
Znamená to, že se modelu nedá věřit vůbec? Ne. Znamená to, že důvěra musí stát na něčem jiném než na tom, jak sebejistě model zní. Tenhle text popisuje šest konkrétních způsobů, jak to poznat, aniž byste museli být experti na dané téma.
Proč k tomu vůbec dochází
Jazykový model negeneruje odpověď tak, že by ji vyhledal a ověřil jako v encyklopedii. Předpovídá, jaké slovo pravděpodobně následuje po předchozích, na základě toho, co se naučil z obrovského množství textu. U běžných otázek to funguje spolehlivě, protože správná odpověď je zároveň ta nejpravděpodobnější. U méně častých faktů, přesných čísel nebo konkrétních citací ale model někdy doplní to, co „zní správně“, ne to, co je ověřitelně pravda. Tomuhle jevu se říká halucinace, a je to vlastnost způsobu, jakým model pracuje, ne chyba, která se dá jednou provždy opravit aktualizací.
Šest způsobů, jak výstup ověřit
1. Nechte si ukázat zdroj a ten zdroj skutečně otevřete. Řekněte modelu, ať uvede, odkud tvrzení bere. Pak odkaz otevřete a zkontrolujte, že tam dané tvrzení skutečně je. Modely dokážou vymyslet odkaz stejně přesvědčivě jako číslo, takže samotné uvedení zdroje bez kontroly nic neřeší.
2. U čísel používejte kontrolní součet. Kdekoli existuje matematický vztah mezi hodnotami, použijte ho jako past na chybu. U faktur, kterým jsme se věnovali v textu o převodu PDF do Excelu, to je pravidlo, že základ daně plus daň se musí rovnat celkové částce. Kdekoli podobný vztah existuje, funguje stejně dobře.
3. Zeptejte se znovu, jinak formulovanou otázkou. Pokud model odpoví na stejnou věc podruhé jinak, je to signál, že si u prvního pokusu něco domyslel. Shoda mezi dvěma různě položenými otázkami není důkaz pravdy, ale neshoda je spolehlivý důkaz nejistoty.
4. Všímejte si přílišné konkrétnosti bez zdroje. Přesné datum, konkrétní číslo jednací nebo jméno, které model uvede bez toho, aby řekl odkud, bývá častěji vymyšlené než ověřené. Paradoxně čím konkrétnější detail, tím větší důvod k opatrnosti, pokud za ním nestojí ověřitelný zdroj.
5. Zkontrolujte vnitřní konzistenci dokumentu. V delším textu porovnejte, jestli se stejné číslo nebo jméno objevuje stejně na začátku i na konci. Model občas v průběhu dlouhé odpovědi „zapomene“, co napsal dřív, a údaje se rozejdou.
6. U odborného nebo závazného textu si nechte zkontrolovat vzorek člověkem, který se v oboru vyzná. Nejde o to přečíst znovu celý dokument, ale vybrat namátkově pár tvrzení a nechat je posoudit odborně. U právních, zdravotnických nebo účetních textů tenhle krok nevynechávejte, ať je model sebejistý sebevíc.
Varovné signály v přehledu
| Signál | Co znamená |
|---|---|
| Model uvádí přesné číslo bez zdroje | Zvýšené riziko, že si ho domyslel |
| Odkaz na zdroj nejde otevřít nebo tvrzení neobsahuje | Skoro jistý signál chyby |
| Odpověď na stejnou otázku se podruhé liší | Model si u aspoň jedné verze něco domyslel |
| Čísla v dokumentu si navzájem neodpovídají | Chyba v konzistenci, možná i ve faktech |
| Odpověď zní stejně sebejistě u jednoduché i složité otázky | Tón nelze použít jako ukazatel spolehlivosti |
Kde se chyby objevují nejčastěji
Ze zkušenosti ze školení se chyby soustředí do několika opakujících se typů. Citace a odkazy, tedy přesně ta místa, kde by ověření mělo být nejsnazší, protože stačí kliknout, a přitom se právě tam nejčastěji nekontrolují, protože působí důvěryhodně samy o sobě. Zastaralé informace podávané jako aktuální, typicky ceny, sazby nebo termíny, které se v mezičase změnily, ale model se učil na starších datech. Přehozená čísla, záměna podobných hodnot nebo posun o jeden řádek v tabulce. Domyšlené detaily v jinak správné odpovědi, kdy je devadesát procent textu v pořádku a jedna věta uprostřed je vymyšlená, což ji činí obtížněji odhalitelnou než odpověď špatnou od začátku do konce.
Jak z toho udělat zvyk týmu, ne jednorázové poučení
Jedno školení o ověřování výstupu lidem otevře oči na hodinu, ne natrvalo. Co drží dlouhodobě, je konkrétní návyk zabudovaný do běžné práce, ne obecné doporučení „buďte opatrní“.
Osvědčuje se přiřadit ověřování ke konkrétnímu kroku pracovního postupu, ne nechat ho na dobré vůli jednotlivce. Kdo připravuje nabídku pomocí jazykového modelu, má pravidlo, že čísla v ní porovná s ceníkem, než ji odešle. Kdo z modelu čerpá podklad pro rozhodnutí, má pravidlo, že u klíčového tvrzení otevře uvedený zdroj. Když je krok pojmenovaný a je jasné, kdo ho dělá, stane se součástí práce, ne úkolem navíc, na který se ve spěchu zapomene.
Pomáhá i to, když se ve firmě otevřeně mluví o chybách, které se stanou. Tým, kde se přizná „tady mě model napálil a takhle jsem na to přišel“, se z chyby poučí rychleji než tým, kde se podobné historky tají, protože přiznat chybu vypadá trapně.
Nástroje, které pomáhají, ale nenahradí kontrolu
Existují způsoby, jak si ověřování usnadnit technicky, třeba nechat model, aby k tvrzení sám přidal odkaz na zdroj, ze kterého čerpal, nebo použít verzi nástroje, která má přístup k aktuálnímu vyhledávání na webu místo jen k datům, na kterých se učila. Obojí riziko sníží, žádné to ale nezruší úplně. I model s přístupem na web dokáže zdroj vyložit nepřesně nebo si část odpovědi domyslet mimo to, co ve zdroji skutečně stálo.
Co dělat, když sami nejste odborník na dané téma
Tohle je nejčastější námitka na školeních: jak mám ověřit odpověď o smluvním právu, když nejsem právník? Odpověď není naučit se právo, ale ověřit to, co ověřit jde i bez odborných znalostí. Funguje matematika a kontrolní součty. Funguje otevření uvedeného zdroje. Funguje srovnání odpovědi na stejnou otázku položenou dvakrát jinak. A funguje přiznání, že u skutečně důležitého rozhodnutí, ať právního, zdravotního nebo finančního, patří na konec procesu člověk, který se v oboru vyzná, i kdyby šlo jen o kontrolu na vzorku.
Tenhle přístup má i praktický důsledek pro data, která do nástroje vůbec vkládáte. Souvisí to s tím, o čem píšeme v textu o bezpečnosti ChatGPT: ověřování výstupu a opatrnost při vkládání dat jsou dvě strany téhož návyku, ne dva oddělené problémy.
Kde v tom stojíme my
Neslibujeme, že jde chybu odstranit jednou technikou nebo lepším nastavením modelu. Slibujeme, že se dá naučit, kde chybu hledat, a že tahle dovednost jde natrénovat na konkrétní práci, kterou lidé ve firmě dělají.
V padesátihodinovém kurzu AI pro zaměstnance je ověřování výstupu samostatné cvičení a probíhá na dokumentech konkrétní firmy, ne na obecných příkladech. Při schválené žádosti kurz hradí program Úřadu práce, kolik z ceny pokryje ve vašem případě, spočítáme písemně dopředu.
Časté dotazy
O autorovi
Lektor firemních kurzů AI
Bývalý pedagog, dnes vývojář a expert Inovačního centra Ústeckého kraje. Proškolil stovky pedagogů a stovky zaměstnanců firem.
- AI automatizace
- Interní nástroje
- Digitální gramotnost