KOMENTÁŘ: Umělá inteligence vám sice poradí, ale do vězení za vás nepůjde

Z pasivních nástrojů, které jen plnily příkazy, se ale dnes stávají aktivní rádci. A tady narážíme na jeden zásadní problém, který v byznysu i v běžném IT provozu budeme muset brzy vyřešit: Kdo vlastně nese odpovědnost, když se člověk zachová podle toho, co mu poradí algoritmus?

Slepá důvěra v obrazovku

My v oboru IT a kyberbezpečnosti vidíme dnes a denně, jak funguje lidská psychika. Uživatel je v dobré víře schopen kliknout na úplně cokoliv, pokud to vypadá trochu oficiálně. A u AI je to podobné, odborně se tomu říká „automatizační zkreslení“. Lidé mají tendenci bezmezně věřit tomu, co jim zobrazí počítač. Když vám sebejistě znějící systém naservíruje hezký graf a jasné doporučení, mozek často vypne kritické myšlení a vezme to jako hotový fakt. Člověk se v tu chvíli stává jen takovým razítkovacím panákem. A to je obrovské riziko.

Podívejme se, jak to vypadá v praxi:

1. Byznys a management: Když řídí data
Firmy dnes masivně nasazují chytré systémy. AI analyzuje data a doporučuje, komu schválit úvěr, koho přijmout na pohovoru nebo jak rozložit rozpočet. Manažer je pod neustálým tlakem na výkon a efektivitu. Jít proti datům, která mu chytrý systém z cloudu naservíroval, znamená vzít na sebe osobní riziko omylu.

Ruku na srdce, legislativu nezajímá, že vám něco „poradila AI“. Zákon mluví jasně: za rozhodnutí nese odpovědnost vždy člověk, potažmo statutár. Tyhle systémy jsou často černou skříňkou. Manažer pořádně neví, jak přesně algoritmus k výsledku došel, ale pokud to firmu poškodí nebo to někoho zdiskriminuje, vyhazov nebo žalobu na stole bude mít on, ne nějaký server v datacentru.

2. Auta jako IT systémy na kolech
To je moje oblíbená oblast. Dnešní auta už nejsou jen primárně mechanické stroje, je to IT služba. Jsou to počítače na kolech, neustále napojené na servery výrobců. Automobilky do nich dávají chytré asistenty, které řidiče ukolébají do falešného pocitu bezpečí. Jenže u dnešních aut platí, že řidič musí dávat pozor a mít ruce na volantu. Pokud systém selže, vina jde za vámi, protože jste nestihli zareagovat. Skutečný zlom přijde až s plnou autonomií. Tam se už odpovědnost za nehodu logicky přesune z jednotlivce na výrobce auta a tvůrce softwaru. A to bude legislativní i pojišťovací oříšek, do kterého se zatím nikomu moc nechce.

3. Smart Home: Odevzdání klíčů softwaru
Lidé si doma zapojí chytrou domácnost, všechno nastaví a myslí si, že to bude bezúdržbově fungovat navěky. Spoléhají na to, že chytrá kamera s AI sama rozezná zloděje od kurýra. Když vám ale chytrý zámek pustí do baráku cizího člověka, protože aktualizace softwaru udělala někde chybu, odpovědnost se začne dělit. Byla to chyba vašeho nastavení, nebo to zkazil dodavatel kódu? Nebo je to dokonce kybernetický útok? 

Algoritmus za vás sedět nepůjde 

Nežijeme ve sci-fi. Umělá inteligence nenese následky, neplatí pokuty a nechodí do vězení. Je to „jen“ IT služba – skvělý sluha, ale nesmíme z něj dělat pána.

Pokud nechceme přijít o zdravý rozum a osobní odpovědnost, musí se koncept takzvaného „člověka ve smyčce“ stát naprostým standardem. AI nám má dodávat podklady a usnadňovat rutinu, ale to finální tlačítko, to opravdové rozhodnutí, musí vždycky udělat člověk. Jedině tak věci dávají smysl a jedině tak víme, kdo za co opravdu ručí.