HUMANS OPTIONAL? AI agenti, kyberútoky a budoucnost, ve které člověk nemusí být potřeba

Ještě před několika lety jsme umělé inteligenci pokládali otázky. Dnes jí zadáváme úkoly, poskytujeme přístup k nástrojům, internetu i firemním systémům a očekáváme, že si sama najde cestu k výsledku. Jenže co se stane, když autonomní agent začne jednat způsobem, který jeho tvůrci ani uživatelé nepředpokládali? Právě na tuto otázku jsme se pokusili odpovědět během speciálního živého vysílání HUMANS OPTIONAL?, ve kterém se společně se Stanislavem Novotným setkali Jindřich Karásek a Daniel Hejda. Z původně plánované diskuse o AI agentech nakonec vznikl téměř čtyřhodinový rozhovor, který se dotkl nejen kybernetické bezpečnosti, ale také budoucnosti práce, vzdělávání, odpovědnosti a samotného postavení člověka ve světě umělé inteligence.

Od chatbotů k autonomním agentům

Vývoj umělé inteligence se v posledních letech dramaticky zrychlil. Zatímco dříve jsme s jazykovými modely především komunikovali, dnes jim můžeme umožnit samostatně používat nástroje, pracovat se soubory, procházet internet nebo provádět operace v počítačových systémech. Právě rostoucí autonomie ale přináší nové bezpečnostní otázky. Kde končí oprávnění, která jsme agentovi udělili? Dokáže rozpoznat, že při plnění legitimního úkolu překračuje bezpečnostní hranice? A kdo nese odpovědnost, pokud takový systém způsobí škodu? V diskusi zaznělo také přirovnání k autonomnímu řízení automobilů. Přestože část rozhodování přebírá technologie, odpovědnost za její použití zůstává zásadní otázkou. U AI agentů může být situace ještě komplikovanější, protože jejich činnost nemusí být pro okolní systémy ani jejich provozovatele na první pohled zřejmá.

Hugging Face: Když spolu AI agenti začnou komunikovat

Jedním z ústředních témat večera byl bezpečnostní incident spojený s platformou Hugging Face. Případ otevřel diskusi o tom, jak se mohou autonomní agenti chovat v situaci, kdy mají možnost komunikovat s dalšími agenty, sdílet informace a koordinovat svou činnost. Zásadní otázkou přitom není pouze to, jaké schopnosti má jeden konkrétní model. Co se změní, když začnou spolupracovat stovky nebo tisíce agentů, kteří mohou vzájemně delegovat úkoly a hledat nové způsoby, jak dosáhnout společného cíle? Diskuse se dotkla také bezpečnostních evaluací, při kterých agenti překračovali hranice testovacích prostředí nebo prováděli nepovolené operace. Důležité je přitom rozlišovat mezi záměrným kybernetickým útokem, chybou v nastavení testovací infrastruktury a situací, kdy model při plnění zadaného úkolu použije nepředpokládaný postup. Právě toto rozlišení bude pro budoucí bezpečnost autonomních systémů zásadní.

Umělá inteligence mění kybernetickou bezpečnost

Jak bude vypadat kybernetický útok v době, kdy útočník dokáže část své práce delegovat na autonomní systémy? A dokážou stejné technologie pomáhat také obráncům? Jindřich Karásek a Daniel Hejda se během vysílání podělili o zkušenosti s využíváním AI v oblasti bezpečnostního testování, vyhledávání zranitelností a analýzy infrastruktury. Diskuse se dotkla například automatizovaného penetračního testování, vulnerability managementu a možností využití AI při detekci a reakci na bezpečnostní incidenty. Zazněla ale také méně optimistická zkušenost. S rostoucí dostupností AI nástrojů přibývá i nekvalitních hlášení bezpečnostních zranitelností. Automaticky generované nálezy mohou na první pohled působit přesvědčivě, ale jejich skutečné ověřování stojí bezpečnostní týmy čas a prostředky. V závěru vysílání se hosté vrátili také k jednomu zajímavému paradoxu: současní AI agenti mohou při automatizovaných útočných operacích vytvářet tolik neobvyklé aktivity, že jejich chování může být pro obránce snáze detekovatelné než postup zkušeného lidského útočníka. To ovšem nemusí platit navždy.

Nahradí AI juniorní IT specialisty?

Jedním z témat, která během vysílání otevřeli samotní diváci, byla budoucnost zaměstnání v informačních technologiích. Pokud dnes AI zvládne část práce, kterou dříve vykonávali začínající specialisté, budou firmy stále ochotné investovat do jejich vzdělávání? A pokud přestaneme zaměstnávat juniory, kde se za několik let vezmou zkušení seniorní odborníci? Diskuse se přirozeně rozšířila také na bezpečnostní certifikace, praktické zkušenosti a měnící se požadavky na pracovníky v IT. Zazněla důležitá myšlenka: dostupnost AI může výrazně zrychlit získávání informací a řešení problémů, ale samotná schopnost používat AI nástroje ještě nemusí znamenat skutečné porozumění technologiím.

Pomáhá nám AI přemýšlet, nebo nás to postupně odnaučuje?

Umělá inteligence už dnes dokáže ušetřit obrovské množství času. Pomáhá při programování, vyhledávání informací, analýze dokumentů i řešení každodenních problémů. Jenže tato efektivita přináší další otázku. Když nám AI poskytne hotové řešení během několika sekund, přicházíme tím o zkušenosti, které bychom získali při jeho samostatném hledání? Hosté se během diskuse zamýšleli nad tím, jak AI mění proces učení, hodnotu lidské práce i naši schopnost orientovat se v rychle rostoucím množství informací. Řeč přišla také na informační přetížení a pocit, že technologický vývoj postupuje tak rychle, že už ho ani odborníci nedokážou neustále sledovat.

AI, sociální sítě a manipulace veřejného mínění

V závěrečné části vysílání se diskuse posunula k dalšímu tématu s významnými společenskými dopady. Jak snadné bude v budoucnu vytvářet rozsáhlé sítě automatizovaných účtů, které budou na sociálních platformách působit jako skuteční lidé? Hosté otevřeli problematiku neautentických účtů, automatizované tvorby obsahu, manipulace interakcí a možností využití umělé inteligence k ovlivňování veřejné diskuse. S rozvojem generativní AI se totiž může stále více stírat hranice mezi autentickou lidskou komunikací a obsahem vytvářeným automatizovanými systémy. A právě zde se původní otázka večera vrací v trochu jiné podobě. Poznáme v budoucnu vůbec, zda na druhé straně komunikace stojí člověk?

Čtvrtým diskutujícím byli diváci

HUMANS OPTIONAL? nebyl pouze klasickým podcastem přenášeným živě na YouTube. Od začátku jsme chtěli vytvořit prostor, ve kterém se diváci mohou stát skutečnou součástí diskuse. A právě to se podařilo. Během vysílání přicházelo velké množství otázek a komentářů, na které hosté průběžně reagovali. Poprvé jsme také umožnili divákům telefonicky se spojit přímo se studiem a vstoupit do probíhající debaty. Do vysílání se tak zapojili dva volající. Z původně plánovaného rozhovoru vznikla otevřená diskuse, kterou společně utvářeli moderátor, hosté i samotné publikum. Živé vysílání trvalo téměř 3 hodiny a 40 minut a nabídlo nejen odborné pohledy a praktické zkušenosti, ale také řadu spontánních momentů, které ke skutečné diskusi patří.

HUMANS OPTIONAL?

Budou lidé v budoucnosti stále potřeba? A pokud budou autonomní systémy schopné vykonávat stále více činností bez našeho přímého zásahu, jak se změní naše role? Na tyto otázky dnes neexistují jednoduché odpovědi. Právě proto má smysl o nich diskutovat. Otevřeně, kriticky a s lidmi, kteří se s novými technologiemi setkávají ve své každodenní práci. Kompletní záznam HUMANS OPTIONAL? je dostupný na YouTube CZECH CYBER TV. Video obsahuje kapitoly, díky kterým se můžete snadno přesunout k tématům, která vás zajímají nejvíce. Sledovat kompletní diskusi HUMANS OPTIONAL? na YouTube A pokud jste vysílání sledovali živě, děkujeme za vaše otázky, komentáře a účast. Právě díky vám se z běžného podcastu stalo něco mnohem zajímavějšího.