Dokáže si lidstvo udržet kontrolu nad stále schopnější umělou inteligencí? A co musí technologické společnosti dělat, aby se rizika spojená s autonomnějšími AI systémy nestala překážkou jejich přínosného využití? O těchto otázkách diskutovali v pořadu Pro a proti Českého rozhlasu Plus Dalibor Kačmář, ředitel pro technologie a bezpečnost české a slovenské pobočky Microsoftu, a odborník na umělou inteligenci Josef Holý.
Debatu vyvolal nedávný incident během testování AI systémů, který ukázal, že pokročilé modely mohou za určitých podmínek obejít nastavená technická omezení nebo využít nepředpokládané komunikační cesty. Podle Dalibora Kačmáře nejde o důvod vývoj AI zastavit, ale o důležité upozornění, že s rostoucími schopnostmi těchto systémů musí stejně rychle růst také kvalita jejich zabezpečení, testování a kontroly.
„Myslím si, že je to stále bezpečný projekt. Ale je důležité se věnovat právě rizikům nebo situacím, kdy by se použití umělé inteligence mohlo dostat mimo naši kontrolu anebo překonat překážky, které jí klademe při používání nebo v testovacích scénářích,“ uvedl Dalibor Kačmář.
Také Josef Holý označil vývoj AI za relativně bezpečný, současně však zdůraznil potřebu větší transparentnosti a tlaku na technologické společnosti, aby bezpečnostní zásady důsledně dodržovaly. Upozornil také na vysokou komplexitu velkých jazykových modelů a na skutečnost, že jejich fungování zatím neumíme ve všech situacích přesně předvídat.
Bezpečnost musí vznikat společně s technologií
Zkušenosti z testování ukazují, že bezpečnost AI není možné přidat až k hotovému produktu. Musí být součástí celého životního cyklu systému, od jeho návrhu a vývoje přes testování až po každodenní provoz. S rostoucím využíváním AI agentů proto nabývají na významu technické pojistky, jasně vymezené cíle, průběžný monitoring a možnost lidského zásahu.
Právě tato kombinace umožňuje organizacím využívat potenciál AI s důvěrou. Nejde o volbu mezi rychlostí inovací a bezpečností. Odpovědné řízení rizik je podmínkou toho, aby bylo možné AI spolehlivě nasazovat ve firmách, veřejné správě i dalších oblastech, kde její rozhodování může ovlivňovat lidi, data a důležité procesy.
Odpovědnost zůstává na lidech a organizacích
AI systémy mohou být stále schopnější a samostatnější, odpovědnost za jejich cíle, pravidla a používání ale zůstává na lidech a organizacích, které je vytvářejí a nasazují. Technologické společnosti proto musí otevřeně upozorňovat nejen na přínosy, ale také na omezení a rizika svých systémů a průběžně ověřovat jejich chování.
Debata v Českém rozhlase ukázala, že upozorňování na rizika není argumentem proti inovacím. Naopak je předpokladem toho, aby si umělá inteligence získala dlouhodobou důvěru lidí, firem i veřejných institucí. Budoucnost AI proto nestojí na volbě mezi technologickým pokrokem a bezpečností, ale na schopnosti obojí důsledně propojit.
Celý rozhovor v pořadu Pro a proti si můžete poslechnout na YouTube kanálu Českého rozhlasu Plus.