Svět dobývají algoritmy strojového učení, neboli umělá inteligence (AI). Jednou z oblastí, kde AI ukazuje výrazný potenciál, jsou chatboti určení ke generování textu.

Tím nejznámějším je ChatGPT (Generative Pre-trained Transformer), spuštěný firmou OpenAI v listopadu 2022, a postaven na rodině velkých jazykových modelů této firmy GPT-3.

Na to, jak funguje a jaká bezpečnostní rizika přináší v dnešních dnech hojně diskutovaný ChatGPT, a jaké druhy protiopatření jsou možná, jsme se zeptali Chestera Wisniewskiho, hlavního bezpečnostního analytika společnosti Sophos.

Jak dobře s ohledem na možná bezpečností rizika ChatGPT funguje?

ChatGPT funguje překvapivě dobře například při psaní phishingových návnad, což se dalo očekávat s ohledem na výsledky experimentů, v rámci kterých jsme ho nechali psát dopisy, e-maily atd.

Phishingová návnada se od skutečného e-mailu liší vlastně jen akcí, která se od příjemce na konci očekává.

Možnost interakce s ChatGPT, která trochu vyladí sociální inženýrství, v kombinaci s jeho téměř dokonalou gramatikou z něj dělá ideální nástroj pro ty, kteří se snaží psát anglicky tak, aby text zněl jako od rodilého mluvčího, přestože že sami anglicky neumí.

Mohlo by to pomoci podvodníkům a botům nebo k vytváření falešných recenzí apod.?

Rozhodně ano. Kdybych se v této oblasti angažoval já, mou prioritou by bylo získat klíč k rozhraní API a začal bych jej zneužívat právě k tomuto účelu.

Vzhledem k nízké kvalitě mnoha existujících spamových či recenzentských botů lze takto dosáhnout mnohem lepšího výsledku s větší unikátností, než byste kdy mohli nakódovat sami ručně.

Jaké druhy protiopatření jsou možné?

To je zajímavá otázka. Výzkumníci z Hugging Face vytvořili detektor GPT-2, který měl rozumnou přesnost, což naznačuje, že by mohl existovat způsob, jak detekovat text generovaný tímto konkrétním modelem s poměrně vysokou přesností.

Samozřejmě, pokud začnou marketingové týmy používat ChatGPT3 k psaní reklamních textů, mohlo by jim to komplikovat blokování textu, u kterého je vysoká pravděpodobnost, že byl vygenerován umělou inteligencí (ale nebo taky ne…).

Většina podvodů obsahuje nějakou „výzvu k akci“. Klikněte zde, otevřete toto, zavolejte na toto číslo atd. Možná tedy bude jednodušší zaměřit naše technické detekce spíše na tyto výzvy k akci než na samotný obsah e-mailu.

Detekce je značně složitá, protože end-to-end šifrované chaty v rámci služeb, jako jsou WhatsApp a Signal, nelze filtrovat stejným způsobem, jakým můžeme filtrovat nechráněné zprávy, například e-maily.

Můžeme ale s jistotou říci, že dny, kdy jsme se spoléhali na uživatele, že podvodné zprávy odhalí a budou je ignorovat, jsou pryč.