Newsletter 365tipů můžete číst zdarma. Placené předplatné je dobrovolná podpora, která pomáhá webu pokračovat.
Podpořit 365tipů

TIP#2502: Jak je možné OpenAI/Bard říci, že nesmí přistupovat k vašemu obsahu pro zahrnutí do ChatGPT/Bardu. A proč to je to ničemu

Je to teď tak trochu módní “zakazovat” ChatGPT přístup k obsahu, aby ho nemohla použít. Udělat to jde poměrně snadno, protože OpenAI respektuje zákaz indexování v robots.txt. 

User agent pro crawler (robota) je GPTBot  a do robots.txt můžete přidat dvě řádky pro kompletní zákaz přístupu:

User-agent: GPTBot
Disallow: /

Můžete případně i zakázat několik rozsahů IP adres

Zakázat můžete přístup i pluginům, ty používají user agent ChatGPT-user – tím ale znemožníte uživateli načíst data a je to velmi nepraktický nápad.

TIP: robots.txt? K čemu něco takového je? A proč je to užitečné?

Google Bard používá user agent Googlebot-Bard a v září 2023 Google oznámil použití Google-Extended

Bing používá BingBot

Proč nezakazovat

Můžete samozřejmě ChatGPT znemožnit přístup a tím zamezit zahrnutí do znalostí (LLM), ale celé je to také hodně nepraktické.

Především byste museli znemožnit přístup všem dalším LLM, takže nebudete dělat nic jiného, než postupně blokovat. Zamezíte ale nikdy přístup těm, které prostě robots.txt nepoužívají a/nebo nemají zájem nějaké vaše zákazy respektovat.

Ve výsledku tak nakonec OpenAI se zodpovědným přístupem bude doplácet na to, že se najde dostatek dalších LLM, které na to prostě jdou silou. 

LLM navíc nefungují tak, že dokáží přesně reproduktovat konkrétní texty z určité konkrétní adresy.