Je to teď tak trochu módní “zakazovat” ChatGPT přístup k obsahu, aby ho nemohla použít. Udělat to jde poměrně snadno, protože OpenAI respektuje zákaz indexování v robots.txt.
User agent pro crawler (robota) je GPTBot a do robots.txt můžete přidat dvě řádky pro kompletní zákaz přístupu:
User-agent: GPTBotDisallow: /
Můžete případně i zakázat několik rozsahů IP adres.
Zakázat můžete přístup i pluginům, ty používají user agent ChatGPT-user – tím ale znemožníte uživateli načíst data a je to velmi nepraktický nápad.
TIP: robots.txt? K čemu něco takového je? A proč je to užitečné?
Google Bard používá user agent Googlebot-Bard a v září 2023 Google oznámil použití Google-Extended
Bing používá BingBot
Proč nezakazovat
Můžete samozřejmě ChatGPT znemožnit přístup a tím zamezit zahrnutí do znalostí (LLM), ale celé je to také hodně nepraktické.
Především byste museli znemožnit přístup všem dalším LLM, takže nebudete dělat nic jiného, než postupně blokovat. Zamezíte ale nikdy přístup těm, které prostě robots.txt nepoužívají a/nebo nemají zájem nějaké vaše zákazy respektovat.
Ve výsledku tak nakonec OpenAI se zodpovědným přístupem bude doplácet na to, že se najde dostatek dalších LLM, které na to prostě jdou silou.
LLM navíc nefungují tak, že dokáží přesně reproduktovat konkrétní texty z určité konkrétní adresy.
