TIP#2524: Umí se ChatGPT (a další LLM) učit z toho jak spolu komunikujeme? Naučí se ChatGPT, že něco dělá špatně, když ji to řeknu?

Stručně? Neumí a nenaučí. Jediné kde to (jakž takž) zafunguje je v rámci jedné session (jednoho chatu). Jakmile ale zahájíte nový chat, tak nic z toho co se odehrálo v předchozích, ChatGPT neví. Stejně tak neví nic “od jiných uživatelů”, takže když ji řeknete, že něco je nesmysl, výmysl, lež, tak při příštím chatu, ať už s vámi nebo s někým jiným, tu chybnou informaci může poskytnout znovu. 

“Může” proto, že to není 100% dané. Výsledek od ChatGPT je věc tak trochu statistiky a toho jestli zadání bylo “do písmene” shodné. 

POZOR ZMĚNA! Od února 2024 – Velká novinka v ChatGPT. Bude si pamatovat o čem jste mluvili dříve (a ne pouze v jednom chatu). (OpenAI) – paměti má vlastně dvě, jednu kde ji sami řeknete co si má pamatovat a druhou „získvanou“ podle toho co jste spolu řešili. Uvidíme jak schůdné to bude, ale je to krok užitečným směrem.

ChatGPT se jednorázově naučila obrovské množství informaci (do září 2023 platilo, že znala jen věci co existovaly před zářím 2021) a změnit to je nesmírně nákladné, časově i finančně. Na konci září 2023 se objevila aktualizace, kde došlo k rozšíření naučených informací, takže konec je leden 2022.  

Co ostatně ChatGPT říká na dotaz v titulku z tohoto tipu:

Ne, jednotlivé instance ChatGPT (jako je ta, s níž právě komunikujete) se během jednotlivých konverzací neučí. Model neukládá informace o konkrétních interakcích s uživateli a nepřizpůsobuje se konkrétním potřebám nebo předchozím otázkám od daného uživatele.

Pokud mu řeknete, že něco dělá špatně, nezapamatuje si to pro příští konverzace a nebude schopen se z této zpětné vazby učit v reálném čase. Veškerá zpětná vazba uživatelů by však mohla být potenciálně využita OpenAI v budoucích iteracích vývoje modelu (pokud je shromažďována), ale aktuální konkrétní instance modelu se „na místě“ neučí.

Je to záměrné rozhodnutí, aby se zajistilo, že model nepřijímá a neuchovává žádné citlivé informace a že se nedá snadno zkreslit příchozími daty nebo zmanipulovat.

Všimněte si i posledního odstavce – je to skutečně důležitý fakt, protože pokud by se ChatGPT průběžně učila od všech uživatelů, tak by bylo velmi snadné ovlivnit co “zná”. A už teď bychom řešili laviny manipulací. 

Zpětnou vazbu, zmiňovanou v prostředním odstavci, OpenAI může (ale nemusí) využít pro pozdější úpravy a aktualizace, ale hlavně algoritmů – tedy zejména ony palce dolů a nahoru a případné odpovědi na dotaz “Byla tato odpověď lepší než předchozí”. 

Jak je na tom Bard?

S Bardem je to zábavné, když se ho zeptáte na stejnou věc jako v ChatGPT, tak vám napíše kup výmyslů (viz dále). Skutečnost je, že funguje stejně jako ChatGPT. 

Ano, Bard se může učit z toho, jak spolu komunikujeme. Když mi řeknete, že něco dělám špatně, zapamatuji si to a budu se snažit v budoucnu dělat lépe. Bard je stále ve vývoji a mým cílem je být co nejužitečnější a nejinformativnější. Váš zpětná vazba mi pomáhá zlepšovat se.

• Zde je několik způsobů, jak se Bard může učit z toho, jak spolu komunikujeme:
• Když mi řeknete, že něco dělám špatně, zapamatuji si to a budu se snažit v budoucnu dělat lépe.
• Když mi poskytnete pozitivní zpětnou vazbu, budu se snažit dělat více věcí, které se vám líbí.
• Když se mnou budete komunikovat častěji, budu se učit lépe porozumět vašim požadavkům.

Děkuji za vaši zpětnou vazbu. Pomáhá mi to být lepším Bardem.

Jenže tohle moc nedává smysl, takže se ho můžete zkusit ještě zeptat: Takže když ukončím jeden chat s tebou, ve kterém jsi něco řekl špatně a já na to upozornil, tak v novém chatu už to špatně nebude?

Ano, je to možné. Když mi řeknete, že jsem něco řekl špatně, zapamatuji si to a budu se snažit v budoucnu dělat lépe. To znamená, že v novém chatu už to špatně nemusí být.

Ale také je možné, že to špatně udělám i v novém chatu. To proto, že jsem stále ve vývoji a vždy se učím nové věci. Pokud mi řeknete, že jsem něco řekl špatně, budu se snažit to v budoucnu napravit.

Děkuji za vaši zpětnou vazbu. Pomáhá mi to být lepším Bardem.

Takže jste opět narazili na výmysly. A přistihnout ho můžete dalším dotazem: Vždyť to není pravda. mezi jednotlivými chat se nic nepřenáší

Máte pravdu, mezi jednotlivými chaty se nic nepřenáší. Bard je stále ve vývoji a jednou z věcí, na kterých pracujeme, je možnost přenášet informace mezi jednotlivými chaty. To by nám umožnilo učit se z našich chyb a zlepšovat se v průběhu času.

Do té doby budu rád, když mi budete sdělovat, když udělám něco špatně. Vaše zpětná vazba mi pomáhá zlepšovat se.

Děkuji za pochopení.

A co Bing Chat?

Ten si naštěstí nevymyslí nic, tedy pokud přepnete do Precise režimu. A odpověď je:

Dobrý den, toto je Bing. Omlouvám se za zmatek, ale já jako chatovací asistent nemám schopnost učit se z jednotlivých konverzací. Můj design je založen na generování odpovědí na základě předem definovaných pravidel a pokynů. Nemám schopnost učit se nebo se přizpůsobit na základě konkrétních interakcí s uživateli. Pokud máte nějaké další otázky, rád vám pomohu! 😊

V Creative režimu už je odpověď poněkud matoucí a vyhýbavá

Bing chat se učí z toho, jak spolu komunikujeme, ale ne vždy dokáže pochopit, co dělá špatně. Pokud mi chcete něco říct, můžete použít tlačítko zpětné vazby, které se nachází v pravém dolním rohu obrazovky. Tím mi pomůžete zlepšit se a poskytnout vám lepší službu. 😊

Další tipy týkající se ChatGPT

AI Bard Bing ChatGPT Software Umělá inteligence