TIP#2470: Jak se vyrovnat s omezením počtu znaků v ChatGPT?

ChatGPT má jedno zásadní omezení při používání, omezený počet znaků v komunikaci mezi vámi a AI. Pro neplacenou verzi jde o 4096 znaků rozdělených rovnoměrně mezi to co můžete odeslat (vstup) a to co dostanete (výstup). 

Znamená to, že nemůžete dostat výstup delší než 2048 znaků a navýšit není jak. Nutno dodat, že omezení mají i ostatní AI, některá dokonce ještě nižší. Celé je to navíc komplikované tím, že nejde striktně o počet znaků, ale o interní reprezentaci “slov” (přesněji tokeny), podobně jako je tomu u zpoplatnění API. Ale pro zjednodušení můžeme zůstat u počtu znaků.

Placena ChatGPT má pro GPT-4 omezení dvojnásobné, tedy 8192 znaků, tedy 4096 pro vstup a 4096 pro výstup. 

Jak se s omezení, vyrovnat?

Především, když ChatGPT přestane vytvářet výstup, tak je zpravidla možné kliknout na Continue a AI bude plynule pokračovat. Stejně tak ji často prostě můžete říci “Pokračuj” a ona naváže a bude skutečně pokračovat. Pokud by se nechytala, tak pomáhá “Pokračuj” s připojenou poslední větou. 

ChatGPT má tendenci být obludně ukecaná, takže se vyplatí už v zadání chtit “buď stručná” (“be concise”), určovat že chcete “krátký článek/příspěvek”. Někde se tvrdí, že si můžete říci o konkrétní počet znaků či slov, ale takto to nefunguje. ChatGPT nedokáže vytvářet výstupy s konkrétním počtem znaků ani slov.

Konverzaci můžete rozdělit do bloků a můžete si i pomoci tím, nejprve necháte vytvořit něco jako obsah, body/témata, která bude (například) článek řešit. Jde o konverzační AI, takže můžete požádat aby zpracovávané téma psala postupně. 

Omezení, jak už bylo zmíněno, platí i na vstup, takže tam prostě nemůžete vpustit více 2048 znaků. Opět je to řešitelné tím, že budete struční a dobře se ptát, ale také že zadání budete pouštět postupně, dávkovat. Stačí AI říct, že se chystáte ji “učit” z řady příkladů a výstup chcete až poté co skončíte s příklady a řeknete si o výstup.

Důležitá je i volba jazyka, protože nejde vyloženě o počet znaků ale „slov“, tak čeština bývá mírně v nevýhoda, texty bývají delší než anglické. Ostatně v ještě větší nevýhodě jsou jazyka jako mandarínština či korejština. 

Pozor i na to, že generování příliš dlouhých výstupů bude znamenat, že se postupně ztratí kontext. Ten se udržuje u několika tisíc posledních znaků. V praxi to znamená, že AI “zapomene” některé informace z dřívějších částí textu. 

Jak je to v jiných AI?

Bard uvádí, že limit počtu znaků na vstupu a výstupu je 5 000. I zde je to společně. 

Bing Chat suverénně tvrdí, že “Vstupní zprávy uživatele nemají žádný pevný limit počtu znaků, ale doporučuji, aby byly co nejstručnější a jasné. Výstupní zprávy mohou být omezeny vzhledem k omezené velikosti obrazovky”, což je samozřejmě jen halucinace. Bing Chat je založený na ChatGPT 3.5. Microsoft už ale dříve uvedl, že původní omezení na 2 000 znaků zvedl na 4 000.

Další tipy týkající se ChatGPT

AI Bard Bing ChatGPT Software Umělá inteligence