TIP#3047: Časté chyby při práci s ChatGPT a LLM vůbec

Potkávám to často. U klientů, na školeních, ale i na sociálních sítích. Lidé si stěžují, že jim AI “nefunguje” nebo “nedělá co chtějí”. Většinou je to prosté. Chybu dělají oni, protože neví, jak AI/LLM funguje. 

Přitom je to vlastně docela snadné, stačí se vyvarovat některých věcí či držet určitých pravidel. Zde jsou ty nejčastější.

Multimodální asymetrie neboli neuvědomění si rozdílných schopností modelů – Claude výborně analyzuje obrázky, ale nemůže je generovat, ChatGPT má nejlepší audio podporu, Gemini nejlépe zpracovává video, ale má slabší kreativní výstupy. Šikovné čtení v ChatGPT vs Claude vs Gemini: The Best AI Model for Each Use Case in 2025

Ignorujete limity, tedy zejména maximální počet tokenů (kontext window). Do LLM se vám opravdu nevejdou stovky megabajtů textů/souborů. A také vám ten chat nevydrží věčně. Když dochází “místo”, tak LLM začíná fungovat zmateně. Další studium třeba v Context Degradation Syndrome: When Large Language Models Lose the Plot

Nedostatečně zadáváte co chcete. Jste příliš struční, vágní, neřeknete si striktně co opravdu chcete či co opravdu nechcete. Vícev LLM Prompting: How to Prompt LLMs for Best Results

Nadužívání role promptingu bez efektu. Mnoho uživatelů věří, že přiřazení role („Jsi expert na…“) automaticky zlepší výsledky. Výzkumy však ukazují, že role prompting často nepřináší očekávané zlepšení a může dokonce degradovat výkon u některých úkolů. Prima čtení v Basic Prompt Structure and Key Parts

Nesprávné použití Chain-of-Thought reasoning, tedy používání explicitních „krok za krokem“ instrukcí u reasoning (uvažujících) modelů, které mají tuto schopnost vestavěnou, nebo naopak opomíjení z standardních modelů při složitých úlohách. Více v Prompt Engineering with Reasoning Models

Přílišná komplexita bez struktury, snaha vtěsnat vše do jednoho komplexního promptu, místo jeho rozložení do jasně strukturovaných kroků s explicitním formátováním a pořadím instrukcí. Věděli jste, že můžete AI použít pro tvorbu promptů? A chcete-li další věci k naučení tak v Don’t Let Your LLM Hallucinate—Check Out These Prompting Rules and Methods!

Neefektivní “few-shot learning” s nevhodnými příklady. Používání příkladů, které nejsou dostatečně rozmanité nebo obsahují chyby. Přidávání příliš mnoha podobných příkladů může paradoxně zhoršit výkon modelu. Detaily v Diversity Over Quantity: A Lesson From Few Shot Relation Classification nebo The Few Shot Prompting Guide

„Prompt and pray“ přístup bez iterací, kde se spoléháte na první výsledek místo systematického iteračního zdokonalování promptu na základě získaných výsledků a zpětné vazby. Vhodné čtení najdete v Lessons From AI Researchers on Iterative Prompt Engineering

RAG (Retrieval Augmented Generation) místa selhání – sedm kritických problémů: missing content, missed top ranked documents, context blindness, first-person confusion, irelevantní retrieval kvůli špatné chunking strategii, hallucination z rozporuplných informací. Techničtější vysvětlení najdete v Seven Failure Points When Engineering a Retrieval Augmented Generation System

Přílišná důvěra v „halucinace”. LLM často generují přesvědčivě znějící, ale fakticky nesprávné informace nebo si vymýšlejí neexistující zdroje a citace. Líbit se vám určitě bude Co jsou halucinace LLM? Příčiny, etické obavy a prevence

Problematické citování zdrojů. AI systémy často poskytují neexistující nebo nepřesné citace a vytváří „ghost citations“ – smyšlené odkazy na články, které neexistují. Stejný dotaz může vést k identickým odpovědím s úplně odlišnými „zdroji. Hezké čtení v Fabrication and errors in the bibliographic citations generated by ChatGPT

Nepochopení systematické předpojatosti. AI modely reprodukují a zesilují společenské předsudky přítomné v trénovacích datech, což vede k diskriminačním výstupům zejména vůči marginalizovaným skupinám. Některé jsou vysoce ovlivněny jejich tvůrci (Grok kopíruje názory Muska, DeepSeek názory Číny, atd). Další vědecké čtení v Bias in Large Language Models: Origin, Evaluation, and Mitigation

Fine-tuning technické chyby. Časté „internal errors“ bez detailních informací, chybné určení modelu (GPT-4o vyžaduje například plný model string s verzí), chyba validace JSONL, selhání úlohy trénování během validační fáze. Podrobně v 5 Problems Encountered Fine-Tuning LLMs with Solutions kde jsou i další specifické problémy.

Ztraceno v překladu může vzniknout tak, že na LLM mluvíte česky, ona si to interně (tak trochu) překládá do angličtiny a pak zase odpověď zpět do češtiny. Může vás velmi snadno nechápat. A protože tohle je věda, tak viz MCPI: Integrating Multimodal Data for Enhanced Prediction of Compound Protein Interactions

Bacha na hada, err, na Python. ChaGPT zpracovává soubory a data pomocí Pythonu. Opravdu si píše skripty a pouští je, takže to může zásadně ovlivnit zpracování toho co tam nahrajete. A také to, že po určité době vám soubory vytvořené v chatu zmizí. Detaily v HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

Chyby při formátování strukturovaných výstupů kde LLM často selhávají při dodržování přesného formátu JSON nebo CSV, vrací {‚key‘: value} místo {„key“: „value“}, přidávají komentáře nebo vynechávají uzavírací závorky, což způsobuje selhání dalších aplikací. K přečtení například Crafting Structured {JSON} Responses: Ensuring Consistent Output from any LLM

Mylné chápání „paměti“ a persistence. Předpoklad, že LLM si „pamatují“ informace z předchozí konverzace v novém API volání bez explicitního předání kontextu. Modely jsou stateless a vyžadují správné session management. Ve webovém rozhraní je toto jednodušší, ale hodně to závisí na konkrétním LLM a modelech. Tady si můžete počíst v Stateful vs Stateless: Why Keeping Context in GPU Memory Changes the Game for LLM-based Systems nebo Mastering State in Stateless LLMs

Nesprávné nastavení temperature parametru, tedy temperature=0.0 pro kreativní úkoly (výsledek je robotický) nebo temperature=1.5+ pro faktické dotazy (model halucinuje). Kombinování temperature s top_p může vést k neočekávaným interakcím. Nutno dodat, že toto se týká použití přes API, ne ve webovém/aplikačním chatu. Studie pro prostudování viz The Effect of Sampling Temperature on Problem Solving in Large Language Models

Problémy s integrací přes API. Nesprávné zacházení s rate limiting (HTTP 429 chyby), chybějící implementace exponential backoff, nebo problémy při přecházení mezi verzemi modelů a poskytovateli. K chybě 429 viz How to handle rate limits

Regrese verze modelu, kdy aplikace optimalizovaná pro konkrétní verzi modelu přestane správně fungovat po update – změny v tokenizaci, context window limitech nebo způsobu zpracování promptů. Vhodné čtení v Migrating off deprecated OpenAI models in a production system

Bezpečnostní rizika s osobními údaji. Nevědomé sdílení citlivých informací, které mohou být uloženy, analyzovány nebo neúmyslně odhaleny v budoucích odpovědích AI. K tomuto tématu je zde tip Jak pracovat s umělou inteligencí (ChatGPT a další) s ohledem na ochranu soukromí?

Porušování autorských práv. LLM výstupy mohou neúmyslně reprodukovat chráněný obsah bez náležitého uvedení zdrojů. Probíhají právní spory (např. NYT vs. Microsoft/OpenAI) o použití chráněného obsahu k trénování. Šikovné čtení v AI and copyright: The training of general‑purpose AI

Další tipy týkající se ChatGPT

AI ChatGPT Python Softw Umělá inteligence