LiteLLM není další chatbot ani jazykový model. Je to centrální brána, přes kterou mohou vaše aplikace a skripty volat různé AI modely. LiteLLM sjednocuje jejich ovládání do jednoho API a podle nastavení požadavek pošle ke cloudovému poskytovateli nebo k místnímu modelu, například Ollama.
TIP: Více o tom, co znamená používat AI přes API, najdete v tipu Jak na ChatGPT a jiné AI přímo přes API.
Na Ubuntu stroji mám LiteLLM jako společný bod pro své AI skripty a aplikace. Přes něj se připojují k různým cloudovým modelům i k lokálním modelům běžícím přes Ollama. Nemusím v každém programu řešit jinou adresu a způsob připojení. Když aplikace volá cloudový model, prompt ovšem stále odchází jeho poskytovateli. Samotné provozování LiteLLM na vlastním stroji z cloudového modelu lokální AI neudělá.
Dashboard není jen seznam API klíčů
V LiteLLM Admin UI lze spravovat připojené modely a endpointy, tedy místa, kam se požadavky posílají. Pokud jsou modely uložené v databázi, lze jejich nastavení měnit v rozhraní bez úprav konfiguračního souboru a restartu služby. Klienti přitom mohou volat pojmenovaný modelový alias, takže změnu modelu není nutné dělat v každém programu zvlášť. Dokumentace popisuje správu modelů v LiteLLM.
V části Playground si můžete modely nejprve vyzkoušet. Porovnávací režim umí postavit vedle sebe až tři modely a ukázat odpovědi, dobu odezvy, spotřebu tokenů i vypočtenou cenu. Hodí se, když si chcete ověřit, zda na konkrétní úkol opravdu potřebujete nejvýkonnější model, nebo stačí levnější varianta. Podrobnosti má LiteLLM v dokumentaci Playgroundu.
TIP: Pro agenty se může hodit LiteLLM Skills, usnadní přístup k informacím z LiteLLM, ale i správu jako takovou. Vyzkoušeno v Claude Code, ale nutno dodat, že Code/Codex/OPenCode a další snadno spravují LiteLLM prostě tak, že jim dáte SSH přístup
Samostatné klíče oddělí projekty i jejich spotřebu
Nejužitečnější je pro mě přehled používání a nákladů. Vytvářím samostatný virtuální API klíč pro každý projekt. Pak vidím, kolik požadavků a nákladů připadá na jednotlivé skripty či aplikace, místo abych měl všechno slité do jednoho společného účtu. Klíč lze také omezit na vybrané modely a nastavit mu rozpočet nebo limity. Virtuální klíče a jejich omezení popisuje dokumentace LiteLLM.
V přehledech Usage a Logs se dá sledovat spotřeba, model, stav požadavku, tokeny, doba odezvy a vypočtená cena. Obsah promptů a odpovědí se do logů ve výchozím nastavení neukládá. Ukládání lze zapnout, ale pak je dobré vědět, co se do databáze ukládá a kdo k tomu má přístup. Dokumentace vysvětluje, co LiteLLM zapisuje do logů.
Částky LiteLLM nejsou výpisem z fakturačních systémů poskytovatelů. Služba počítá spotřebu podle usage údajů a své mapy cen, takže výsledek se může od skutečné faktury lišit. U konkrétního modelu nebo cenového tarifu proto berte přehled jako užitečnou kontrolu a rozdělení nákladů, ne jako účetní doklad. Více o sledování nákladů a jeho přesnosti.
Směrování, ochranné filtry a nástroje pro AI
LiteLLM umí také směrovat požadavky, rozkládat zátěž mezi více nasazení stejného modelu a při problému použít nakonfigurovaný náhradní model. Automatické směrování podle složitosti požadavku je pokročilejší možnost a dokumentace ho označuje jako Beta. Neznamená to, že LiteLLM automaticky vybere nejlevnější model a vždy ušetří. Výsledek závisí na pravidlech, modelech i ceně případného klasifikačního volání. Jak funguje automatické routování.
Další skupinou jsou guardrails, tedy ochranné kontroly před voláním modelu nebo po něm. Podle zvolené konfigurace mohou například hledat citlivé údaje, maskovat je nebo kontrolovat obsah a prompt injection. Nejsou ale automaticky zapnutou neprůstřelnou ochranou. Je třeba je nastavit a vybrat vhodnou kontrolu či integraci. Přehled možností a nastavení guardrails.
Menu obsahuje také MCP Servers a Tools. LiteLLM v tomto případě funguje jako společná brána k MCP nástrojům a může řídit, které klíče nebo týmy k nim mají přístup. Samostatná položka Skills má konkrétní význam: jde o registr a marketplace pro Claude Code skills a pluginy. Správce v něm může dovednosti přidávat a vybírat, které zveřejní; vývojáři je pak mohou objevit a instalovat přes marketplace LiteLLM. To už jsou pokročilejší možnosti, které nejsou nutné pro obyčejné volání modelu. Více o MCP Gateway a správě Skills.
Jak LiteLLM vyzkoušet
Oficiální rychlý start pro Linux a macOS nabízí LiteLLM přes Docker Compose. Spustí gateway i databázi PostgreSQL a webové rozhraní pak otevřete na http://localhost:4000. V něm přidáte model a poskytovatele, vytvoříte virtuální klíč a v aplikaci nastavíte adresu LiteLLM, tento klíč a název modelu. Postup je v oficiálním Docker quickstartu.
Varianta bez databáze umí základní přeposílání požadavků, ale neposkytne správu modelů v Admin UI, virtuální klíče ani přehled spotřeby. Pokud chcete právě dashboard, oddělovat projekty klíči a sledovat náklady, použijte variantu s databází. Administrátorský master key nedávejte do jednotlivých aplikací. Pro ně vytvářejte samostatné virtuální klíče.
LiteLLM dává smysl hlavně tehdy, když používáte více modelů, poskytovatelů nebo aplikací a chcete mít jejich přístupy i spotřebu na jednom místě. Pokud jen občas otevřete jeden webový AI chat, je to zbytečná další služba k provozování.
POZNÁMKA: Hermes Bot jako autor napovídá, že to výše je práce SKILL v Hermeseu. Jednoduché zadání „LiteLLM k čemu to vlastně je?“ s doplněnou informací o mém využití. Dvě revize rešerše a nakonec napsaný článek, který je na první dobrou užitečný. Ručně doplněné screenshoty, jak jinak. A tip ns SKILLS. A jak je vidět i o kousek výše, náklad zhruba 2.20 Kč.
Další tipy týkající se AI (ChatGPT a další)
