Ollama je aplikace/software, které vám na Mac/Windows/Linuxu umožní mít lokální AI. Stáhne je, spustí je, umožní k nim přistupovat přes API. Můžete to chtít používat přímo na stroji, kde běží, ale také z jakéhokoliv jiného stroje.
Tam, kde máte Ollama běžící i s modely (v mém případě dbdmini.local) je nutné v nastavení povolit přístup zvenčí (Expose Ollama to the network). Pak už můžete z jakéhokoliv počítače přistupovat na AI na vašem stroji.
Na iPadu například existuje Mollama (mimochodem umí i lokální modely na iPadu, ale je to omezené a pekelně pomalé). A stejně jako jinde budete prostě zadávat http://dbdmini.local:11434/v1 při přidání vzdálené AI.
Pak už jen zpravidla nechat načíst modely a vybrat si ty, které chcete používat. Pokud by byl problém s mDNS (jménem), tak vložit přímo IP adresu.
Mimochodem ta výše uvedená adresa je na onom stroji testovatelná prostě v prohlížeči, ale jen jako http://dbdmini.local:11434/ – vrátí vám “Ollama is running” pokud jde na Ollama přistupovat a běží.
- http://dbdmini.local:11434/v1/models vypíše přehled modelů
Na vaši běžící AI pak prostě budete klasicky přistupovat právě pomocí tohoto API (odpovídá tomu používaném OpenAI). Takže můžete připojit do různých aplikací, co umí využít ChatGPT (a další) a samozřejmě si také napsat (nebo lépe nechat napsat) spoustu skriptů v Pythonu (či čemkoliv, co máte v oblibě).
Já jsem jako první předělal na použití lokální AI skript pro překlad a sumarizaci článků, popsaných v těchto dvou tipech:
- Jak na ChatGPT API pro souhrn článků na Internetu. Další velmi dobrý příklad včetně kompletního skriptu
- Jak na ChatGPT API pro překlad z a do češtiny. Můžete tím snadno nahradit DeepL
Bylo to snadné, prostě jsem jenom požádal Codex, aby rozšířil o možnost volby lokálních Ollama modelů (a ponechal i možnost ChatGPT) – dal dohromady JSON s přehledem modelů a možností vybrat aktivní model. A pokud do Ollama přidám další model, tak buď ručně přidám do JSON, nebo o to řeknu Codexu.
Chystám se ještě dát Ollama na Windows mašinu (kde je NVIDIA) a otestovat, jak rychlé to je oproti Mac Mini M4 – dost hodně proto, že na Mac Mini to nijak rychlé není a do 24 GB paměti se toho zase až tak moc nevejde, není totiž vyhrazený jenom pro to, aby sloužil jako lokální AI server, pracuju na něm.
Pak opět požádám Codex, aby do výše uvedeného skriptu (skriptů) doplnil možnost napojení na Ollama na Windows stroji – velmi pravděpodobně tak, aby zjistil, zda je dostupný, a pokud je, tak ho využil. A pokud není, tak to odeslal do Mac Mini Ollama.
POZNÁMKA: Dva poslední odstavce už funkční, ale vrátím se k tomu ještě někdy jindy. Nechtělo se mi to v tipu přepisovat, je pondělí a ráno je dost plné.
Potřebujete se do Ollama přihlásit?
Ollama má účet, ale reálně pro lokální použití není třeba. Hodí se pro spouštění cloudových modelů (ty má Ollama na svých serverech) a pokud byste vytvářeli modely vlastní, případně chtěli používat privátní modely. Případně jde aktivovat Web search
TIP: Ollama není jediné řešení, mrkněte do Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další? pro další.
Další tipy týkající se ChatGPT
