TIP#2964: Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další?

Chcete mít vlastní umělou inteligenci, která nepotřebuje přístup k Internetu a ani nic nikam neposílá a nevykecává? Je to vlastně docela snadné, prostě si budete LLM co to umožňují spouštět přímo v počítači. A jde to i na Mac OS.

Nebudete potřebovat ani žádní účty pro přístup na web konkrétní AI, vyhnete se i obvyklé aktivní cenzuře v těchto službách (věci na které se nesmíte ptát). Bude to ale záležet na modelu, protože například u Deepseeku se prostě stále ně některé věci ptát nemůžete, je to zabudované přímo v modelu.

Můžete mít i vlastní lokální API, z a které (stejně jako za webovou podobu) nebudete nic platit.

Nemůžete mít pochopitelně velký plný Deepseek (například), protože ten se vám do počítače nevejde. Respektive museli byste mít mašinu nadupanou poněkud nad možnosti běžného člověka. Ale budete mít “menší” (destilované, distilled) podoby, které umožní hodně věcí.

Na Macu je dobré mít Apple silicon, tedy nové Mac/Macbooky a použitelné minimum paměti je 16 GB, byť i s méně paměti leccos půjde – jen to bude chtít menší modely a bude to podstatně pomalejší.

Na takovém Macu můžete v pohodě pouštět modely s 7 nebo 8 miliardy parametrů. Pokud byste chtěli ty větší, 70 miliardové, tak by to mohlo rozumně jít v Macu s 48 GB paměti. Potřebovat budete i dost místa na disku, nižší až vyšší desítky gigabajtů pro každý model. 

Takže případně nezapomeňte si vámi vybrané aplikace nastavit tak, aby se modely neukládaly na systémový disk pokud ho máte menší – což ale není možné přímo v “nastavení” a musí se to většinou řešit přes symlinky.

Klasicky pozor na to, že menší modely si méně rozumí s češtinou. A často prostě pomůže na ně mluvit anglicky. Nedivte se pokud na česky položnou otázku odpoví v angličtině.

LM Studio

Asi nejsnazší je LM Studio – stáhněte, naistalujte a spusťte. Poté si vyberte jaký AI model chcete používat – ten se stáhne (což může trvat docela dlouho, 7B DeepSeek je 4.6 GB ke stažení) a je připraven ke spuštění.

Spuštěný můžete mít jeden model, ale v počítači jich můžete mít víc. Ale s běžícím modelem můžete vést víc konverzací současně. 

Ollama

Hodně populární řešení je Ollama (a funguje i ve Windows či Linux pokud potřebujete). Běží jako daemon, lze volat z příkazové řádky, HTTTP API (ostatně jako u většiny těchto řešení), ale nemá grafické rozhraní.

Je trochu zmatené na spouštění i použití, ale po chvíli to nebudete vnímat (na Macu se zabydlí v ikonce nahoře, ale ta neumožní nic spouštět).  

GPT4all

Zajímavé i tím, že můžete zpřístupnit lokální dokumenty a využít je v AI. GPT4all je stejně tak zadarmo jako předchozí a nabízí přes tisícovku open-source jazykových modelů. Uživatelsky možná přívětivější než Ollama.

KoboldCPP

Postavené na llama.cpp s přidanými schopnostmi. Vedle textových AI umí i generování obrázků (SD 1.5, SDXL, SD3, Flux), Speec-tpoText (Whisper) a Text-To-Speech (OuteTTS). A je i pro Windows a Linuix. 

Další možnosti

LocalAI – Open-source alternativa k OpenAI API – můžete spouštět modely lokálně a volat je přes stejné API jako ChatGPT.¨

Text Generation WebUI – Webové uživatelské rozhraní Gradio pro velké jazykové modely s podporou více inferenčních backendů.

Další tipy týkající se Mac OS

AI ChatGPT Mac MAC OS Software Umělá inteligence