TIP#3262: Lokální AI na Mac Mini (a lepších) s pomocí Ollama. Jak zprovoznit, krok po kroku
Na Mac Mini je více cest jak mít lokální LLM a jednou z nich je volně dostupná Ollama. Ta nejen že umožní stáhnout modely, ale také je spustit a komunikovat s nimi přímo i přes klasické AI API.
Pozor na jednu zásadní věc, musíte mít dostatek paměti a protože v Mac Mini (a lepší Mac/MacBook stroje) je paměť “unified”, tak je dobré ji ani nemít zaplněnou jinými věcmi. Každý model, který budete používat, zabere různě. A čím větší model to je, tím více paměti zabere (a spotřebuje). A také tím bude pomalejší.
Ollama se instaluje v terminálu nebo ji lze stáhnout (a je pro MacOS, Linux i Windows). Podle všeho je praktičtější stáhnout .dmg a nainstalovat takto. Pokud byste chtěli v terminálu, tak:
curl -fsSL https://ollama.com/install.sh | sh
Ale začnete prostě tím, že si ji stáhnete z webu jako .dmg a nainstalujete klasicky do apps.
Osobně mám na hlavním disku v Mac Mini málo místa, takže budu chtít modely ukládat na externí SSD připojené přes USB/TB.
Takže vytvořte složku (Mini2TB je můj externí disk)
mkdir -p „/Volumes/Mini2TB/Ollama/models“
Aby Ollama fungovala s modely jinde než na interním disku, tak se musí její místo uložení modelů symlinkovat na to na externím SSD. Bohužel nastavení proměnné v prostředí vám bude na nic, nezachová se po restartu. Nebo, což je snazší, to změnit v Settings/Nastavení.
Kdybyste chtěli přeci jen nastavit tu proměnnou prostředí, tak
Takže nejprve spustit Ollamu, aby se vytvořily složky. A přijdete tím i na to, že ikonku Ollama máte klasicky tam, kde všechny ostatní – můžete ji tam otevřít, jít do Nastavení i ukončit.
Poté co máte správně nastavené kam dávat modely, tak můžete modely přidat. Opět to jde z příkazové řádky (a pozor, bude to stahovat hodně dat, ten první, menší model má přes 6.6 GB)
ollama pull qwen3.5:9b
ollama pull gpt-oss:20b (kdybyste chtělo něco dalšího, ale přehled vhodných modelů dorazí později)
Jestli se stahují na externí disk jde ověřit otevřením ve finderu/terminalu nebo prostě:
du -sh „/Volumes/Mini2TB/Ollama/models“
Na tom externím disku mimochodem nijak “neběží”, jen se z něj stahují do paměti aby lokální AI mohla fungovat. Ale pokud bude pomalý, tak první aktivace dané AI bude prostě pomalá.
Zda model funguje pak můžete ověřit třeba takto:
ollama run qwen3.5:9b „Odpověz česky jednou větou jaký model jsi.“
Což začne vypisovat romány (protože je v thinking režimu) a budete vidět i jak to je rychlé (nebo pomalé). Nechcete-li fakt čekat a žasnout co to řeší, tak zkuste jen
ollama run qwen3.5:9b „Odpověz česky jednou větou jaký model jsi.“ –think=false
nebo, něco co nebude halucinovat
ollama run qwen3.5:9b –think=false „Odpověz pouze česky, jednou větou, spisovně: co umíš?“
A protože chci Ollama používat i jinde, tak v MacAI je možné přidat (v Other):
Provider: Ollama Base URL: http://localhost:11434/api/chat Model: qwen3.5:9b
Pokud byste na Ollama chtěli přistupovat i z jiných strojů, tak v nastavení je nutné zapnout Expose Ollama to the network nepotřebuješ zapínat, bude pak na adrese MacMini a výše uvedeném portu. Pokud vše poběží jen na MacMini, tak třeba není. Což mimochodem můžete využít i třeba tak, že máte-li výkonný Windows stroj s daleko lepší NVIDIA kartou, tak můžete z MacMini přistupovat na AI v tomto stroji.
Zkoušet Ollamu v klasickém chatu můžete ale i přímo v Ollama – prostě otevřít, dát New Chat, vybrat model a povídat si. Ale opět pozor, přemýšlivé modelu budou přemýšlet. Mělo by to jít potlačit pomocí
/set nothink (napíšete do chatu)
V Mac AI to samozřejmě můžete taky napsat do chatu, ale bohužel to tam není kde definovat jako výchozí.
LiteLLM není další chatbot ani jazykový model. Je to centrální brána, přes kterou mohou vaše aplikace a skripty volat různé AI modely. LiteLLM sjednocuje…
Osobní AI agent může dělat víc než odpovídat na otázky. Dostane-li přístup k nástrojům, může například vyhledávat informace, pracovat se soubory nebo připravit zprávu….
Bytostně nesnáším hlasovky a zejména lidi, kteří je tvrdohlavě posílají ve WhatsApp. Nemám trpělivost to poslouchat a po pěti sekundách už nevím, co vlastně…
Nejdřív zjistěte, kde se model zadrhává. Někdy nerozumí českému zadání, jindy úlohu vyřeší, ale odpoví kostrbatě. Pokud mu jde práce v angličtině lépe, může…
