TIP#3262: Lokální AI na Mac Mini (a lepších) s pomocí Ollama. Jak zprovoznit, krok po kroku

Na Mac Mini je více cest jak mít lokální LLM a jednou z nich je volně dostupná Ollama. Ta nejen že umožní stáhnout modely, ale také je spustit a komunikovat s nimi přímo i přes klasické AI API.

Pozor na jednu zásadní věc, musíte mít dostatek paměti a protože v Mac Mini (a lepší Mac/MacBook stroje) je paměť “unified”, tak je dobré ji ani nemít zaplněnou jinými věcmi. Každý model, který budete používat, zabere různě. A čím větší model to je, tím více paměti zabere (a spotřebuje). A také tím bude pomalejší.

TIP: Víc cest zmíněných výše viz Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další?

Nainstalovat Ollama

Ollama se instaluje v terminálu nebo ji lze stáhnout (a je pro MacOS, Linux i Windows). Podle všeho je praktičtější stáhnout .dmg a nainstalovat takto. Pokud byste chtěli v terminálu, tak:

curl -fsSL https://ollama.com/install.sh | sh

Ale začnete prostě tím, že si ji stáhnete z webu jako .dmg a nainstalujete klasicky do apps.

Osobně mám na hlavním disku v Mac Mini málo místa, takže budu chtít modely ukládat na externí SSD připojené přes USB/TB.

Takže vytvořte složku (Mini2TB je můj externí disk)

mkdir -p „/Volumes/Mini2TB/Ollama/models“

Aby Ollama fungovala s modely jinde než na interním disku, tak se musí její místo uložení modelů symlinkovat na to na externím SSD. Bohužel nastavení proměnné v prostředí vám bude na nic, nezachová se po restartu. Nebo, což je snazší, to změnit v Settings/Nastavení.

Kdybyste chtěli přeci jen nastavit tu proměnnou prostředí, tak

launchctl setenv OLLAMA_MODELS „/Volumes/Mini2TB/Ollama/models“

Takže nejprve spustit Ollamu, aby se vytvořily složky. A přijdete tím i na to, že ikonku Ollama máte klasicky tam, kde všechny ostatní – můžete ji tam otevřít, jít do Nastavení i ukončit.

Poté co máte správně nastavené kam dávat modely, tak můžete modely přidat. Opět to jde z příkazové řádky (a pozor, bude to stahovat hodně dat, ten první, menší model má přes 6.6 GB)

ollama pull qwen3.5:9b

ollama pull gpt-oss:20b (kdybyste chtělo něco dalšího, ale přehled vhodných modelů dorazí později)

Jestli se stahují na externí disk jde ověřit otevřením ve finderu/terminalu nebo prostě:

du -sh „/Volumes/Mini2TB/Ollama/models“

Na tom externím disku mimochodem nijak “neběží”, jen se z něj stahují do paměti aby lokální AI mohla fungovat. Ale pokud bude pomalý, tak první aktivace dané AI bude prostě pomalá.

Zda model funguje pak můžete ověřit třeba takto:

ollama run qwen3.5:9b „Odpověz česky jednou větou jaký model jsi.“

Což začne vypisovat romány (protože je v thinking režimu) a budete vidět i jak to je rychlé (nebo pomalé). Nechcete-li fakt čekat a žasnout co to řeší, tak zkuste jen

ollama run qwen3.5:9b „Odpověz česky jednou větou jaký model jsi.“ –think=false

nebo, něco co nebude halucinovat

ollama run qwen3.5:9b –think=false „Odpověz pouze česky, jednou větou, spisovně: co umíš?“

A protože chci Ollama používat i jinde, tak v MacAI je možné přidat (v Other):

Provider: Ollama
Base URL: http://localhost:11434/api/chat
Model: qwen3.5:9b

TIP: O MacAI je řeč v Klienti pro LLM přes API: jak pohodlně chatovat s libovolnou AI. Na výběr je toho samozřejmě mnohem víc.

Pokud byste na Ollama chtěli přistupovat i z jiných strojů, tak v nastavení je nutné zapnout Expose Ollama to the network nepotřebuješ zapínat, bude pak na adrese MacMini a výše uvedeném portu. Pokud vše poběží jen na MacMini, tak třeba není. Což mimochodem můžete využít i třeba tak, že máte-li výkonný Windows stroj s daleko lepší NVIDIA kartou, tak můžete z MacMini přistupovat na AI v tomto stroji.

Zkoušet Ollamu v klasickém chatu můžete ale i přímo v Ollama – prostě otevřít, dát New Chat, vybrat model a povídat si. Ale opět pozor, přemýšlivé modelu budou přemýšlet. Mělo by to jít potlačit pomocí

/set nothink (napíšete do chatu)

V Mac AI to samozřejmě můžete taky napsat do chatu, ale bohužel to tam není kde definovat jako výchozí.