Přeskočit na obsah
@365tipu
  • Domů
    • Práce na dálku
    • Twitter for dummies
    • Jak na Mastodon
    • Facebook a marketing
    • Návod pro Instagram
    • Jak na LinkedIn
    • Bezpečný Internet
    • Bezpečnost pro novináře
    • Soukromí na Facebooku
    • Pomocník webdesignera
    • Jak na WordPress
    • Nepostradatelné software
      • Jak na Windows 11
      • Jak na Windows 10
      • Jak na iPhone/iPad
      • Jak na Mac OS
      • Jak na Apple TV/TV+
      • Jak na Apple Watch
      • Jak na Apple AirTag
      • Microsoft Office
      • Linux
    • Jazykový koutek
    • GTD
    • Filmy a TV seriály
    • Recenze
    • Chytrá domácnost
      • Chytrá domácnost
      • Jak na Google Home
      • Amazon Echo a Alexa
      • Apple HomePod
      • Jak na Raspberry Pi
      • Jak na QNAP NAS
      • Netatmo
    • Jak na Home Assistant
  • Všechny štítky
  • Odběr e-mailem
  • RSS/XML
  • Kontakt
    • Kontakt
    • Twitter
    • Facebook
    • BlueSky
    • Mastodon
      • Threads
    • Zásady Cookies (EU)
✉️        Pět velkých tipů týdně. Extra desítky menších. Některé jdou na socnety, ale všechny najdete jedině v newsletteru. 2x, týdně, středa a neděle. Starší čísla zde. Přihlášení ▶️
6. 5. 2025 podle 365tipů
MAC, Software

TIP#2964: Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další?

Chcete mít vlastní umělou inteligenci, která nepotřebuje přístup k Internetu a ani nic nikam neposílá a nevykecává? Je to vlastně docela snadné, prostě si budete LLM co to umožňují spouštět přímo v počítači. A jde to i na Mac OS.

Nebudete potřebovat ani žádní účty pro přístup na web konkrétní AI, vyhnete se i obvyklé aktivní cenzuře v těchto službách (věci na které se nesmíte ptát). Bude to ale záležet na modelu, protože například u Deepseeku se prostě stále ně některé věci ptát nemůžete, je to zabudované přímo v modelu.

Můžete mít i vlastní lokální API, z a které (stejně jako za webovou podobu) nebudete nic platit.

Nemůžete mít pochopitelně velký plný Deepseek (například), protože ten se vám do počítače nevejde. Respektive museli byste mít mašinu nadupanou poněkud nad možnosti běžného člověka. Ale budete mít “menší” (destilované, distilled) podoby, které umožní hodně věcí.

Na Macu je dobré mít Apple silicon, tedy nové Mac/Macbooky a použitelné minimum paměti je 16 GB, byť i s méně paměti leccos půjde – jen to bude chtít menší modely a bude to podstatně pomalejší.

Na takovém Macu můžete v pohodě pouštět modely s 7 nebo 8 miliardy parametrů. Pokud byste chtěli ty větší, 70 miliardové, tak by to mohlo rozumně jít v Macu s 48 GB paměti. Potřebovat budete i dost místa na disku, nižší až vyšší desítky gigabajtů pro každý model. 

Takže případně nezapomeňte si vámi vybrané aplikace nastavit tak, aby se modely neukládaly na systémový disk pokud ho máte menší – což ale není možné přímo v “nastavení” a musí se to většinou řešit přes symlinky.

Klasicky pozor na to, že menší modely si méně rozumí s češtinou. A často prostě pomůže na ně mluvit anglicky. Nedivte se pokud na česky položnou otázku odpoví v angličtině.

LM Studio

Asi nejsnazší je LM Studio – stáhněte, naistalujte a spusťte. Poté si vyberte jaký AI model chcete používat – ten se stáhne (což může trvat docela dlouho, 7B DeepSeek je 4.6 GB ke stažení) a je připraven ke spuštění.

Spuštěný můžete mít jeden model, ale v počítači jich můžete mít víc. Ale s běžícím modelem můžete vést víc konverzací současně. 

Ollama

Hodně populární řešení je Ollama (a funguje i ve Windows či Linux pokud potřebujete). Běží jako daemon, lze volat z příkazové řádky, HTTTP API (ostatně jako u většiny těchto řešení), ale nemá grafické rozhraní.

Je trochu zmatené na spouštění i použití, ale po chvíli to nebudete vnímat (na Macu se zabydlí v ikonce nahoře, ale ta neumožní nic spouštět).  

GPT4all

Zajímavé i tím, že můžete zpřístupnit lokální dokumenty a využít je v AI. GPT4all je stejně tak zadarmo jako předchozí a nabízí přes tisícovku open-source jazykových modelů. Uživatelsky možná přívětivější než Ollama.

KoboldCPP

Postavené na llama.cpp s přidanými schopnostmi. Vedle textových AI umí i generování obrázků (SD 1.5, SDXL, SD3, Flux), Speec-tpoText (Whisper) a Text-To-Speech (OuteTTS). A je i pro Windows a Linuix. 

Další možnosti

LocalAI – Open-source alternativa k OpenAI API – můžete spouštět modely lokálně a volat je přes stejné API jako ChatGPT.¨

Text Generation WebUI – Webové uživatelské rozhraní Gradio pro velké jazykové modely s podporou více inferenčních backendů.

Další tipy týkající se Mac OS

  • TIP#2974: Používáte Chrome? A máte aktivní Enhanced Protection/Pokročilou ochranu?

    TIP#2974: Používáte Chrome? A máte aktivní Enhanced Protection/Pokročilou ochranu?

    V Nastavení/Settings v Chrome najdete Enhanced Protection/Pokročilá ochrana v Privacy and Security/Soukromí a Bezpečnost > Security. Nedávno zde přibyly nějaké AI funkce, které chrání proti dalším nebezpečím. A je užitečné mít právě…

  • TIP#2964: Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další?

    TIP#2964: Jak na Mac OS (a nejen tam) mít lokálně LLM (AI). DeepSeek, Llama a další?

    Chcete mít vlastní umělou inteligenci, která nepotřebuje přístup k Internetu a ani nic nikam neposílá a nevykecává? Je to vlastně docela snadné, prostě si budete LLM co to umožňují spouštět přímo v…

  • TIP#2952: Zálohuje TimeMachine externí disky připojené k Macu? A co síťové disky?

    TIP#2952: Zálohuje TimeMachine externí disky připojené k Macu? A co síťové disky?

    Externí disky jsou součástí věcí vyjmutých ze zálohování a můžete to vidět v nastavení. A znamená to, že pokud je odtamtud odstraníte, tak zálohovat bude. Související příspěvky TIP#2910: Užitečné věci pro Time…

  • TIP#2946: MacOS (a nejen ten) a nástroje pro práci se SQL. Co si pořídit? 

    TIP#2946: MacOS (a nejen ten) a nástroje pro práci se SQL. Co si pořídit? 

    Pokud pracujete se SQL serverem, tak potřebujete nástroj pro jeho správu. Takový co ukáže přehled databází, tabulek a dalších věci, umožní s nimi pracovat a také spouštět dotazy. Případně i nějaké další…

  • TIP#2942: USB disk na Macu? Je nutné ho ručně vysunout (Eject) při uspání počítače? A co zálohovací disk?

    TIP#2942: USB disk na Macu? Je nutné ho ručně vysunout (Eject) při uspání počítače? A co zálohovací disk?

    Jedna taková menší nedomyšlenost v MacOS a zálohování s TimeMachine. V praxi často řešená na MacBooku. Je totiž nutné připojený USB disk ručně vysunout (Eject), nestane se to automaticky ani se o…

  • TIP#2939: MacOS neumí přehrávat AVI, MKV, WMV.  Co s tím? 

    TIP#2939: MacOS neumí přehrávat AVI, MKV, WMV. Co s tím? 

    Brzy to objevíte, že QuickTime Player v Mac OS má velmi omezené možnosti formátů a kodeků. Takže i tak běžné věci jako AVI či WMV přehrávat neumí. O MKV nemluvě. Související příspěvky…

  • TIP#2937: Proč MacOS Finder nedokáže udržet nastavený pohled a třídění? 

    TIP#2937: Proč MacOS Finder nedokáže udržet nastavený pohled a třídění? 

    Další fascinující vlastnost Finderu. Nastavíte si potřebné zobrazení i třídění a očekáváte, že když příště otevřete Finder (nebo alespoň tu samou nastavenou složku), tak ono nastavení bude platné. Není, jste zpět na…

  • TIP#2935: RayCue Mac Mini M4 Dock. M.2 SSD, kupa portů, povedené provedení

    TIP#2935: RayCue Mac Mini M4 Dock. M.2 SSD, kupa portů, povedené provedení

    Mac Mini M4 tak nějak po čase určitě potřebujete rozšířit nejen o další porty, ale také o externí disk. Zejména pokud jste brali “jen” model s 512 GB (nebo dokonce ještě méně)…

  • TIP#2934: Oblíbené/Favorites ve Finderu a tam přidané síťové disky. Proč se odtamtud ztrácí? 

    TIP#2934: Oblíbené/Favorites ve Finderu a tam přidané síťové disky. Proč se odtamtud ztrácí? 

    Ano, je dost věcí co mě na MacOS vytáčí a práce s disky je obecně jedna z nich. Zcela konkrétně to, že si připojíte síťové disky, uložíte to aby to i fungovalo…

  • TIP#2931: Mac Mini (M4) a jak na rozšíření připojitelných zařízení a externí disky.  Tipy na USB-C huby, dock a stojánky (a hodí se nejen pro Mac)

    TIP#2931: Mac Mini (M4) a jak na rozšíření připojitelných zařízení a externí disky.  Tipy na USB-C huby, dock a stojánky (a hodí se nejen pro Mac)

    Vlastně je to docela jednoduché – Mac Mini M4 má USB-C 10Gb/s (2x vepředu), Thunderbolt/USB-C 40Gb/s (120 Gb/s u Pro verze) vzadu a Thunderbolt 5 40Gb/s (120 Gb/s u Pro verze) na…

  • TIP#2930: 29 věci, které mi na Mac OS (ne)skutečně vadí. 3/3

    TIP#2930: 29 věci, které mi na Mac OS (ne)skutečně vadí. 3/3

    Každý operační systém má věci, které vám při používání budou komplikovat život. Jedno jestli je to Windows, Linux, Android, iOS či Mac OS. S většinou se prostě musíte naučit žít, nebo je…

  • TIP#2928: Jaké souborové/FTP/síťové manažery pro MacOS si můžete pořídit? A k čemu vlastně?

    TIP#2928: Jaké souborové/FTP/síťové manažery pro MacOS si můžete pořídit? A k čemu vlastně?

    Zkoumal jsem to už několikrát. Naposledy před pár týdny, kdy jsem se na to i ptal na sociálních sítích, jaké doporučujete a případně proč. Což se hodilo, protože zrovna  u těchto aplikací…

  • TIP#2926: 29 věci, které mi na Mac OS (ne)skutečně vadí 2/3

    TIP#2926: 29 věci, které mi na Mac OS (ne)skutečně vadí 2/3

    Každý operační systém má věci, které vám při používání budou komplikovat život. Jedno jestli je to Windows, Linux, Android, iOS či Mac OS. S většinou se prostě musíte naučit žít, nebo je…

  • TIP#2924: 29 věci, které mi na Mac OS (ne)skutečně vadí. 1/3

    TIP#2924: 29 věci, které mi na Mac OS (ne)skutečně vadí. 1/3

    Každý operační systém má věci, které vám při používání budou komplikovat život. Jedno jestli je to Windows, Linux, Android, iOS či Mac OS. S většinou se prostě musíte naučit žít, nebo je…

  • TIP#2923: V čem pomohla čistá instalace MacOS na MacBook? A pomohla vůbec?

    TIP#2923: V čem pomohla čistá instalace MacOS na MacBook? A pomohla vůbec?

    Mám už skoro pět let MacBook Air, byl to můj první Mac (v době Covidu jste ho pomohli získat sbírkou na Donio, pamatujete?) a sloužil skvělé a také vlastně ještě pořád slouží.…

1 2 3 … 22
Další stránka»

Související příspěvky

  • TIP#2941: ChatGPT má nový generátor fotek a obrázků (4o Image Generation). Je hodně jiný než DALL E 3. Jak na něj?
  • TIP#2891: ChatGPT Tasks (Úkoly) a k čemu je to dobré?
  • TIP#2850: Jak pracovat s ChatGPT rozhraním? Základy

AI ChatGPT Mac MAC OS Software Umělá inteligence

Předchozí článekTIP#2963: Co je to whataboutismus?Další článek TIP#2965: Má iPhone (iPad)  “guest mode”? Můžete ho nějak na chvíli bezpečně půjčit někomu jinému? 

Nejnovější příspěvky

TIP#2975: Může USB kabel (či jiné zařízení) napadnout můj počítač? Odesílat data do Číny?

TIP#2974: Používáte Chrome? A máte aktivní Enhanced Protection/Pokročilou ochranu?

TIP#2973: Proč svítilny a nářadí s USB-C nejde nabíjet čistě USB-C kabelem. A co si s tím počít?

TIP#2972: Nákupní rádce: Koupit NAS (QNAP, Synology, …) nebo nějaký externí USB disk? 

Nákupní rádce (44): PlayStation 5 Pro. Co si pořídit pro 3D tisk. To nejlepší co jsem si koupil z Ali

TIP#2971: Obtěžuje vás v Gmailu Gemini? Můžete to vypnout a mít klid

TIP#2970: Jak v terminálu v Linuxu otevřít či si prohlédnout soubor?

TIP#2969: K čemu všemu se hodí, dá používat, NAS

TIP#2968: Jak je to s to přednosti matematických operací?

TIP#2967: Proč nejít “blogovat” na Seznam Médium

Nejčtenější

Přispět na provoz můžete

Přispějte. 500 Kč můžete změnit dle vlastního uvážení. Z částky zaplatíme DPH a pochopitelně daně platbou na účet 331049001/5500, spec. symbol 365. Částku si můžete změnit. Z platby odvádíme DPH a daníme ji.

... nebo placeným odběrem

Staňte se platícím odběratelem newsletteru. 5 USD/měsíc, 50 USD/rok nebo dle vlastního uvážení od 100 USD/rok. Každou středu a neděli nálož informací.

Kontakt a tak

Kontakt: 365tipu@gmail.com

Veškerý obsah zde uveřejněný je CC-BY-NC-SA

Oznámení