Chcete mít vlastní umělou inteligenci, která nepotřebuje přístup k Internetu a ani nic nikam neposílá a nevykecává? Je to vlastně docela snadné, prostě si budete LLM co to umožňují spouštět přímo v počítači. A jde to i na Mac OS.
Nebudete potřebovat ani žádní účty pro přístup na web konkrétní AI, vyhnete se i obvyklé aktivní cenzuře v těchto službách (věci na které se nesmíte ptát). Bude to ale záležet na modelu, protože například u Deepseeku se prostě stále ně některé věci ptát nemůžete, je to zabudované přímo v modelu.
Můžete mít i vlastní lokální API, z a které (stejně jako za webovou podobu) nebudete nic platit.
Nemůžete mít pochopitelně velký plný Deepseek (například), protože ten se vám do počítače nevejde. Respektive museli byste mít mašinu nadupanou poněkud nad možnosti běžného člověka. Ale budete mít “menší” (destilované, distilled) podoby, které umožní hodně věcí.
Na Macu je dobré mít Apple silicon, tedy nové Mac/Macbooky a použitelné minimum paměti je 16 GB, byť i s méně paměti leccos půjde – jen to bude chtít menší modely a bude to podstatně pomalejší.
Na takovém Macu můžete v pohodě pouštět modely s 7 nebo 8 miliardy parametrů. Pokud byste chtěli ty větší, 70 miliardové, tak by to mohlo rozumně jít v Macu s 48 GB paměti. Potřebovat budete i dost místa na disku, nižší až vyšší desítky gigabajtů pro každý model.
Takže případně nezapomeňte si vámi vybrané aplikace nastavit tak, aby se modely neukládaly na systémový disk pokud ho máte menší – což ale není možné přímo v “nastavení” a musí se to většinou řešit přes symlinky.
Klasicky pozor na to, že menší modely si méně rozumí s češtinou. A často prostě pomůže na ně mluvit anglicky. Nedivte se pokud na česky položnou otázku odpoví v angličtině.
LM Studio
Asi nejsnazší je LM Studio – stáhněte, naistalujte a spusťte. Poté si vyberte jaký AI model chcete používat – ten se stáhne (což může trvat docela dlouho, 7B DeepSeek je 4.6 GB ke stažení) a je připraven ke spuštění.
Spuštěný můžete mít jeden model, ale v počítači jich můžete mít víc. Ale s běžícím modelem můžete vést víc konverzací současně.
Ollama
Hodně populární řešení je Ollama (a funguje i ve Windows či Linux pokud potřebujete). Běží jako daemon, lze volat z příkazové řádky, HTTTP API (ostatně jako u většiny těchto řešení), ale nemá grafické rozhraní.
Je trochu zmatené na spouštění i použití, ale po chvíli to nebudete vnímat (na Macu se zabydlí v ikonce nahoře, ale ta neumožní nic spouštět).
GPT4all
Zajímavé i tím, že můžete zpřístupnit lokální dokumenty a využít je v AI. GPT4all je stejně tak zadarmo jako předchozí a nabízí přes tisícovku open-source jazykových modelů. Uživatelsky možná přívětivější než Ollama.
KoboldCPP
Postavené na llama.cpp s přidanými schopnostmi. Vedle textových AI umí i generování obrázků (SD 1.5, SDXL, SD3, Flux), Speec-tpoText (Whisper) a Text-To-Speech (OuteTTS). A je i pro Windows a Linuix.
Další možnosti
LocalAI – Open-source alternativa k OpenAI API – můžete spouštět modely lokálně a volat je přes stejné API jako ChatGPT.¨
Text Generation WebUI – Webové uživatelské rozhraní Gradio pro velké jazykové modely s podporou více inferenčních backendů.
Další tipy týkající se Mac OS
-
TIP#1159: Jak zmenšit velikost (komprimovat) PDF?
Je dost jisté, že na tenhle problém narazíte dost často. Máte nějaké PDF a potřebujete ho umístit na web a zjistíte, že je příliš velké. Stát se to může i pokud ho…
-
TIP#1152: U kterých WiFi sítí si zapínat a nezapínat automatické připojování (Wi-Fi mýty)
Jedno z dobrých bezpečnostních opatření u WiFi je, že ne pro každou síť si zapnete automatické připojování. Měli byste s touto funkčností zacházet obezřetně. Souvisí to s Je nechávání zapnuté WiFi nebezpečné?…
-
TIP#1144: Jak najít soubor v počítači?
Jedna věc je na tomto tématu zajímavá. Žijeme v době, kdy pomocí Google dokážeme najít skoro cokoliv. Navíc velmi rychle a pohodlně. Jenže když přijde na hledání věcí co máte uložené v…
-
TIP#1105: Jak vybrat kanál pro WiFi?
Už v Jak zjistím na jaký kanál dát WiFi? Jak se podívám na WiFi okolo? byla řeč o tom, že WiFi má takovou jednu nepříjemnou vlastnost – používá kanály (frekvence) na kterých komunikují…
-
iOS 11.4 přinesl zprávy (Messages) v iCloudu, jak to aktivovat a co to znamená?
Aktuální (11.4) iOS přinesl dlouho žádanou novinku, zprávy (Messages) ukládané a synchronizované v iCloudu. Podstatné na této změně je, že konečně po mnoha letech budou zprávy synchronizované napříč zařízeními. Druhé podstatné je,…
-
TIP#1078: Jak funguje Google Streamování z Disku? Čím se liší od klasického Disku Google?
Klasický Disk Google (Google Drive) jste možná v počítači měli a možná ještě máte (byť teď je čas přejít na náhradu, viz Jak funguje Zálohování a synchronizace od Google (náhrada za Google…
-
TIP#1058: Co je to LaTeX?
Možná se vám poštěstilo a setkali jste se s termínem LaTeX – nic neobvyklého to není, pokud se pohybujete v akademické sféře nebo pracujete s lidmi co používají Linux. Související příspěvky TIP#951:…
-
TIP#1050: Jak z PDF udělat obrázek? A proč neposílat věci zbytečně v PDF
PDF je souborový formát od Adobe, což asi víte. Zkratka z Portable Document Format, což tak trochu vystihuje to, že pokud něco máte v PDF, tak to zpravidla dokážete zobrazit a vytisknout…
-
TIP#1004: Jak znovu zobrazit stránku v prohlížeči? Jaký je rozdíl mezi běžným a tvrdým opětovným načtením? F5 vs. Shift/Ctrl F5
Jedna z užitečných klávesových zkratek napříč všemi prohlížeči je tak, který vám umožní znovu natáhnout zobrazenou stránku – skrývá se pod F5 či Ctrl-R v tzv „soft“ podobě a Ctrl-Shift-R či Shift/Ctrl-F5…
-
TIP#969: Jak se zbavit automaticky spouštěných videí? V počítači i aplikacích?
Přišel s tím skoro jako první Facebook, že začal videa automaticky spouštět v okamžiku, kdy jste na ně dojeli v prohlížeči či mobilu. Tímhle trikem se mu zázračně vylepšily statistiky přehrání a…
-
TIP#951: Pomohou mi při práci na počítači nějak virtuální plochy? Jak na ně?
Virtuální plochy (virtual desktops) jsou věc poměrně běžná z Linuxového prostředí, méně běžná ve Windows, byť od Windows 10 jsou virtuální plochy (konečně) součástí systému. Tahle schopnost mít více ploch a moci…
-
TIP#907: V čem vytvářet vývojové diagramy?
Vývojové diagramy můžete začít vytvářet v něčem jako PowerPoint, Word či KeyNote. Což ale bude znamenat, že půjde jen o něco velmi jednoduchého a nepříliš praktického. Nebo se můžete vydat k věcem…
-
TIP#905: Jaké jsou (nejen) v Linuxu alternativy pro Notepad++? Editory pro programátory
Notepad++ je jeden z velmi povedených editorů pro Windows. Tedy editorů pro kodéry a programátory, abych byl přesný. Pokud ale používáte Linux, tenhle skvělý kousek software mít nemůžete. Skoro nemůžete. Je tu…
-
Od iOS 11 se změnil formát fotek a videí z JPEG/H.264 na HEIC/HEIF/HEVC. I po třech letech je to stále zbytečná komplikace.
S příchodem iOS 11 pro iPhone a iPad přichází také jedna dost zásadní změna v ukládaní fotografií a videa – přichází HEIF místo JPEG a HEVC místo H.264 (u videa). Což může…
-
TIP#878: Co si pořídit místo aplikace Spotify?
Před pár týdny psal Petr Klement, jestli by nestálo za to udělat tip týkající se používání Spotify. A také zmínil to, co je pro Spotify charakteristické – je stále méně uživatelsky přívětivé…
