Jag har en Mac Mini M1 med 16 GB RAM som ligger och dammar, vilken AI-agent är bäst att köra på den, några förslag?
1 gillning
Såna frågor tror jag att en AI, som Claude eller ChatGPT, kan svara bättre på än oss. Tiden då man vände sig till teknikforum som Bubblan och andra forum för specifika teknikfrågor börjar kännas förbi, ungefär på samma sätt som papperskartor.
Alla kommer nog inte att hålla med mig, men med tanke på att ingen verkar svara dig tycker jag ändå att det ligger något i det jag säger. 
1 gillning
Jag håller inte med @ChatterDuck överhuvudtaget. Han säger att han testar massor med AI så han borde kunna get några hintar eller vägledning åtminstoende. Riktigt trött svar faktiskt.
OpenClaw har jag kört, men gör inte det nu.. Jack Dorsey's Buzz: Clearly Explained (and how to use it) Verkar intressant.
Prova Claude CLI med Claude Code som är den AIn jag kör mest just nu.
5 gillningar
Varför det? Ingen av oss är smartare än flaggskeppsmodellerna från OpenAI eller Anthropic när det gäller kodning, vilket man kan se att frågan handlar om.
Hade jag haft ett bra svar hade jag såklart skrivit det. Men AI är färskvara, och det finns egentligen ingen poäng med att jag frågar ChatGPT när TS lika gärna kan göra det själv.
Hade en AI för bildmanipulering på min dator innan baserad på Llama som kördes helt på bare metal utan koppling till internet, mest för att testa hur mycket resurser det tog.
Är rätt säker på att den finns som språkmodell också men möjligt att den bara finns på engelska.
Den hade (då) enbart stöd för Nvidia Tensorflow och hela modellen lästes in i RAM. Krävde en hel del behörigheter och förutsättningar för att fungera som Pytorch m.m
Jag hade testat turbo-fieldfare.
Den låter dig kör Gemma 4 14,3 GB utan att behöva ladda in hela modellen i minnet.
1 gillning
Tack för svaren allihop, jag har kollat en del på videos om detta, men det finns en stor mängd att välja på, och jag har inte riktigt bestämt mig själv vad jag vill.
Men er feedback är givande!
1 gillning
Intressant! Hur går det?! Jag körde lite ollama tidigare på min pc, men på jobb datorn som är Mac Mini med 24gb ram kör jag endast Claude både som app och CLI.
Jag har precis fått liv i den, tog en stund att ladda ner 15 GB, känns lite seg då jag brukar använda ett par olika AI på jobbet, dessa är helt klart rappare.
Kanske får kolla lite på tuning av denna.
1 gillning
Jag tror det är svårt att få någon bra känsla om du inte har mer RAM.
Runt 32 GB brukar man väl säga för att få det att snurra hyggligt, och 64 GB är mer optimalt om man vill köra större och bättre modeller lokalt.
Blir nog lite seg för att den bara läser in en liten del av modellen i minnet och accesserar resten från disk.
Denna setup är specialanpassad för Mac med M-processorer och för att bara använda 2 GB RAM, så med runt 6 token/s får jag ut den prestanda som man kan förvänta ur modellen. Jag läste på lite igår, och den jobbar med LRU-cache (least recently used), så block av data som man inte frågar efter prioriteras ner relativt de block man mest använder.
Ungefär så.
Kanske ska kopiera över den till min Mac Studio M1 Max, borde vara minst dubbelt så snabb.
1 gillning
Vad är det du använder modellen till? Tänker du på något specifikt projekt, eller är det bara allmänt labbande?
Bara för att stilla min nyfikenhet
2 gillningar
Någon som testat Perplexity Hybrid Compute på sin välspecade Mac ännu?
https://www.perplexity.ai/hub/blog/introducing-hybrid-compute-on-mac