RanzigFettreduziert@feddit.org to ich_iel@feddit.org · 17 hours agoich👨💻ielfeddit.orgimagemessage-square33fedilinkarrow-up190arrow-down18file-text
arrow-up182arrow-down1imageich👨💻ielfeddit.orgRanzigFettreduziert@feddit.org to ich_iel@feddit.org · 17 hours agomessage-square33fedilinkfile-text
minus-squarelmuel@sopuli.xyzlinkfedilinkEnglisharrow-up13·13 hours agoMein lokales LLM, welches bekanntlich immer Recht hat, sagt folgendes dazu:
minus-squaresobanto@feddit.orglinkfedilinkarrow-up3·11 hours agoWas verwendest du lokal? Und was für Hardware?
minus-squarehoshikarakitaridia@lemmy.worldlinkfedilinkarrow-up3·10 hours agoSieht aus nach open webui Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
minus-squarelmuel@sopuli.xyzlinkfedilinkEnglisharrow-up4·9 hours agoRichtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen. Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.
Mein lokales LLM, welches bekanntlich immer Recht hat, sagt folgendes dazu:
Was verwendest du lokal? Und was für Hardware?
Sieht aus nach open webui
Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
Richtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen.
Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.