binär-11110110111
Software-Overclocker(in)
Ich nutze LLM Q4-Modelle (4-Bit-Quantisierung). Der Qualitätsverlust (im Vergleich zu FP16-Originalen) ist minimal. Selbst "Overkillmodelle" laufen auf meinen 64GB Ram. ABER Firmen wollen maximale Qualität, da wird gerne mal das Qwen 3 135b FP16 geladen, Dateigröße 400GB.Die sollen mal endlich einen Weg finden, wie man die LLMs anders besser machen kann als nur durch MEHR SPEICHER.
Aber in dem Wettrennen nehmen sie wohl den kürzesten Weg, egal wie teuer es ist. Bin gespannt, wann die ersten Investoren die Reißleine ziehen...OpenAI soll ja angeblich 2027 pleite sein, wenn nicht massiv Geld weiter rein gepumpt wird trotz exorbitanter Verluste.
.gif)


