Eine interessante Metrik, die Leistung am Energieverbrauch festzumachen.
Somit wären meine GTX 670, 980Ti und 1060 6GB zusammen so gut, wie eine 5090
Milliarden nehme ich auch, wenn's sein muss ...
Dann baust du dir aus den Karten ein Haus oder?
Dann kann Bill Gates mit seiner Bude einpacken.
Es gibt jetzt schon lokakel Modelle die hervorragend auf einer 4090 laufen, OHNE CLOUD UND OHNE INET ZUGANG!!!! Und ohne nach Hause zu telefonieren.
Das sind dann die billigen Modelle, die man bekommt, wenn man Chat GPT etwas zu sehr genervt hat. Wobei: auch die dürften noch mit deutlich mehr RAM ausgeführt werden, als das, was dem Normalo so zur Verfügung steht.
Weil uns die Tech Bros ihre Abos verkaufen wollen.... In 5-10 Jahren gibt es hervorragende lokale KI Modelle die auf ner Blechdose laufen.
Und dann wird es wesentlich bessere Modelle geben, die zentral auf dem Server laufen. Das ist leider dem Prinzip geschuldet: je mehr Speicher, iumso mehr Parameter und umso bessere Ergebnisse.
Geht jetzt schon mit lokalen Modellen aus China, die ohne Inet Zugang laufen.
Die sind mindestens auf Niveau von Chat GPT.
Soweit ich weiß sind die in allen Belangenb unterlegen, etwa 1-2 Jahre hinten dran, was da eine Ewigkeit ist.
Heutige Cloud-KIs sind wie gemietete Pferdekutschen mächtig, aber träge und an der Leine des Internets. Lokale Modelle sind die neuen Autos: Sie bringen die volle Leistung direkt, offline und privat aufs eigene Gerät. Ohne Abo Gebühren und mit besserm Datenschutz.
Lokale KIs sind eher das Fahrrad, der Vergleich passt.
Was passiert eigentlich in ein paar Jahren mit der ganzen ausgedienten KI Hardware? Müllhalde Indien?
Momentan wird die ja eher mehr wert.
Aber irgendwann wird es in den Gembrauchtmarkt und dann auf den Schrottplatz gehen. So, wie quasi alle Technik oder nutzt du noch Scart Kabel am neuen Fernseher.
Wenn es dann geknallt hat, wird Hardware wieder billiger.
Das dauert dann noch ein paar Jahre und Hardwarepreise werden dann ein geringes Problem sein.
Um ehrlich zu sein, sind die jetzt schon lächerlich gering, wenn man den Gesamtkontext betrachtet. WEnn ich mir heute einen PC zusammenstellen würde, dann wohl mit 48GB RAM (+350€ gegenüber Normal) und statt einer RTX 5090, die ist mir zu teuer, eine RTX 5070Ti (+300€). Ich würde also, gegenüber dem Normalpreis, 700€ mehr bezahlen. Fraglich, ob ich bei einer Wirtschaftkriese besser wegkäme. Ich vermute mal, dass man mirr den krempel dann sogar schenken könnte und ich würde immer noch draufzahlen.
Oh, ach ja: einiges ist, dank der Kriese, noch billiger geworden (Mainboards usw.), das müßte man dann von den 700€ abziehen
Da fragt man sich ernsthaft, wie der Strombedarf gedeckt wird. Da müssen ja die Großkunden selber Kraftware bauen lassen.
Machen sie doch Elon Musk hat einen Haufen Gaskraftwerke geordert, Harrisburg wurde wieder in Betrieb genommen und auch ansonsten verkauft sich alles, was Strom Erzeugt und einfach zu installieren ist.
