Ich finde diese ganze AI Ausrichtung wirklich wirklich fragwürdig. Bei den neueren Notebooks z.B. bei Intel Ultra 7 sind jetzt NPU Intel(R) AI Boost Kerne verbaut.
Auslastung bei 0%, Auslastung bei AI nutzen? 0%
Wofür sind die Kerne da? Um die AI zu unterstützen und performanter zu machen - Aussage KI.
Wo wird die Berechnung für die KI durchgeführt? In der Cloud.
Warum gibt es dann AI Recheneinheiten im Notebook, "damit die KI besser läuft."
Werden diese Rechenkerne irgendwie genutzt? Nein
War das Gerät aber teurer wegen einer AI überschrift? Ja
Merke den Fehler bei AI Unterstützten Prozessoren.
Ich bin 100% bei Dir beim Hinterfragen der Ausrichtung eindeutig nicht für 'AI Berechungen' geigneter Hardware bzw Produktgruppen. Da wird im Marketing viel Schindlunder betrieben und wer meint seine ChatGPT App oder der Chat im Browserfenster performen besser wegen ein paar NPUs, hat es halt nicht verstanden.
Genauso ist es richtig, dass diese Hardware nicht geeignet ist, große Modelle lokal auszuführen. Da fehelen ein paar Größenordnungen an Rechenkapazität und vor allem Speichergröße und -bandbreite.
Es gibt aber mittlerweile überraschend starke kleine Sprachmodelle (bis zu etwa 4B Parametern), die ganz spezifisch im Edge Computing ihren Platz haben. Und genau diese Modelle sind mit diesen etwas schwachbrüstigen Lösungen durchaus performant und für eine Vielzahl von Einsatzzwecken verwendbar:
- In Zusammenarbeit mit einem Cloud Modell ist spekulatives Deocing hervorragend, denn es erhöht einerseits die Geschwindigkeit, verringert aber vor allem den (zum Teil sehr teuren) Tokenbedarf des Cloudmodells unter Verwendung einer Harness wie ClaudeCode, KiloCode, OpenCode etc.
- lokale Transkription von Meetings und Gesprächen (Datenschutz)
- Sortierung, Erfassung und Embedding von großen, vertraulichen Datenmengen für zukünftige Bearbeitung
- Recherchearbeit bis hin zu Deep Research
- Bilderfassung und Überwachung
- etc pp
Die Produkte kommen aus meiner Sicht zu früh, denn diese Anwendungsfelder sind noch sehr weit von einer flächendeckenden Implementierug entfernt, aber sie werden eindeutig ihre Existenzberechtigung haben.
