NPU-Prozessoren: Schnickschnack oder die Zukunft?

[Andreas1975]

Achso... definierst du das neu?

In meinem Beitrag, für meinen Beitrag = ja. Im übrigen hat mir gefallen eine englische Abkürzung für meinen in deutsch geschriebenen Beitrag zu nutzen.

Was ist denn für dich "angelernte Intelligenz" und wie unterscheidet die sich von "künstlicher Intelligenz"?
Welche ja eigentlich auch dazu lernt und sich weiter entwickelt.

KI mag dazu lernen und sich weiterentwickeln. Bei der Weiterentwicklung bin ich übrigens skeptisch ob das tatsächlich mit den Erfahrungsgewinn von Lebewesen vergleichbar ist.
ZUm Beispiel der Mensch lernt von seiner Umgebung. Er lernt das was er für das Leben braucht. Ab und an lernt er auch Dinge welche er nicht braucht welche er aber lernen muss. Aber kein Mensch lernt mehr oder weniger "Alles". Universalgelehrte sind ja schon lange Geschichte. Das der Mensch nicht alles lernt bzw alles weis hat natürlich seinen Grund.
Klugscheißer mag niemand!
Der Satz gilt natürlich auch für KI, Computer oder Maschinen.

 

[RyzA]

KI mag dazu lernen und sich weiterentwickeln. Bei der Weiterentwicklung bin ich übrigens skeptisch ob das tatsächlich mit den Erfahrungsgewinn von Lebewesen vergleichbar ist.
ZUm Beispiel der Mensch lernt von seiner Umgebung. Er lernt das was er für das Leben braucht. Ab und an lernt er auch Dinge welche er nicht braucht welche er aber lernen muss. Aber kein Mensch lernt mehr oder weniger "Alles". Universalgelehrte sind ja schon lange Geschichte. Das der Mensch nicht alles lernt bzw alles weis hat natürlich seinen Grund.
Klugscheißer mag niemand!
Der Satz gilt natürlich auch für KI, Computer oder Maschinen.

Die KI antwortet ja nur wenn man sie fragt. Von daher verschmerzbar.

 

[Misanthrop68]

Gibt es überhaupt eine Intelligenz welche nicht dazu lernt?

Gibt es überhaupt Intelligenz? Die Menschheit hat die Existenz nicht bewiesen!

 

[PCGH_Torsten]

Mit dem Punkt bist du nicht allein.

Eigentlich will Microsoft mit solchen Sachen, wie Recall oder Copilot, die private Massennutzung von KI-Anwendungen etablieren. Privatkunden sollen sich einen Copilot+-PC (ab 40 TOPS) kaufen - das Business erhält den 40 TOPS-Standard und soll KI-Anwendungen produzieren. So wirklich neu ist daran nur, dass es um PCs geht, denn in mobilen Privatgeräten sind NPU seit einiger Zeit vorhanden.

Ich frage mich nur, in welcher Art und in welchen Umfang KI-Anwendungen in den nächsten Jahren auf PCs oder eben Laptops genutzt werden (können). ChatGPT und Bildbearbeitung sind lokal schneller und effizienter, dass spart Miniatomkraftwerke, schön und gut. Aber was lässt sich erwarten, damit sich der Aufpreis lohnt?

ChatGPT lokal? Tell me more.
Die großen/namenhaften Modelle werden von ihren Entwicklern alle unter Verschluss gehalten. Zum einen, weil ihre Größe ein Problem für dezentralen Einsatz ist, zum anderen weil man damit Geld verdienen will und nicht das mühsam erarbeitete in die breite Masse streuen.

Letztere Komponenten ist auch für den künftigen Wert von NPUs ein entscheidender Faktor: Aktuell wird und werden die KI-Entwicklung sowie alle großen Modelle von Firmen be-/vorangetrieben, die bereits im konventionellen Netz als Datenaggreagatoren agieren. Ich persönlich bezweifle, dass diese künftig großes Interesse an offline-Ansätzen haben und fremde Daten dezentral statt auf ihren Servern bearbeiten wollen. Bei den kleineren, zweckgebundenen KIs, also beispielsweise ausgeweitete und mit Buzzword versehene Algorithmen bei der Bildbearbeitung, herrscht aktuell noch ein Wettkampf um etwaige Standards. OpenVino? CUDA? Was von Microsoft? Über eine GPU-Schnittstelle umgesetzt? Solange man nicht weiß, was sich durchsetzt, kann man auch nur schwer gezielt NPUs auswählen. Wesentlich wichtiger dürften über die Lebensdauer heute gekaufter Notebooks jedenfalls die konventionellen Prozessor-Fähigkeiten sein. Da man abseits der genannten M.2-Module ohnehin keine Wahl hat, sollte man also die CPU nehmen, die man möchte und die hat dann halt, außer im Low-End- oder antik-Bereich, irgend eine mehr oder minder brauchbare NPU dabei.

 

[Herr_M]

ChatGPT lokal? Tell me more.

Nein, das geht nicht. Habe vermutlich LLM gedacht und ChatGPT geschrieben.

Solange man nicht weiß, was sich durchsetzt, kann man auch nur schwer gezielt NPUs auswählen. Wesentlich wichtiger dürften über die Lebensdauer heute gekaufter Notebooks jedenfalls die konventionellen Prozessor-Fähigkeiten sein.

Danke.

Da man abseits der genannten M.2-Module ohnehin keine Wahl hat, sollte man also die CPU nehmen, die man möchte und die hat dann halt, außer im Low-End- oder antik-Bereich, irgend eine mehr oder minder brauchbare NPU dabei.

... und auch die wird vorerst wohl nur für Kleinigkeiten reichen. Hatte gestern gelesen, wie es bei Inzoi läuft. Die NPC werden CPC (Co-Playing-Character) genannt, weil sie nVidias ACE zur 'Entscheidungsfindung' nutzen. Klingt nach einer typischem Aufgabe für Prozessoren, wird aber von der Grafikkarte gestemmt, weil heutige NPU zu solchen Leistungen gar nicht imstande sind.

Wirklich interessant ist Live-Übersetzung - einerseits wegen des Star Trek-Vibes, andererseits weil es wirklich nützlich wäre. Aber sowas will ich eher fürs Smartphone.

 

[soulstyle]

Gibt es überhaupt Intelligenz? Die Menschheit hat die Existenz nicht bewiesen!

Ist auch die Frage der Akzeptanz, akzeptiert man das, was man festlegt als Intelligenz?

 

[PCGH_Torsten]

Nein, das geht nicht. Habe vermutlich LLM gedacht und ChatGPT geschrieben.


Danke.


... und auch die wird vorerst wohl nur für Kleinigkeiten reichen. Hatte gestern gelesen, wie es bei Inzoi läuft. Die NPC werden CPC (Co-Playing-Character) genannt, weil sie nVidias ACE zur 'Entscheidungsfindung' nutzen. Klingt nach einer typischem Aufgabe für Prozessoren, wird aber von der Grafikkarte gestemmt, weil heutige NPU zu solchen Leistungen gar nicht imstande sind.

Wirklich interessant ist Live-Übersetzung - einerseits wegen des Star Trek-Vibes, andererseits weil es wirklich nützlich wäre. Aber sowas will ich eher fürs Smartphone.

Zur Leistungsskalierung kann ich beim aktuellen Stand der Software noch nichts sagen. Aber Live-Transkription inklusive Umwandlung in andere Sprache gehörte schon zu den Meteor-Lake-Techdemos, also 10-TOPS-Klasse. Mit den 50 Tops aktueller Notebook-Lösungen sollte eine zusätzliche Sprachausgabe locker drin sein und mit den bis über 100 Tops versprechenden M.2-Lösungen erst recht. Wie du selbst sagst, möchte man das ja eigentlich auf Smartphones mit einem Bruchteil des Power-Budgets und verspricht es dort bereits für die nahe Zukunft.

Aber die Qualität der bislang gezeigten, erst recht der später verfügbaren Modelle steht auf einem anderen Blatt und wäre gegen den Leistungsbedarf abzuwägen und ohne einheitliche Schnittstelle ist letzterer sowieso schwer abzuwägen. Bislang sind sich die Hersteller nicht einmal einig, bei welcher Genauigkeit sie ihre Leistungsangaben ermitteln* und welche praxistaugliche Modelle dann später tatsächlich wie anfordern, muss sich zeigen. Aus ähnlichen Gründen bin ich auch vorsichtig mit Einschätzungen zu neuronalen Netzen in Spielen. Nvidia-Technik läuft logischerweise nur auf Nvidia-Hardware, aber ob das was mit deren Rechenleistung zu tun hat, insbesondere wenn noch genug für Rendering übrig bleiben muss?

*: Aktuell scheint "die niedrigste unterstützte Genauigkeit" verbreitet zu sein, um die größtmögliche Zahl zu erhalten. Wenn sich der Trend fortsetzt, ist es also nur eine Frage der Zeit, bis sind INT1 etabliert.

 

[Herr_M]

Also wäre es in Bezug auf die Neuanschaffung eines Laptops gegenwärtig vernünftig, Standards abzuwarten und ggf. nachzurüsten, anstatt jetzt schon aus Angst etwas zu verpassen Geld in den Kauf von NPUs zu inverstieren, ja?

 

[Andreas1975]

Also wäre es in Bezug auf die Neuanschaffung eines Laptops gegenwärtig vernünftig, Standards abzuwarten und ggf. nachzurüsten, anstatt jetzt schon aus Angst etwas zu verpassen Geld in den Kauf von NPUs zu inverstieren, ja?

Kauf Dir irgendeinen Laptop wenn Du ihn jetzt brauchst. Wenn Du KI benötigst kaufe dir einen Neuronenstecker und schließe Dich über die Nasenlöcher selber an. Ohren sind da doof, weil Du nichts mehr hörst.

 

[Misanthrop68]

Ich rechne noch damit, das es noch ein paar Jahre braucht, bis KI sich in den Privatbereich nützlich einsetzen lässt.
Da könnte es schon sein das dein jetzige Kaufentscheiden in Rente gehen möchte. Auch wenn diese schon eine NPU drin hat, dieser Laptop aber in allgemeinen schon als "langsam" empfunden wird.
Ich würde die Kaufentscheiden jetzt nicht von einer NPU abhängig machen.

 

[PCGH_Torsten]

Also wäre es in Bezug auf die Neuanschaffung eines Laptops gegenwärtig vernünftig, Standards abzuwarten und ggf. nachzurüsten, anstatt jetzt schon aus Angst etwas zu verpassen Geld in den Kauf von NPUs zu inverstieren, ja?

Ich persönlich halte es im Moment für gut möglich, dass die sich später durchzusetzenden Formate auch nicht nachrüstbar sein werden. KI steht gerade da, wo 3D-Beschleunigung Anfang der 90er stand, noch vor der Gründung von 3dfx: Es gibt ein paar coole Beispiele, was man damit machen kann. Aber die laufen auf Rack- bis Raum-großen Anlagen. Es gibt die Idee, dass man vieles davon lokal machen könnte. Aber das sind praxisferne Techdemos oder Mini-Funktionen, die via CPU in bestehende Programme implementiert werden. Und es gibt eine ganze Palette von Firmen, die Ideen haben, wie man den Gap dazwischen schließen könnte. Aber wer sich durchsetzt und was man damit am Ende tatsächlich macht, das wird sich erst ein paar Jahre später abzeichnen.

Da Laptops naturgemäß schlecht aufrüstbar sind, muss man daher meiner nach immer mit einplanen, dass man NPU-technisch in einer Sackgasse landet. Aber man kann darauf achten, dass der Laptop wenigstens in anderer Hinsicht die eigenen Bedürfnisse erfüllt und bezüglich KI muss man dann halt sehen, was sich ergibt.
Ein freier PCI-E-M.2 kann in größeren Geräten allgemein nicht schaden, eine Überzahl schneller USB-Ports auch nicht. Beide sind meiner Meinung nach wichtiger für künftige KI-Nutzung denn integrierte NPUs. Letztere werden zwar aktuell intensiv beworben, aber das wurden sie bei Meteor Lake und Phoenix auch schon – welche dann die die Mindestanforderungen von Microsoft um 75 Prozent verfehlten. Was aber nicht einmal ein Beinbruch ist, denn Windows AI ist bis heute mehr Versprechen denn Realität und ich wage zu behaupten, dass die meisten Besitzer mit ihrem 10-TOPS-Ryzen-7000-Notebook weniger Alltagseinschränkungen unterliegen als die Käufer eines voll zertifizierten 40-TOPS-Snapdragons, auf dem zwar Copilot+ gut läuft, aber leider nur ein Bruchteil aller x86-Anwendungen.

 

[Cleriker]

Also wäre es in Bezug auf die Neuanschaffung eines Laptops gegenwärtig vernünftig, Standards abzuwarten und ggf. nachzurüsten, anstatt jetzt schon aus Angst etwas zu verpassen Geld in den Kauf von NPUs zu inverstieren, ja?

Kommt darauf an. Wenn du immer nur kaufst, was du zu dem Zeitpunkt benötigst, dann schon. Wenn du gern ausprobieren möchtest, oder gewappnet sein, dann nicht.

 

[Andreas1975]

Alles Schnick Schnack
Moderne KI verliert gegen Atari2600 im Schach.
Für die zu spät geborenen. Der Atari 2600 ist nicht der derzeit heiße Scheiss sondern ein 8 Bit Rechner vom Ende der 70er Anfang der 80er. Sprich ein richtiger Endgegner für jeden Schachgroßmeister.

ChatGPT chancenlos: Atari von 1977 treibt die KI zur Verzweiflung

Künstliche Intelligenz zeigt beeindruckende Fähigkeiten, stößt aber manchmal an unerwartete Grenzen: So hat ChatGPT 4o, OpenAIs fortschrittlichstes KI-Modell, im Schach nicht den Hauch einer Chance gegen einen Atari 2600 aus dem Jahr 1977.

m.winfuture.de

 

[Misanthrop68]

Alles Schnick Schnack
Moderne KI verliert gegen Atari2600 im Schach.
Für die zu spät geborenen. Der Atari 2600 ist nicht der derzeit heiße Scheiss sondern ein 8 Bit Rechner vom Ende der 70er Anfang der 80er. Sprich ein richtiger Endgegner für jeden Schachgroßmeister.

ChatGPT chancenlos: Atari von 1977 treibt die KI zur Verzweiflung

Künstliche Intelligenz zeigt beeindruckende Fähigkeiten, stößt aber manchmal an unerwartete Grenzen: So hat ChatGPT 4o, OpenAIs fortschrittlichstes KI-Modell, im Schach nicht den Hauch einer Chance gegen einen Atari 2600 aus dem Jahr 1977.

m.winfuture.de

Schade das hier nicht die Party verlinkt wurde. Ich hätte gerne gesehen was die Beiden für Zuge gemacht haben.

 

[Herr_M]

Kommt darauf an. Wenn du immer nur kaufst, was du zu dem Zeitpunkt benötigst, dann schon. Wenn du gern ausprobieren möchtest, oder gewappnet sein, dann nicht.

Das sehe ich ähnlich. Nur selbst wenn ich gewappnet sein will oder mich gar dem Hype hingeben wollen würde, müsste ich doch arg bezweifeln, inwiefern 10 oder 50 TOPS überhaupt genügen. Davon abgesehen, lassen sich viele Dinge auch ohne NPU erledigen.

Anscheinend ist man aktuell besser (von Torsten) beraten, wenn man eine gewisse Adaptabilität kauft: M.2 und schnelle USB-Ports, um ggf. leistungstärkere NPU der kommenden Jahre für die Anwendungen der kommenden Jahre anbinden zu können. M.2 (intern) wäre wohl schneller als USB 4 (extern), aber sowas will ja auch mit genug Strom und entsprechender Kühlung versorgt werden. Das dürfte intern also bei weitem nicht so einfach zu realisieren sein, wie die 1000-3000 TOPS aktueller Desktop-Grafikkarten.

Ich glaube, wir sind einfach noch nicht soweit.

In der Umfrage hat jemand mit "Hab ich, würde nicht mehr darauf verzichten." abgestimmt. Würde zu gern wissen, warum.

 

[Cleriker]

Naja, es gibt ja nicht nur schwarz und weiß. Also nicht nur gar keine, oder volle Pulle. Was machen denn die meisten User privat damit? Sie erschaffen Bilder, oder lassen sich Texte auswerten, oder generieren. Das schafft eine aktuelle NPU doch und ist damit tauglich. Außerdem ist ja gar nicht mehr die Wahl gegeben. Wenn man eine aktuelles Notebook kauft, ist eine verbaut. Basta! Eine per USB, oder M.2 nachrüsten geht doch dann weiterhin. Warum sollte sich das ausschließlich?

Ich beispielsweise hab mich Recht viel damit beschäftigt, einfach um herauszufinden wie weit wir sind und persönlich hab ich fast gar kein Anwendungsgebiet dafür. Weder bin ich sonderlich kreativ unterwegs, noch lege ich Wert darauf, dass jemand für mich liest und interpretiert. Das mache ich gern selbst.

Meine Tochter ist da ganz anders. Da muss man schon aufpassen wer da die Hausaufgaben erledigt.

 

[Herr_M]

Es gibt schon noch Prozessoren ohne NPU-Kerne zur Auswahl, bspw. der 13900HX.

Mir geht es auch weniger um die aktuellen Spielereien, sondern die Optionen der nächsten Jahre. Ein neuer Laptop lässt sich gut 5 Jahre nutzen, mitunter auch 10 Jahre. Da MS nun den Copilot+-Standard zu etablieren versucht, vermute ich, dass es zunehmend mehr Anwendungen geben wird, die NPU nutzen werden, ggf. sogar exklusiv für NPU. Da könnte schon was dabei sein, was interessant ist.

Ein Beispiel wäre beim Gaming das Verhalten der NPC (siehe Inzoi) oder generell das Verhalten der Spielwelt. Da aber bereits die KI-Anforderderungen der Zois (Inzoi-NPC) über die GPU läuft, weil's die NPU nicht schafft, glaube ich nicht, dass es sich überhaupt lohnt, einen 275HX mit 10 TOPS zu kaufen.

Und die M.2-NPU müssen mit 5-10 Watt im Laptop auskommen. Gegenwärtig liegt man damit noch unter 50 TOPS. 5 Watt ließen sich in guten Laptops vermutlich noch kühlen, aber 10 Watt? Naja, da habe ich meine Zweifel.

 

[Olstyle]

40 Int4 TOPs bei <5W gibt es wohl mittlerweile

Generativer KI-Beschleuniger: Das innovative Hailo-10H M.2-Modul

Der generative KI-Beschleuniger transformiert die KI-Inferenz auf Edge-Geräten. Ideal für PCs, Smart Cars und Edge Computing.

hailo.ai

Dürfte also nicht soo lange dauern.