News Chinas KI-Beschleuniger: Huawei Atlas 300I Dual-GPU mit 96 GiB zerlegt

PCGH-Redaktion

Kommentar-System
Teammitglied
Der Youtube-Kanal Gamers Nexus hat einen KI-Beschleuniger aus China gekauft und in Einzelteile zerlegt: die Huawei Atlas 300I. Trotz 96 GiB VRAM kann die Dual-GPU-Grafikkarte technisch nicht mit der westlichen Konkurrenz mithalten.

Was sagt die PCGH-X-Community zu Chinas KI-Beschleuniger: Huawei Atlas 300I Dual-GPU mit 96 GiB zerlegt

Bitte beachten: Thema dieses Kommentar-Threads ist der Inhalt der Meldung. Kritik und allgemeine Fragen zu Online-Artikeln von PC Games Hardware werden hier gemäß der Forenregeln ohne Nachfrage entfernt, sie sind im Feedback-Thread besser aufgehoben.
 
Pff, das ist noch gar nichts.
Das ist nur vorbereitendes Geplänkel - Position einnehmen, sich in Stellung bringen...

Huawei hat kürzlich Patente zu ternary Compute angemeldet. Ternary mit drei Werten (also Trits), anstatt des bekannten binary mit nur zwei Bits (es befindet sich somit zwischen der Binären Welt von Ja und Nein und der Analogen Welt mit unendlichen Zwischenwerten.)

Ternary Compute wurde bereits in der 50er von den Russen erfolgreich umgesetzt.

Es ist eine wichtige Voraussetzung bei der Berechnung von Statistic Compute - also abseits von deterministischen Berechnungen, hin zu Wahrscheinlichkeitsberechnungen und Statischen Wahrscheinlichkeitsverteilungen, wie es bei Neuronalen Netzwerken und allem rund um das schwammige Buzzword "AI" (oder deutsch "KI") gebraucht wird.

Massiv parallelisierende binäre GPUs sind nämlich dafür eben gerade nicht der heilige Gral.
Der Ressourcenverbrauch und Aufwand läuft jetzt schon massiv in Grenzen.
 
Zuletzt bearbeitet:
Pff, das ist noch gar nichts.
Das ist nur vorbereitendes Geplänkel - Position einnehmen, sich in Stellung bringen...

Huawei hat kürzlich Patente zu ternary Compute angemeldet. Ternary mit drei Bits, anstatt des bekannten binary mit nur zwei Bits (es befindet sich somit zwischen der Binären Welt von Ja und Nein und der Analogen Welt mit unendlichen Zwischenwerten.)

Ternary Compute wurde bereits in der 50er von den Russen erfolgreich umgesetzt.

Es ist eine wichtige Voraussetzung bei der Berechnung von Statistic Compute - also abseits von deterministischen Berechnungen, hin zu Wahrscheinlichkeitsberechnungen und Statischen Wahrscheinlichkeitsverteilungen, wie es bei Neuronalen Netzwerken und allem rund um das schwammige Buzzword "AI" (oder deutsch "KI") gebraucht wird.

Massiv parallelisierende binäre GPUs sind nämlich dafür eben gerade nicht der heilige Gral.
Der Ressourcenverbrauch und Aufwand läuft jetzt schon massiv in Grenzen.
Ist ja ganz toll Sherlock. Ist das copy paste aus der letzten Gamestar?

Warum hat sich denn diese Überragende Idee denn bisher nicht durchgesetzt? Achja, weil es gar nicht so überragend ist. Ein Computer besteht nicht einfach nur aus irgendwelchen Bits und wenn man die Anzahl der Zustände erhöht, dann wird irgendetwas schneller oder effizienter. Die ganzen Algorithmen, Datenstrukturen/Repräsentation, usw ist alles auf binarsystem ausgelegt. Die Umstellung wäre extremst aufwändig und selbst Huawei hat dazu gesagt, dass da überhaupt nichts sicher ist, ob da überhaupt jemals etwas umgesetzt wird.
Gerade bei KI gibt es etliche andere Ansätze zur Optimierung, wie quantitisierte Daten, oder Mixed precision oder spezielle Tensor Cora oder...
Usw muss los.

Und ganz nebenbei sind das nicht 3 Bits, sondern 1 trit. Großer Unterschied;)
 
Pff, das ist noch gar nichts.
Das ist nur vorbereitendes Geplänkel - Position einnehmen, sich in Stellung bringen...

Huawei hat kürzlich Patente zu ternary Compute angemeldet. Ternary mit drei Bits, anstatt des bekannten binary mit nur zwei Bits (es befindet sich somit zwischen der Binären Welt von Ja und Nein und der Analogen Welt mit unendlichen Zwischenwerten.)

Ternary Compute wurde bereits in der 50er von den Russen erfolgreich umgesetzt.

Es ist eine wichtige Voraussetzung bei der Berechnung von Statistic Compute - also abseits von deterministischen Berechnungen, hin zu Wahrscheinlichkeitsberechnungen und Statischen Wahrscheinlichkeitsverteilungen, wie es bei Neuronalen Netzwerken und allem rund um das schwammige Buzzword "AI" (oder deutsch "KI") gebraucht wird.

Massiv parallelisierende binäre GPUs sind nämlich dafür eben gerade nicht der heilige Gral.
Der Ressourcenverbrauch und Aufwand läuft jetzt schon massiv in Grenzen.

Und wieso hat das vor denen sonst niemand gemacht? Was sind die Nachteile?
 
Ist ja ganz toll Sherlock. Ist das copy paste aus der letzten Gamestar?

Warum hat sich denn diese Überragende Idee denn bisher nicht durchgesetzt? Achja, weil es gar nicht so überragend ist. Ein Computer besteht nicht einfach nur aus irgendwelchen Bits und wenn man die Anzahl der Zustände erhöht, dann wird irgendetwas schneller oder effizienter. Die ganzen Algorithmen, Datenstrukturen/Repräsentation, usw ist alles auf binarsystem ausgelegt. Die Umstellung wäre extremst aufwändig und selbst Huawei hat dazu gesagt, dass da überhaupt nichts sicher ist, ob da überhaupt jemals etwas umgesetzt wird.
Gerade bei KI gibt es etliche andere Ansätze zur Optimierung, wie quantitisierte Daten, oder Mixed precision oder spezielle Tensor Cora oder...
Usw muss los.

Und ganz nebenbei sind das nicht 3 Bits, sondern 1 trit. Großer Unterschied;)

Die Idee gab es schon immer, konnte aber nie verfolgt werden,
weil Computer mit Strom betrieben und die Transistoren,
vorher Radioröhren und Relais, zur Schaltung nur 2 Zustände kennen,
an oder aus.

Strom fließt gerade oder er fließt nicht.
Deswegen bezeichnet man den Zustand eines Bits als 1 oder 0 ,
oder I/o oder in der technischen Variante H/L.

Strom fließt oder er fließt nicht.
Das ist aber völlig inneffizient.

Die Zahl 50 z.B. wird im Binärsystem so dargestellt: 0011 0010

Eine zweistellige Zahl benötigt 8 Zeichen zur Darstellung!!!
Von 8-stelligen Zahlen oder Brüchen, wollen wir jetzt erst gar nicht anfangen.

Völlig ineffizient.

Man sieht anhand der Tabelle relativ schnell wieviel weniger Aufwand ein System erlauben würde, das 3 Zustände kennt.

1760894346169.png
 
Zuletzt bearbeitet:
Ist ja ganz toll Sherlock. Ist das copy paste aus der letzten Gamestar?

Warum hat sich denn diese Überragende Idee denn bisher nicht durchgesetzt? Achja, weil es gar nicht so überragend ist. Ein Computer besteht nicht einfach nur aus irgendwelchen Bits und wenn man die Anzahl der Zustände erhöht, dann wird irgendetwas schneller oder effizienter. Die ganzen Algorithmen, Datenstrukturen/Repräsentation, usw ist alles auf binarsystem ausgelegt. Die Umstellung wäre extremst aufwändig und selbst Huawei hat dazu gesagt, dass da überhaupt nichts sicher ist, ob da überhaupt jemals etwas umgesetzt wird.
Gerade bei KI gibt es etliche andere Ansätze zur Optimierung, wie quantitisierte Daten, oder Mixed precision oder spezielle Tensor Cora oder...
Usw muss los.
Schau mer mal ... Sherlock. Du weisst es ja besser, was machbar ist, was nicht und warum das dann gerade eine Renaissance erlebt.

Und nein, ich verfolge die Gamestar nicht.

Ich habe auch nicht behauptet, dass wir alles in Computern "umstellen" müssen.
Es gibt Problemstellungen, die nicht mehr praktikabel mit gewissen Ansätzen zu lösen sind. Spezielle Ansätze sind dann zielführender.

Daher gibt es z.B. GPUs, die besser skalieren aber sehr viel spezieller sind, als die sehr allgemein einsetzbaren CPUs.
Oder Gründe, warum spezielle Schaltkreise wie ASICS mittlerweile bei Krypto effizienter eingesetzt werden, als die Anfänge mit skalierten GPUs.

Und Deep Learning oder LLMs haben genau solche Eigenschaften, wo deterministische massenhafte parallel-Berechnungen irgendwann unpraktisch werden und man besser eher stochastisch, evtl. mit drei Werten verarbeiten könnte.

Gerade bei KI ist das interessant und wesentlich effizienter bei weniger Ressourcen-Bedarf ...

...Sherlock ...

Und so am Rande: bist Du Dir sicher, dass es extremst aufwendig würde?
"Datenstruktur/Repräsentation usw. ist alles auf Binary ausgelegt"? Ganz sicher? In Speicherregistern und Kommunikation haben wir es schon: GDDR6X und 7 nutzen schon physische trinäre Signale, USB 4.2, Thunderbolt 5 etc. nutzen physische trinäre Signale, Solid State Drives sind sogar Multilevel - quadbit, pentabit ...
Vielleicht schaust Du Dir mal dazu Dr. Steven Bos an ... Sherlock ...

Und ganz nebenbei sind das nicht 3 Bits, sondern 1 trit. Großer Unterschied;)
Ja, da habe ich mich verschrieben (wollte eigentlich "3 Werte" schreiben). Habe es oben schon korrigiert :daumen:


Und wieso hat das vor denen sonst niemand gemacht? Was sind die Nachteile?
Die Nachteile sind, dass sich die gesamte Computerwelt irgendwann auf Binär eingeschossen hat, dies breit zur Verfügung steht und somit direkt anwendbar ist.
Es wird ab einer gewissen Größenordnung aber unpraktisch und Spezialanwendungen müssen ran.

An dem Punkt sind wir: GPUs bringen's nicht mehr, lassen sich nicht mehr massiv weiter-skalieren, ohne massive Ressourcenbelastung und liefern umgekehrt relativ ernüchternde Steigerungen. Der Aufwand wird exponentiell größer.
Wenn man mit einem Ansatz nicht mehr weiter kommt, muss ein anderer her.


Die Idee gab es schon immer, konnte aber nie verfolgt werden,
weil Computer mit Strom betrieben und die Transistoren,
vorher Radioröhren und Relais, zur Schaltung nur 2 Zustände kennen,
an oder aus.

Strom fließt gerade oder er fließt nicht.
Davor gab es Analoge Computer ;)
Mit "ganz vielen" Zwischenzuständen :D

Und ja, die Russen haben in den 50ern gezeigt, dass Ternäre Computer funktionieren und effizienter sind. Da war das Rennen aber schon entschieden und die Welt hat auf Binär gesetzt.
Aber was praktisch ist, kommt irgendwann wieder, wann der Bedarf besteht :daumen:
 
Zuletzt bearbeitet:
zum eigentliche Thema: sehr sehr spannend - bin schon neugierig, wie weit diese Modelle mittlerweile ranschnuppern können - regulär dürften die grade mal 1/10 der nVidia Karten kosten und nur 1/4 der TDP verballern. Sollten sie bspw. auch etwa 1/4 der Leistung bringen, wären sie klar das bessere Produkt... kann ich mir zwar nicht recht vorstellen, aber mal schaun - gewichten lässt sich das erst nach Tests ...spannend allemal
 
Faktor 9 (200GB/s zu 1,8TB/s) ist schon krass.
"KI" Anwendungen "leben" vom Speicher und dessen Performance.
Die 96GB helfen da natürlich und der Preis auch.
 
Davor gab es Analoge Computer ;)
Mit "ganz vielen" Zwischenzuständen :D

Bin jetzt bei dem Begriff analoger "Computer", zweigeteilt.

Ich lehne mich bei dem Begriff Computer eher an die Definition von Turing/von Neumann Architektur an.

Ja, es gibt analoge Rechner, allerdings sind diese nicht in der
Lage Software oder Programme abzuarbeiten und zu abstrahieren,
sondern sind immer festverdrahtete Einheiten zur jeweiligen Lösung eines
ganz spezifischen Problems.

Möchte man z.B. Flugbahn und Geschwindigkeit eines Flugzeugs berechnen,
kann die festverdrahtete Einheit zunächst das Eine, dann das Andere.

Ein Algorithmus ist in der Regel nicht möglich.
 
Bin jetzt bei dem Begriff analoger "Computer", zweigeteilt.

Ich lehne mich bei dem Begriff Computer eher an die Definition von Turing/von Neumann Architektur an.
Computer heisst erst mal nur "computational machine", also eine Maschine, die rechnet.
"Computation" (Berechnung) ist jede Art von arithmetischer oder nicht-arithmetischer definierter Berechnung. Algorithmen sind Handlungsvorschriften, für solche Berechnungen.

Auch ein Analoger Computer ist ein Computer.
Man kann mit Analogrechnern z.B. hervorragend Differentialgleichungen lösen.

Es gibt mechanische Analogrechner, pneumatische, hyadraulische (der MONIAC war witzig, mit Wasserflüssen) und natürlich elektrische. The Analaog Thing wurde mittels "Patchkabeln" programmiert.
Der AKAT-1 war sogar Transistorbasiert.

Fun fatc: sogar Menschen, die dafür angestellt waren, den ganzen Tag zu rechnen, wurden "Computer" genannt (siehe NASA)

Ja, es gibt analoge Rechner, allerdings sind diese nicht in der
Lage Software oder Programme abzuarbeiten und zu abstrahieren,
sondern sind immer festverdrahtete Einheiten zur jeweiligen Lösung eines
ganz spezifischen Problems.
Kann man schon programmieren. Elektrische Analog-Computer meist über Patchfelder oder Potentiometer.
 
Computer heisst erst mal nur "computational machine", also eine Maschine, die rechnet.
"Computation" (Berechnung) ist jede Art von arithmetischer oder nicht-arithmetischer definierter Berechnung. Algorithmen sind Handlungsvorschriften, für solche Berechnungen.

Auch ein Analoger Computer ist ein Computer.
Man kann mit Analogrechnern z.B. hervorragend Differentialgleichungen lösen.

Es gibt mechanische Analogrechner, pneumatische, hyadraulische (der MONIAC war witzig, mit Wasserflüssen) und natürlich elektrische. The Analaog Thing wurde mittels "Patchkabeln" programmiert.
Der AKAT-1 war sogar Transistorbasiert.

Fun fatc: sogar Menschen, die dafür angestellt waren, den ganzen Tag zu rechnen, wurden "Computer" genannt (siehe NASA)


Kann man schon programmieren. Elektrische Analog-Computer meist über Patchfelder oder Potentiometer.

Ich kenne den Wikipedia-Eintrag zu Computer.

Dennoch bevorzuge ich den geläufigen Begriff nach der Definition Turing/von Neumann.
 
Zurück