News Leaker über Nvidia B100: "Das Ding ist ein Monster" - Vorstellung heute

[raPid-81]

Leider bezieht sich Mr. Lederjackes Aussage der vergangenen Woche, auf die ich hinsichtlich "Standard" anspiele, auf alles andere, als innerhalb eines Gremiums und unter Berücksichtigung mehrerer beteiligter Firmen, einen offenen und vernünftigen Industrie-Standard festzulegen^^

Wenn ich mich richtig erinnere dann bezog sich Jensen darauf der "Standard" zu sein. Heißt mit ihren Produkten müssen sich alle anderen messen. Und das ist aktuell definitiv der Fall.

Hast Du den Link dazu?

 

[Shinna]

Zudem haben Server einen deutlich höheren Airflow und viele kühlen auch mit kalter Luft und die warme Luft wird abgesaugt.

Wie moderne DataCenter sowas umsetzen ist mir vollkommen klar. Aber danke für die Hinweise. Es geht um den Umstand, dass B100 wohl ca. 1000w Abwärme pro GPU erzeugt. Hopper liegt hier bei rund 750w. Und Dell will das eben auch OHNE Liquid Cooling stemmen können. Das ist kein Pappenstiel. Da reicht es nicht die Front mit 12.000 RPM Delta Fans auszustatten.

 

[sandworm]

@sandworm hör auf mit deinem Unfug oder du darfst meine Ignore begrüßen.
Ich habe dir gerade auf AMDs eigener Seite gezeigt, dass der Llama 2 70B Bench eben nicht 20% schneller ist:

https://community.amd.com/t5/image/serverpage/image-id/100557i2BFED570AB2C0B86/image-size/large?v=v2&px=999

Und nachdem AMD das erste mal Unfug behauptet hat, zweifle ich die anderen Zahlen ebenfalls an.

Und was soll ich aus dieser von dir verlinkten Folie jetzt herauslesen.
Das ist ja sogar noch viel schlimmer als gedacht, hast mal genau hin geschaut, die Werte bei Nvidia wurden lediglich mit FP8 vs. den FP16 mit höherer Genauigkeit die bei AMD verwendet wurden ermittelt.
Es scheint das du dir soeben damit selbst ins Knie geschossen hast.

 

[danyundsahne]

Also ich fand die Vorstellung von MI300X auch eher positiv überraschend und hätte nicht gedacht, dass man H100 doch (teilweise) deutlich schlagen kann.
Auch mit den Nachtest, die ein paar Dinge klargestellt haben, trotzdem ein guter Vorsprung. Und das vom ach so kleinen AMD.

Dennoch wird NV mit Sicherheit All-in gehen beim B100 und wieder überholen. In ein paar Tests sicher nur knapp, wenn überhaupt. In anderen sicher wieder deutlich.

Und ja, MI400 kommt erst nächstes Jahr.

Aber so deutlich ist AMD überhaupt nicht abgeschlagen.
Mit B100 hat man sogar tatsächlich etwas auf AMD aufzuholen.

Also alleine dafür, Hut ab, AMD!

 

[MyticDragonblast]

High(FP64) und der Großteil von "Mid"(FP32)- Precision sind auf dem KI-Markt uninteressant, weil der Großteil von ML und AI mit Half(FP16) eher noch mit Low(FP8)-Precision arbeitet. NVidia kennt hier ihren Markt und entwickelt Spezialprodukte für diese momentan sehr große hippe Nische. Der wissenschaftliche Bereich ist quasi abgeschrieben und die paar Hansel, die FP32 fürs Gaming wollen oder FP64 in der Workstation brauchen, für die sind die Geforces und Quadros "gut genug" dank über Jahre gepflegtem Softwarestack und Zertifizierungen durch die CAD-Branchengrößen.
Wer Genauigkeit in seinem Großrechner will der findet da bei AMD das technisch bessere Angebot, wer quasi einen AI-FPGA(in dem Sinne) will, der kauft NVidia.

Was mich bei den Chiplet-Gerüchten Interessieren würde, das wären ja NVidias erste vorsichtige Schritte: Trennt man Funktionseinheiten, wie bei AMD(auch wenn es dort vornehmlich IO ist), also das, was im allgemeinen unter Chiplet verstanden wird, oder gibt es hier nur einen Multi-GPU-Cluster auf einem Package, der nach außen wie eine einzelne GPU wirkt(bei CPUs vergleichbar mit PentiumD oder Core2Quad)?

 

[theGucky]

Wie moderne DataCenter sowas umsetzen ist mir vollkommen klar. Aber danke für die Hinweise. Es geht um den Umstand, dass B100 wohl ca. 1000w Abwärme pro GPU erzeugt. Hopper liegt hier bei rund 750w. Und Dell will das eben auch OHNE Liquid Cooling stemmen können. Das ist kein Pappenstiel. Da reicht es nicht die Front mit 12.000 RPM Delta Fans auszustatten.

Es gab schon letztes Jahr ein Bericht:

Noctua-Luftkühler leitet 700 Watt von Intel-CPU ab

"Würden Sie sagen, dass 700 W bei Luftkühlung unmöglich sind?"

www.pcgameshardware.de

Hier hat ein Noctua SINGLE-Tower 700W abgeführt.

Der Knackpunkt bei Desktop CPUs ist es, das die Wärme PRO Kern sehr hoch ist und nicht schnell genug zum Kühler abgeführt werden kann.
Im Test mit den 700W wurde eine Xeon CPU genutzt, die hat pro Kern deutlich weniger Wärme als eine Desktop CPU.

Bei Hopper mit 750W vs Blackwell bei 1000W gibt es auch einen Unterschied.
Wenn Blackwell nun mit 2 DIEs kommt, so ist die Kühlfläche auch doppelt so groß wie Hopper. Die Menge an Kühlung die man pro mm² braucht, sinkt also um 33,3%, trotz höherem gesamt Stormverbrauch.
Mit der doppelten Fläche wird man auch einen doppelt so langen Kühler nutzen...
Und wie Abwärme geht ja direkt mit dem hohen Airflow raus.

 

[RawMangoJuli]

Mich interessiert da eig nur was für eine Transistorpackdichte 3nm schafft.

 

[ibn333]

Hat da jemand ein Gefühl dafür, wie sich so eine Leistung am Monitor auswirkt? Ist das dann noch im 4k Bereich mit x-100FPS oder geht es da schon Richtung 8K 120Hz oder so?

 

[Rollora]

Hat da jemand ein Gefühl dafür, wie sich so eine Leistung am Monitor auswirkt? Ist das dann noch im 4k Bereich mit x-100FPS oder geht es da schon Richtung 8K 120Hz oder so?

wasn für ne Leitung? Die Rede in der News ist von einm HPC Chip, nix da Gaming.
Von Nvidias neuem Gaming Lineup wirst du erst in 1 Jahr was hören

 

[Edelhamster]

Wenn ich mich richtig erinnere dann bezog sich Jensen darauf der "Standard" zu sein. Heißt mit ihren Produkten müssen sich alle anderen messen. Und das ist aktuell definitiv der Fall.

Hast Du den Link dazu?

Ne, gerade keinen Link parat, aber du hast doch bestimmt auch mitbekommen, dass Nvidia uns bereits vor geraumer Zeit darüber informiert hat, dass neben der Hardware vor allem die grundlegende Softwareumgebung immer ausschlaggebender wird um gewisse Workloads bestmöglich zu beschleunigen, oder?

Als einer der Pioniere im Bereich AI, sehr marketingaffiner GlobalPayer, und bestimmt auch in Abhängigkeit zur Bequemlichkeit des ein oder anderen Entwicklers, hat Nvidia es leider geschafft, dass augenblicklich sehr viele Anwendungsbereiche hinsichtlich AI auf CUDA Schnittstelle und Hardware kompiliert sind.
(Kannst ja mal auf Huggingface nach einem downloadbaren LargeLanguageModel suchen, welches nicht auf CUDA kompiliert ist. Fernab eines bspw. offziellen Llama 2 von Meta/Facebook habe ich da noch nicht wirklich viel gesehen)

Genau hier liegt mMn halt das Problem. Nvidia´s CUDA.

Eine proprietär genutzte Schnittstelle, welche die Ausführung entsprechend kompilierten Code´s auf Nvidia fremder Hardware erschwert, gar nicht erst ermöglicht und zur Krönung seitens Nvidia offiziell sogar verboten ist.
(CUDA-Kompatibilität: Ausführung auf fremder Hardware seit Jahren verboten (pcgameshardware.de))

Also scheiß ich persönlich auf irgendeine Hardware die heute von Nvidia vorgestellt wird, rein aus technischer Sicht nach AMD´s Mi200/300 wirklich niemanden vom Hocker reißen muss, und unterstütze oder feiere ganz sicher kein Unternehmen ab, wo der Chef vergangene Woche noch ganz unbekümmert von seinen Träumereien, den zukünftigen „Standard“ bilden zu wollen, philosophiert hat.

Übersetzt meinte er schlicht „Monopol“.
Und das versuchen Sie mMn mit unfairen Mitteln ganz Stark auf dem Rücken eines verschlossenen CUDA´s aufzubauen.

Ich bin für mehr Diversität in dem Bereich und halte den Einzug von NPU´s in die aktuellen Intel und AMD CPU´s als unglaublich wichtigen Schritt, um Nvidia hier zumindest als andernfalls womöglich ebenso unausweichlich gesetzter erster Instanz, zur Ausführung von Ai-Berechnungen lokal auf Client-PC´s, entgegenzuwirken.

Würde Nvidia echt wünschen, dass es irgendwann ein Thema für die EU-Kommission wird, sollte nachweislich darstellbar sein, dass Sie Ihre Marktmacht mit CUDA missbraucht haben.
Aber dazu quatschen wir dann vielleicht in 15 Jahren nochmal, bis das bürokratisch durch ist und dann gibt es womöglich auch wieder einen fairen Wettbewerb in dem sich sämtliche Anbieter mit gleichen Waffen untereinander messen..

edit:
Und auf welches Unternehmen hier am Ende dann irgendein Finanzheini seine Kohle setzt um monetären Reibach zu machen ist mir auch vollkommen egal.
So jemand hat einen komplett anderen Blickwinkel als der Tech-Nerd, den ich mir wünsche hier im PCGH-Forum anzutreffen, und verfolgt einzig seine eigenen gewinnorientierten Interessen.
Ich persönlich muss das zum Glück nicht und kann hier offen meine freie Meinung äußern.

 

[Azzzz]

haben will

 

[Kubiac]

Ja, wenn man die Konkurrenz mit der Handbremse laufen lässt. Der von AMD korrigierte Benchmark zeigt ein anderes Bild:

Competitive performance claims and industry leading Inference performance on AMD Instinct MI300X

On December 6th, AMD launched our AMD Instinct MI300X and MI300A accelerators and introduced ROCm 6 software stack at the Advancing AI event. Since then, Nvidia published a set of benchmarks comparing the performance of H100 compared to the AMD Instinct MI300X accelerator in a select set of...

community.amd.com

Benchmarks und Tests von AMD oder Nvidia selbst sind für die Tonne. Warte noch etwas auf unabhängige Vergleiche, die sicherlich in den nächsten Wochen kommen werden. Dann wissen wir alle bescheid.

haben will

Wofür? Gaming ist damit nicht möglich. 😊 Die Preis werden, Nvidia typisch exorbitant sein.

 

[CD LABS: Radon Project]

Bin gespannt, schaue aber dennoch ziemlich sicher nicht live. Das ist es mir, von der Uhrzeit her, nicht wert.

 

[raPid-81]

Ne, gerade keinen Link parat, aber du hast doch bestimmt auch mitbekommen, dass Nvidia uns bereits vor geraumer Zeit darüber informiert hat, dass neben der Hardware vor allem die grundlegende Softwareumgebung immer ausschlaggebender wird um gewisse Workloads bestmöglich zu beschleunigen, oder?

Kein Link? Du behauptest Jensen Huang hätte etwas gesagt (und wie er es gemeint hat) und lieferst nichts? Sorry, aber das ist schwach, wirklich schwach.

Als einer der Pioniere im Bereich AI, sehr marketingaffiner GlobalPayer, und bestimmt auch in Abhängigkeit zur Bequemlichkeit des ein oder anderen Entwicklers, hat Nvidia es leider geschafft, dass augenblicklich sehr viele Anwendungsbereiche hinsichtlich AI auf CUDA Schnittstelle und Hardware kompiliert sind.
(Kannst ja mal auf Huggingface nach einem downloadbaren LargeLanguageModel suchen, welches nicht auf CUDA kompiliert ist. Fernab eines bspw. offziellen Llama 2 von Meta/Facebook habe ich da noch nicht wirklich viel gesehen)

Genau hier liegt mMn halt das Problem. Nvidia´s CUDA.

Du vergisst dass Nvidia CUDA (und davor UDA) vor 20 Jahren angefangen hat zu entwickeln. Einfach so, weil es nichts vergleichbares gab, mit seeeehr viel Geld. Und dieser Invest rentiert sich erst seit kurzem.

So gesehen hat Nvidia damals ein großes finanzielles Risiko auf sich genommen, ohne zu Wissen ob man damit auch einen Markt bedienen können wird, und der Welt damit neue Möglichkeiten gegeben.

Dass man das nicht frei verfügbar macht, nach Milliarden von $ die man reingesteckt hat, finde ich persönlich verständlich.

Eine proprietär genutzte Schnittstelle, welche die Ausführung entsprechend kompilierten Code´s auf Nvidia fremder Hardware erschwert, gar nicht erst ermöglicht und zur Krönung seitens Nvidia offiziell sogar verboten ist.
(CUDA-Kompatibilität: Ausführung auf fremder Hardware seit Jahren verboten (pcgameshardware.de))

So schützt man sein geistiges Eigentum. Ganz normal, hier gibt es nichts zu sehen.

Also scheiß ich persönlich auf irgendeine Hardware die heute von Nvidia vorgestellt wird, rein aus technischer Sicht nach AMD´s Mi200/300 wirklich niemanden vom Hocker reißen muss, und unterstütze oder feiere ganz sicher kein Unternehmen ab, wo der Chef vergangene Woche noch ganz unbekümmert von seinen Träumereien, den zukünftigen „Standard“ bilden zu wollen, philosophiert hat.

Nvidia GPUs (und CUDA) SIND der aktuelle Standard im AI-Computing Bereich. Da muss Jensen nicht groß träumen.

Übersetzt meinte er schlicht „Monopol“.

Reine Interpretation Deinerseits. Ohne Quelle. Danke und ciao.

Und das versuchen Sie mMn mit unfairen Mitteln ganz Stark auf dem Rücken eines verschlossenen CUDA´s aufzubauen.

Welche unfairen Mittel? Wie oben bereits gesagt, Vendor-Lock seines geistigen Eigentums ist ein Recht (Patentrecht schon mal gehört?) welches JEDE Firma nutzt. Auch AMD.

Ich bin für mehr Diversität in dem Bereich und halte den Einzug von NPU´s in die aktuellen Intel und AMD CPU´s als unglaublich wichtigen Schritt, um Nvidia hier zumindest als andernfalls womöglich ebenso unausweichlich gesetzter erster Instanz, zur Ausführung von Ai-Berechnungen lokal auf Client-PC´s, entgegenzuwirken.

Ja, alle springen auf den Zug auf den Nvidia ins Rollen gebracht hat. Freut mich auch dass NPUs in CPUs Einzug halten. Neue technische Errungenschaften faszinieren mich generell.

Würde Nvidia echt wünschen, dass es irgendwann ein Thema für die EU-Kommission wird, sollte nachweislich darstellbar sein, dass Sie Ihre Marktmacht mit CUDA missbraucht haben.

Einer Firma die maßgeblich unsere Entwicklung in vielen Bereichen massiv gefördert, oder sogar ermöglicht hat, etwas schlechtes zu wünschen, lässt Dich nicht gut aussehen.

Aber dazu quatschen wir dann vielleicht in 15 Jahren nochmal, bis das bürokratisch durch ist und dann gibt es womöglich auch wieder einen fairen Wettbewerb in dem sich sämtliche Anbieter mit gleichen Waffen untereinander messen..

Häh? Welche Waffen hat Nvidia denn AMD oder Intel weg genommen? Können die keine eigene Plattform entwickeln? ROCm und DirectML gibt es doch auch?

 

[Azzzz]

Benchmarks und Tests von AMD oder Nvidia selbst sind für die Tonne. Warte noch etwas auf unabhängige Vergleiche, die sicherlich in den nächsten Wochen kommen werden. Dann wissen wir alle bescheid.

Wofür? Gaming ist damit nicht möglich. 😊 Die Preis werden, Nvidia typisch exorbitant sein.

na da hast du natürlich recht... bin eher auf die 5090 aus...

 

[gerX7a]

Bei der kommenden Präsentation des B100 wird es wahrscheinlich, wenn es um
den Vergleich zur MI300X geht, totenstill werden, so still das man voraussichtlich sogar das Zirpen der Grillen im Hintergrund noch hören kann.

AMD ist bereits jetzt leistungstechnisch gesehen eine ganze Generation voraus.
Wie viel sollen sie denn noch vorne liegen damit es genug ist?
Anhang anzeigen 1455662
Ob es Nvidia gelingen wird, mit dem B100 diesen gigantischen Rückstand wieder einzuholen bleibt abzuwarten.

Und die Chance das der B200 im Anschluss gegen den M400X bestehen wird, scheinen anhand der gigantischen Leistungsdifferenz zwischen dem MI300X und dem H100 nur minimal zu sein.
Keiner bei gesundem Menschenverstand würde deshalb nur 5€ auf Nvidia wetten wollen.
Da müsste AMD mit der MI400X eigentlich eine schlagartige Bremsung einlegen damit Nvidia da noch eine echte Chance hätte vorbei zu kommen.

Mir scheinen deine feuchten Träume wohl eher nicht so zutreffend und auch nicht mehr als ebensolche zu sein. Entsprechend mal exemplarisch ...

Breaking: AMD Is Not The Fastest GPU; Here’s The Real Data

At the MI300 launch, AMD claimed it had significantly better performance than Nvidia. Had they used the right software....

www.forbes.com

Und falls es dein Bias nicht zulässt das zu erkennen ... da wird gegen den originalen H100 von Ende 2022 verglichen, die H200, die nur ein Refresh ist, legt dennoch signifikant zu (ebenso, wie es auch bei dem Hopper-Refresh der Fall war).
Und btw ... AMD hat daraufhin dann auch nichts mehr entgegnet und das bestimmt nicht deshalb, weil deren Marketing die Worte ausgegangen sind.

Bin gespannt, schaue aber dennoch ziemlich sicher nicht live. Das ist es mir, von der Uhrzeit her, nicht wert.

Ja, kann man ggf. sein, ist für diese Klientel hier aber ansonsten reichlich uninteressant und auch irrelevant.
Dagegen bis zum Consumer-Produkt wird noch einige Zeit vergehen und damit wird nVidia voraussichtlich noch einmal mehr geneigt sein sich derzeit nicht dazu zu äußern, um seinen Lovelace-Refresh-Absatz hoch zu halten.
Bestenfalls wird es eine Andeutung zum Consumer-Blackwell geben, dass man da auch einiges erwarten können darf, aber da insbesondere im oberen Segment nVidia jetzt schon gesichert konkurrenzlos sein wird bis min. Ende 2025 (ggf. gar bis ins 2HJ26 hinein) dürfte die Wahrscheinlichkeit vergleichsweise gering sein und es bleibt voraussichtlich bei Datacenter-, HPC- und Cloud-Themen.

 

[4thVariety]

alles Spielzeug im Vergleich zu dem hier:

https://www.golem.de/news/waferscal...te-computerchip-aller-zeiten-2403-183190.html

 

[manimani89]

alles Spielzeug im Vergleich zu dem hier:

https://www.golem.de/news/waferscal...te-computerchip-aller-zeiten-2403-183190.html

und trotzdem nutzlos für uns hier

 

[raPid-81]

Bei der kommenden Präsentation des B100 wird es wahrscheinlich, wenn es um
den Vergleich zur MI300X geht, totenstill werden, so still das man voraussichtlich sogar das Zirpen der Grillen im Hintergrund noch hören kann.

AMD ist bereits jetzt leistungstechnisch gesehen eine ganze Generation voraus.
Wie viel sollen sie denn noch vorne liegen damit es genug ist?
Anhang anzeigen 1455662
Ob es Nvidia gelingen wird, mit dem B100 diesen gigantischen Rückstand wieder einzuholen bleibt abzuwarten.

Und die Chance das der B200 im Anschluss gegen den M400X bestehen wird, scheinen anhand der gigantischen Leistungsdifferenz zwischen dem MI300X und dem H100 nur minimal zu sein.
Keiner bei gesundem Menschenverstand würde deshalb nur 5€ auf Nvidia wetten wollen.
Da müsste AMD mit der MI400X eigentlich eine schlagartige Bremsung einlegen damit Nvidia da noch eine echte Chance hätte vorbei zu kommen.

Ich schaue gerade die GTC. Blackwell - 2 riesige Compute Dies im MCM Design.

Hopper vs Blackwell:

Joah, da muss MI400 aber richtig abliefern (nächstes Jahr wenn Blackwell bereits draussen ist):

 

[Horst_Koehler]

Ich schaue gerade die GTC. Blackwell - 2 riesige Compute Dies im MCM Design.

Dito.... es ist schon unglaublich beeindruckend, wenn man die Specs sieht.