News HC1: Effizienz-Monster soll Nvidia ohne Speicher deklassieren

[PCGH_Sven]

Der Taalas HC1 ist mehr als ein KI-Beschleuniger, er ist Sprachmodell in einem Chip. Das kanadische Start-up gießt Llama 3.1 in Silizium und erschafft damit ein Effizienz-Monster, welches AMD und Nvidia deklassiert und das ganz ohne RAM.

Was sagt die PCGH-X-Community zu HC1: Effizienz-Monster soll Nvidia ohne Speicher deklassieren

Bitte beachten: Thema dieses Kommentar-Threads ist der Inhalt der Meldung. Kritik und allgemeine Fragen zu Online-Artikeln von PC Games Hardware werden hier gemäß der Forenregeln ohne Nachfrage entfernt, sie sind im Feedback-Thread besser aufgehoben.

 

[Andreas1975]

Sehr geil! Das wäre eine wirkliche Eruption. Bleibt natürlich in welchen Stückzahlen das verfügbar wird und natürlich zu welchem Preis. Das könnte schwere Zeiten für die bisherigen KI Karten Hersteller bedeuten bzw diese müssen auch in solche Technologie investieren. Kaum zu glauben so ganz ohne Speicher. Das kann in absehbarer Zeit den Markt durchwürfeln.

 

[latiose88]

Sehr gut ,durch das wird am Ende weniger Speicher benötigt. Und wenn es so weiter geht und sich das durch setzt ,dann wird immer mehr und mehr weniger Speicher benötigt. Und wenn immer weniger benötigt ,sinkt irgendwann doch schneller als gedacht der Speicherpreis wieder. Super. Finde ich ne gute Sache.

 

[James_Negev]

Dank des heutigen Datums glaube ich dass erst morgen

 

[oeia]

APRIL APRIL

 

[hawkytonk]

"... sondern auf spezialisierten ASICs durchgeführt." -->Das ist Quatsch. ASICs sind bereits spezialisiert. Also entweder: "spezialisierte Hardware (ASICs)" oder einfach "ASICs".

 

[Andreas1975]

APRIL APRIL

Wäre ein ziemlich aufwendiger Aprilscherz.

Products | Taalas

Taalas HC1 Technology Demonstrator Runs Llama 3.1 8B model TSMC 6nm | 815mm2 | 53B Transistor 2.5 kW Server Try our chatbot Request API access Instantaneous Inference HC1 demonstrates the power of Taalas hardcore model silicon technology, delivering 17k tokens per second per user on Llama 3.1 8B...

taalas.com

 

[Marshmellow69]

APRIL APRIL

Das ist kein Aprilscherz. Nein, wirklich nicht.

 

[Zik7]

Ne, eher das: https://www.pcgameshardware.de/Wasserkuehlung-Hardware-217994/Specials/Toiletten-PC-1523953/

APRIL APRIL

Nein!

Wäre ein ziemlich aufwendiger Aprilscherz.

Products | Taalas

Taalas HC1 Technology Demonstrator Runs Llama 3.1 8B model TSMC 6nm | 815mm2 | 53B Transistor 2.5 kW Server Try our chatbot Request API access Instantaneous Inference HC1 demonstrates the power of Taalas hardcore model silicon technology, delivering 17k tokens per second per user on Llama 3.1 8B...

taalas.com

Ich war zu spät!

 

[etg]

Also ernsthaft jetzt... das klingt einfach absolut nicht real
Das muss doch ein Aprilscherz sein

Ne, eher das: https://www.pcgameshardware.de/Wasserkuehlung-Hardware-217994/Specials/Toiletten-PC-1523953/

Und das ist nur zur Ablenkung gemacht, ist ja offensichtlich ein Aprilscherz

 

[Andreas1975]

Also ernsthaft jetzt... das klingt einfach absolut nicht real
Das muss doch ein Aprilscherz sein

Und das ist nur zur Ablenkung gemacht, ist ja offensichtlich ein Aprilscherz

Na das wäre doch recht aufwendig für einen Aprilscherz so mit eigenem Internetauftritt. Btw es gab ja auch schon Meldungen die vor dem heutigen Tag veröffentlicht wurden. Wenn es ein Aprilscherz ist hat man dafür sehr viel Aufwand betrieben.
Ob das Produkt tatsächlich das kann was da offeriert wird steht auf einem anderen Blatt, einen Aprilscherz sehe ich aber nicht.

AI inference cast in silicon: Taalas announces HC1 chip

The startup Taalas wants to deliver a hardwired Llama 3.1 8B with almost 17,000 tokens/s with the HC1 – almost 10 times faster than previous solutions.

www.heise.de

Eingebundener Inhalt

youtube.com/watch/?v=WjxOffC2kyM

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

Eingebundener Inhalt

youtube.com/watch/?v=ibbB5CsDwxQ

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

 

[empy]

FPGAs sind übrigens nicht spezialisiert. Das "P" steht für "programmable". Wäre aber mal interessant zu wissen, wie viel damit ginge. Die sind zwar nicht so effizient wie ASICs, aber nicht jedes mal, wenn ein neues Modell rauskommt, alle alten Chips wegschmeißen zu müssen, wäre ja schon ein Vorteil.

Wenn man vor allem nicht so viele Daten von und zu einem Speicher schaufeln muss, ist man vielleicht auch deutlich weniger auf einen Chip oder auch ein Board beschränkt.

Das könnte schwere Zeiten für die bisherigen KI Karten Hersteller bedeuten bzw diese müssen auch in solche Technologie investieren. Kaum zu glauben so ganz ohne Speicher. Das kann in absehbarer Zeit den Markt durchwürfeln.

Naja, für das Training werden vermutlich weiterhin GPUs mit Speicher benötigt.

 

[Ravioli_TNT_2_Ultra]

Von eingebauten Sound und Netzwerkkarten zu "KI" Karten, evtl auch in einer schwächeren Ausführung für Privatanwender ?
Das wäre doch was.

 

[hawkytonk]

Von eingebauten Sound und Netzwerkkarten zu "KI" Karten, evtl auch in einer schwächeren Ausführung für Privatanwender ?
Das wäre doch was.

Z.B. DPUs für die Auslagerung von Netzwerk-/Kommunikationsprozessen gibt es ja schon länger. Karten speziell für Maschinelles Lernen haben Facebook & Google schon vor einem Jahrzehnt benutzt.

Für den Privatanwender lohnt sich sowas alles aber nicht.

 

[PCGH_Torsten]

FPGAs sind übrigens nicht spezialisiert. Das "P" steht für "programmable". Wäre aber mal interessant zu wissen, wie viel damit ginge. Die sind zwar nicht so effizient wie ASICs, aber nicht jedes mal, wenn ein neues Modell rauskommt, alle alten Chips wegschmeißen zu müssen, wäre ja schon ein Vorteil.

Neben passend verschalteten Rechenwerken brauchst du auch lokal integrierten Speicher für die Modellparameter, mit denen eingehende Daten verrechnet werden sollen. FPGAs für große Speichermengen zu nutzen ist aber unbezahlbar teuer/aufwendig, wiegt alle etwaigen Vorteile mehr als auf. Ich würde mir von Taalas erstmal eine Erklärung wünschen, wie sie ein Modell mit 8 Milliarden Parametern überhaupt in einen Chip mit 53 Milliarden Transistoren laden. Selbst wenn ich nur 10 Prozent des Chips für Recheneinheiten, Ansteuerung, Vernetzung und zu verarbeitende Daten reserviere, bleiben 6 Transistoren pro Parameter. Das reicht für eine klassische 6T-SRAM-Zelle, also für 1 Bit Genauigkeit. Nach eigenen Angaben arbeitet Taalas aber mit 3 bis 6 Bit und Llama eigentlich sogar mit 16 Bit.

 

[JoM79]

Klar sicher kein Aprilscherz.
Ne kleine Internetseite, Kontakt geht nicht, weil zu hohe Nachfrage und der KI Chatbot kennt das eigene Produkt noch nicht mal.

 

[Andreas1975]

Es findet sich da doch einiges und zwar schon Im Februar.

KI-Inferenz in Silizium gegossen: Taalas HC1 ist kein Beschleuniger, sondern eine Kampfansage | igor´sLAB

Das kanadische Startup Taalas behauptet nicht weniger, als die Ökonomie der KI-Inferenz neu zu schreiben. Der HC1 ist kein weiterer GPU-Klon, kein TPU-Abklatsch, kein „Me too“-Beschleuniger mit HBM…

www.igorslab.de

KI-Inferenz in Silizium gegossen: Taalas kündigt HC1-Chip an

Das Startup Taalas will mit dem HC1 ein fest verdrahtetes Llama 3.1 8B mit knapp 17.000 Token/s liefern – fast 10-mal schneller als bisherige Lösungen.

www.heise.de

Taalas Launches Hardcore Chip With ‘Insane’ AI Inference Performance

Taalas has launched an AI accelerator that puts the entire AI model into silicon, delivering 1-2 orders of magnitude greater performance. Seriously.

www.forbes.com

Chip startup Taalas raises $169 million to help build AI chips to take on Nvidia

Toronto-based chip startup Taalas said on Thursday it had raised $169 million and has developed a chip capable of running artificial intelligence applications faster and more cheaply than conventional approaches.

www.reuters.com

 

[empy]

Neben passend verschalteten Rechenwerken brauchst du auch lokal integrierten Speicher für die Modellparameter, mit denen eingehende Daten verrechnet werden sollen. FPGAs für große Speichermengen zu nutzen ist aber unbezahlbar teuer/aufwendig, wiegt alle etwaigen Vorteile mehr als auf.

Naja, wenn HBM drei mal so teuer ist wie "normaler" DRAM, ist SRAM, aus dem FPGAs ja im Endeffekt hauptsächlich bestehen, schon nur noch etwas mehr als doppelt so teuer. So viel höher müsste die Effizienz dann auch nicht mehr sein, damit sich das lohnt. Könnte halt sein, dass man das nicht in einen Chip bekommt, könnte aber eben halt auch sein, dass man das gar nicht muss.

Ich würde mir von Taalas erstmal eine Erklärung wünschen, wie sie ein Modell mit 8 Milliarden Parametern überhaupt in einen Chip mit 53 Milliarden Transistoren laden. Selbst wenn ich nur 10 Prozent des Chips für Recheneinheiten, Ansteuerung, Vernetzung und zu verarbeitende Daten reserviere, bleiben 6 Transistoren pro Parameter. Das reicht für eine klassische 6T-SRAM-Zelle, also für 1 Bit Genauigkeit. Nach eigenen Angaben arbeitet Taalas aber mit 3 bis 6 Bit und Llama eigentlich sogar mit 16 Bit.

Ich denke mal, dass man keine Speicherzellen für die Gewichte braucht, wenn die fix sind. Nur noch Leitungen zur Versorgungsspannung und Masse.

 

[G4mest3r]

Sag ich schon länger.
Der wirklich Durchbruch werden ganz anders gedachte Chips sein. ASIC's, die genau auf Stochastic Compute und nicht in Massen skalierbaren Determinismus ausgelegt sind.

Dank des heutigen Datums glaube ich dass erst morgen

Folge einfach mal den verlinkten Quellen.
Die Meldungen sind schon vom 30.03.

Diese Meldung schon vom Februar:

Taalas Launches Hardcore Chip With ‘Insane’ AI Inference Performance

Taalas has launched an AI accelerator that puts the entire AI model into silicon, delivering 1-2 orders of magnitude greater performance. Seriously.

www.forbes.com

---
Könnten manche Leute mal bitte aufhören unter JEDEN Artikel "APRIL, APRIL" als Einzelbeitrag zu schreiben?!
Das grenzt ja schon an SPAM!

 

[empy]

Sag ich schon länger.
Der wirklich Durchbruch werden ganz anders gedachte Chips sein. ASIC's, die genau auf Stochastic Compute und nicht in Massen skalierbaren Determinismus ausgelegt sind.

Eventuell werden auch Analog-Chips interessant werden.