News KI-Chatbot auf Ryzen und Radeon: AMD erklärt die lokale Ausführung

[PCGH-Redaktion]

Jetzt ist Ihre Meinung gefragt zu KI-Chatbot auf Ryzen und Radeon: AMD erklärt die lokale Ausführung

AMD hat eine Anleitung veröffentlicht, in der die Ausführung eines lokalen KI-Chatbots auf Ryzen-Prozessoren und Radeon-Grafikkarten erklärt wird. Dadurch müssen die gestellten Fragen nicht ins Internet übertragen werden.

Bitte beachten Sie: Der Kommentarbereich wird gemäß der Forenregeln moderiert. Allgemeine Fragen und Kritik zu Online-Artikeln von PC Games Hardware sind im Feedback-Unterforum zu veröffentlichen und nicht im Kommentarthread zu einer News. Dort werden sie ohne Nachfragen entfernt.

Zurück zum Artikel: KI-Chatbot auf Ryzen und Radeon: AMD erklärt die lokale Ausführung

 

[Krabonq]

Nach der Installation müssen Nutzer dann wahlweise das KI-Modell Mistral 7b oder LLAMA v2 7B in der Variante Q4_K_M herunterladen und auswählen

Geht nur das LLM?
Ganz ehrlich, alles unter 13B ist ziemmich schwach im Vergleich.
Deshalb aber wahrscheinlich auch nur die 6GB/16GB (V)RAM Anforderungen und nicht die üblichen 32GB RAM.

Es nicht für RDNA2 anzubieten wirkt auf mich auch künstlich begrenzt.

 

[Jaffech]

Es nicht für RDNA2 anzubieten wirkt auf mich auch künstlich begrenzt.

RDNA3 hat spezielle KI Recheneinheiten.
Kann daran liegen.

 

[Nexus83]

Geht nur das LLM?
Ganz ehrlich, alles unter 13B ist ziemmich schwach im Vergleich.
Deshalb aber wahrscheinlich auch nur die 6GB/16GB (V)RAM Anforderungen und nicht die üblichen 32GB RAM.

Es nicht für RDNA2 anzubieten wirkt auf mich auch künstlich begrenzt.

Es funktioniert lokal nur LLMs, man kann aber zwischen den beiden großen Open Source Modelle wählen.

Funktioniert bei "Chat with RTX" nicht anders.

RDNA2 hat schlicht keine AI Cores wie RDNA3. Ein LLM über die CUs zu beschleunigen ist schlicht zu ineffizient, ineffektiv und damit zu langsam.

 

[Krabonq]

RDNA3 hat spezielle KI Recheneinheiten.
Kann daran liegen.

Das war mir nicht klar, danke für die Korrektur! Auch an Nexus83.