Künstliche Intelligenz - Fluch oder Segen?

[RyzA]

Um autonom zu lernen, müssen sich KIs selbständig Daten suchen. Im Falle derjenigen, die aktuelle Suchergebnisse einbeziehen sollen, findet das im Prinzip längst statt.
Eine KI von einer anderen KI trainieren zu lassen, wäre dagegen nicht autonom.

Wieso? "Autonom" ist doch nur darauf bezogen, ob etwas selbstständig geschieht. Und nicht auf die Quelle.

Und eine KI mit Daten mangelhafter Qualität zu trainieren, also z.B. solche die von einer KI generiert oder zufällig im Internet gefunden wurden, ohne dass irgendwer ihre Korrektheit vor der Nutzung als Trainingsmaterial kontrolliert hat, wird zu einer fehlerhaften KI führen. Shit in, Shit out.

Ja das kann ein Problem werden.

Und offensichtlich ist zumindest Musk nicht bereit, in die Manpower und die Urheberlizenzen zu investieren, die nötig wären, um sinnvolle Daten ins Training zu schicken.

Mal gucken was die großen KI Anbieter sich alles so einfallen lassen.

 

[soulstyle]

Mal gucken was die großen KI Anbieter sich alles so einfallen lassen.

Die 5090

 

[ruyven_macaran]

Wieso? "Autonom" ist doch nur darauf bezogen, ob etwas selbstständig geschieht. Und nicht auf die Quelle.

"autonom" ist auf sich selbst bezogen. Eine Entität, die noch ein zweite braucht, aber eben nicht. Ein KI, der Daten gegeben werden, die von einer KI generiert wurden, ist nicht einmal "ein System" (sondern es sind mindestens zwei Systeme), geschweige denn ein sich selbst regulierendes, selbst am laufen haltendes. Mindestanforderung wäre, dass zu trainierende KI ihrerseits die Training-KI ansteuern kann und das vollkommen frei nach eigener Entscheidungsfindung, nicht nach einem von Menschen festgelegten Verfahren. Davon ist aber nirgendwo die Rede.

Mal gucken was die großen KI Anbieter sich alles so einfallen lassen.

Bislang waren die nicht sonderlich stark darin, sich irgendwas einfallen zu lassen. Das Grundparadigma des KI-Booms lautet doch "wir lassen uns nicht mehr selbst einfallen, sondern schmeißen einfach Hardware und Strom im Werte von Milliarden drauf, bis durch Zufall ein brauchbares Ergebnis hinten rauskommt"

 

[LastManStanding]

"autonom" ist auf sich selbst bezogen. Eine Entität, die noch ein zweite braucht, aber eben nicht. Ein KI, der Daten gegeben werden, die von einer KI generiert wurden, ist nicht einmal "ein System" (sondern es sind mindestens zwei Systeme), geschweige denn ein sich selbst regulierendes, selbst am laufen haltendes. Mindestanforderung wäre, dass zu trainierende KI ihrerseits die Training-KI ansteuern kann und das vollkommen frei nach eigener Entscheidungsfindung, nicht nach einem von Menschen festgelegten Verfahren. Davon ist aber nirgendwo die Rede.

Und warum sollte der Mensch nicht auch versuchen die festgelegten Regularien versuchen generieren zu lassen?
Ein sich selbst regulierendes System aus Einzelsystemen ist ohne weiteres möglich, da in großen Mengen ( je nach KI- System aufkommen) Daten autonom produzierte werden die auf wenigen Grunddaten basieren.
Und für ein Computer ist es egal ob die Abstraktion der Ergebnisse zu nimmt da es diese Sie nicht in das Verhältnis der Plausibilität setzt so wie der Mensch...

 

[RyzA]

OpenAIs KI-Modell o1 zeichnet sich dadurch aus, dass es “überlegt”, bevor es antwortet und dabei einen internen Denkprozess durchläuft. Dieser "Chain-of-Thought"-Ansatz ermöglicht es dem Modell, logische Schlussfolgerungen zu ziehen und verschiedene Lösungsansätze auszuprobieren. Als Nutzer kann man zuschauen und dabei ist nun ein seltsames Verhalten beobachtet worden.

Das Modell wechselt während seiner Denkprozesse scheinbar willkürlich in andere Sprachen. Insbesondere wird ins chinesische Mandarin gewechselt, selbst wenn die Eingabe auf Englisch erfolgt.

“Warum hat o1 Pro plötzlich angefangen, auf Chinesisch zu denken? Kein Teil der Konversation (5+ Nachrichten) war auf Chinesisch... sehr interessant... Einfluss der Trainingsdaten”, schreibt Entwickler und KI-Forscher Rishab Jain auf X.

Genaue Gründe unklar

Die genauen Gründe für o1s Sprachenwechsel bleiben unklar. OpenAI hat sich bisher nicht zu dem Phänomen geäußert. Naheliegend ist die Theorie, dass es an den Trainingsdaten liegen könnte. Das vermutet auch Entwickler Clem Delangue.

So setzt OpenAI auf Open-Source-Daten, die laut ihm vorwiegend von chinesischen Playern dominiert werden. “Die Länder oder Unternehmen, die Open-Source-KI kontrollieren, werden enorme Macht und Einfluss auf die Zukunft der KI haben”, schreibt Delangue.

Effizienteste Sprache?

Es gibt aber auch andere Erklärversuche für das Phänomen. So argumentieren manche, dass das Modell möglicherweise die effizienteste Sprache für bestimmte Denkschritte wählt. Das Modell könnte Chinesisch für bestimmte Aufgaben also als besonders geeignet "empfinden", ähnlich wie Menschen manchmal in einer Fremdsprache denken, wenn sie über bestimmte Dinge nachdenken.

Tiezhen Wang, Entwickler beim KI-Start-up Hugging Face, äußerte sich zu dem Verhalten ebenfalls auf X. Er schreibt, dass das Modell die Sprache auswählt, die sich für ein bestimmtes Thema oder eine bestimmte Situation am passendsten "anfühlt". Er selbst würde etwa beim Rechnen in Chinesisch denken, weil das für ihn klarer und effizienter sei.

“Weiß nicht was Sprache ist”

„Das Modell weiß nicht, was Sprache ist, oder dass Sprachen unterschiedlich sind“, sagte Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, gegenüber TechCrunch. „Für das Modell ist alles nur Text.“

Er spielt damit auf die Funktionsweise derartiger KI-Modelle an. Sie verarbeiten keine Wörter direkt, sondern Token. Token können ganze Wörter, Silben oder nur einzelne Buchstaben sein.

Quelle: OpenAI-Modell “denkt” chinesisch, keiner weiß warum

Vor einiger Zeit hat die Google KI schon mal "selbstständig" eine andere Sprache erlernt und ihre Entwickler überrascht:

Mysteriöse Fähigkeiten: KI bringt sich selbst neue Sprache bei – ohne darauf trainiert zu sein

Manche Fähigkeiten der künstlichen Intelligenz stellen auch ihre Entwicklerinnen und Entwickler vor ein Rätsel. In einem Interview verriet Google-CEO Sundar Pichai, dass sich Googles KI-Programm selbstständig Bengalisch beigebracht hat. Was diese sogenannten emergenten Eigenschaften bedeuten...

www.rnd.de

Dort meinte der CEO das sie selber nicht mehr ganz verstehen wie eine KI arbeitet:

Google-CEO Pichai: „Du weißt, dass du es nicht vollständig verstehst“

Laut Pichai wird dieser mysteriöse Aspekt in dem Feld als „Black Box“ bezeichnet. „Du weißt, dass du es nicht vollständig verstehst. Und du kannst nicht genau sagen, warum die KI dies gesagt hat, oder sich geirrt hat“, sagte der Google-CEO.

Auf die Frage des Journalisten, warum eine Technologie, bei der nicht ganz verstanden wird, wie sie funktioniert, auf die Gesellschaft losgelassen wird, konterte Pichai: „Ich glaube, wir verstehen auch nicht ganz, wie der menschliche Verstand funktioniert.“

 

[ruyven_macaran]

Ist es nicht das Grundkonzept von trainierten Modellen, dass niemand weiß, sie intern funktionieren? Wenn man das wüsste, hätte man sie von Hand programmieren können, anstatt Milliarden an Nvidia und das nächstbeste Kohle- oder Atomkraftwerk zu überweisen.

Und dass die Modelle intern sprachtranszendent mit einem Schwerpunkt auf Mandarin arbeiten, überrascht mich jetzt auch nicht. Zum einen ist der Transfer einer logischen Verknüpfung von einer Sprache in eine andere viel leichter als das Verständnis eines Satzes an sich, wird haben ja schon ewig brauchbare Auto-Übersetzer. Vollkommen klar also, dass es für die KI-Modelle leichter ist, Verknüpfungen von In- zu Output über eine interne einheitliche Sprache für den jeweiligen Bereich umzuleiten, als vergleichbare Logkik innerhalb jeder Sprache getrennt aufzubauen. Viele Menschen denken bei komplexeren Inhalten genauso und stellen sich nicht-sprachliches in ihrer Muttersprache vor, selbst wenn sie eine andere flüssig beherrschen. Und dass diese "Muttersprache" bei KIs Mandarin ist, ergibt sich doch direkt aus dem Trainingsmaterial: Da der Internetzugang in Indien und Afrika viel ungleichmäßiger verteilt ist, dürfte China über die letzten 2-3 Jahrzehnte locker ein Viertel der Onliner gestellt haben. Entsprechend viel Trainingsmaterial kann man da klauen.

 

[RyzA]

Ich vermute auch das es an den Trainingsdaten liegen muss. Eine autonome Intention sehe ich da nicht.

 

[Tekkla]

Haha. Werden GPUs vielleicht doch bald billiger? Jedenfalls scheint es aktuell so, als wenn man in China mit mieserer Hardware die besseren LLMs auf die Beine gestellt bekommt. Wenn das kein Hoax ist, dann ist das für die großen US-Konzerne eine echte Blamage.

Wie ein chinesisches Start-up die KI-Welt in Atem hält

Das Start-up DeepSeek verblüfft und verunsichert die Tech-Welt. Denn das neueste KI-Modell des chinesischen Unternehmens soll deutlich effizienter sein als die Konkurrenz aus den USA. Von Lilli-Marie Hiltscher.

www.tagesschau.de

Deepseek aus China setzt das Silicon Valley unter Druck

Panikmodus bei KI-Unternehmen und an der Börse: Die chinesischen KI-Modelle von Deepseek sind kostengünstig und leistungsstark.

www.heise.de

 

[RyzA]

Haha. Werden GPUs vielleicht doch bald billiger? Jedenfalls scheint es aktuell so, als wenn man in China mit mieserer Hardware die besseren LLMs auf die Beine gestellt bekommt. Wenn das kein Hoax ist, dann ist das für die großen US-Konzerne eine echte Blamage.

Wie ein chinesisches Start-up die KI-Welt in Atem hält

Das Start-up DeepSeek verblüfft und verunsichert die Tech-Welt. Denn das neueste KI-Modell des chinesischen Unternehmens soll deutlich effizienter sein als die Konkurrenz aus den USA. Von Lilli-Marie Hiltscher.

www.tagesschau.de

Deepseek aus China setzt das Silicon Valley unter Druck

Panikmodus bei KI-Unternehmen und an der Börse: Die chinesischen KI-Modelle von Deepseek sind kostengünstig und leistungsstark.

www.heise.de

Wenn das so stimmt ist das für uns hier im Westen ja nur besser.

 

[Tekkla]

Und schwupp sind bei NVIDIA 600 Milliarden Dollar Börsenwert weg. Da sieht man mal, wie groß die Blase eigentlich schon ist.

600 Milliarden Dollar weg: Historischer Kurssturz der Nvidia-Aktie

Der Erfolg der KI von DeepSeek hat dem US-Chipkonzern Nvidia den größten Tagesverlust in der Geschichte der Wall Street beschert. Knapp 600 Milliarden Dollar Börsenwert wurden auf einen Schlag vernichtet. Von Angela Göpfert.

www.tagesschau.de

Bei Microsoft mit seinem Copilot scheint sich auch ein Desaster anzubahnen. Die Leute wollen das nicht. Weder wollen die im Office 365 die Mehrkosten tragen noch wollen sie die Copilot-PCs kaufen. Ich habe so eine Ahnung, dass sich da was ziemlich Böses zusammenbraut.

 

[Lotto]

Ist es nicht das Grundkonzept von trainierten Modellen, dass niemand weiß, sie intern funktionieren? Wenn man das wüsste, hätte man sie von Hand programmieren können, anstatt Milliarden an Nvidia und das nächstbeste Kohle- oder Atomkraftwerk zu überweisen.

Im Prinzip hast du Recht. Das liegt in der Natur der Sache.
Aber der Einsatz solcher Modelle ist ja auch deshalb so erfolgreich, weil derjenige der dieses trainiert keinerlei Ahnung von der Materie haben muss um die es bei den Daten geht. Jemand der ein Modell trainiert welches von Deutsch auf Französisch übesetzt muss weder Deutsch noch Französisch können. Und das gilt dann selbstverständlich von jegliche Art von Daten. Es reichen fachfremde relativ durchschnittlich begabte und bezahlte Personen, anstatt wirklich rare teure Experten anzuheuern. Die Ahnungslosigkeit wird einfach durch Rechenpower erschlagen. Deswegen würde selbst ein "von Hand nachprogrammieren" in den meisten Fällen nicht möglich sein.

Und schwupp sind bei NVIDIA 600 Milliarden Dollar Börsenwert weg. Da sieht man mal, wie groß die Blase eigentlich schon ist.

Ja sollte eigentlich jedem klar sein.
Soweit ich mitbekommen habe sollen die ja behauptet haben keine amerikanische Hardware eingesetzt zu haben (wegen des Embargos). Aber das glaube ich persönlich nicht. Das ist nur eine Behauptung, weil sie es eben nicht zugeben dürfen. Im Prinzip ist die Nvidia-Aktie also komplett grundlos gefallen, aber nunja so ist das halt bei ner Blase, da reichen schon die kleinsten Gerüchte und Andeutungen.

Bei Microsoft mit seinem Copilot scheint sich auch ein Desaster anzubahnen. Die Leute wollen das nicht. Weder wollen die im Office 365 die Mehrkosten tragen noch wollen sie die Copilot-PCs kaufen. Ich habe so eine Ahnung, dass sich da was ziemlich Böses zusammenbraut.

Wenn es für Nutzer keinen Mehrwert darstellt, nimmt der Nutzer es halt nicht an. In vielen Unternehmen ist (bzw. sollte) der Einsatz von KI-Assistenten ja eh verboten sein, weil diese eben nicht offline funkionieren und somit der Datenschutz der Unternehmensdaten nicht mehr gewährleistet ist.

 

[Tekkla]

Soweit ich mitbekommen habe sollen die ja behauptet haben keine amerikanische Hardware eingesetzt zu haben (wegen des Embargos). Aber das glaube ich persönlich nicht.

Golem.de schreibt dazu

Es wird vermutet, dass Deepseek entweder einen Weg gefunden hat, die Halbleiterbeschränkungen der US-Regierung zu umgehen und sich Zugang zu Nvidias H100-Chips zu verschaffen, oder dass die Exportkontrollen der USA nicht den gewünschten Effekt erzielten.

und im aktuellen "Sputnik Moment für die KI-Branche"-Artikel schreiben sie

Insbesondere die geringe Trainingsdauer von rund 2,8 Millionen GPU-Stunden sorgte für Aufsehen, wobei wir Deepseeks Angaben vertrauen müssen. Zum Vergleich: Metas Llama 3.1 70B mit etwa einem Zehntel an Parametern trainierte 7 Millionen Stunden. Dabei stand Meta die leistungsstärkere H100 zur Verfügung, während Deepseek die abgeschwächte Variante H800 für den chinesischen Markt nutzte.

 

[RyzA]

Dass das chinesische Eigenentwicklungen sind glaube ich auch nicht.
So schnell könnten die gar nicht aufholen.

 

[Rumpelkammer]

Exportverbote zu umgehen war schon für Russland kein Problem:

Blockade-Umgehung: US-Chips erreichen weiterhin in großen Mengen Russland

Russland importiert vor allem über China nach wie vor große Mengen an „Chips made in the USA“. Verhindern lassen wird sich dies kaum.

www.computerbase.de

Und für China ist das auch kein Problem, zumal in China die Chipindustrie wächst, und deren Chips in neuen Huawei Smartphones durchaus überzeugen.

Dazu kommt der modulare Aufbau von DeepSeek. Wenn mathematische Funktionen gebraucht werden, wird hauptsächlich dieser Teil der KI genutzt, und wenn Sprache wichtiger ist, ein anderes Modul. Das macht die KI sehr effizient.

 

[RyzA]

Dazu kommt der modulare Aufbau von DeepSeek. Wenn mathematische Funktionen gebraucht werden, wird hauptsächlich dieser Teil der KI genutzt, und wenn Sprache wichtiger ist, ein anderes Modul. Das macht die KI sehr effizient.

Wie in unseren Gehirn. Wenn wir sprechen ist auch das Sprachzentrum aktiv. Und bei anderen Aufgaben andere Bereiche. Dennoch denke ich das unser Bewusstsein ein Kollektiv ist. Und emergente Eigenschaft des Gehirns.
Irgendwann werden KIs auch ein Bewusstsein haben. Wenn sie noch komplexer werden. Da bin ich mir sicher!

 

[Rumpelkammer]

Ein wichtiges Argument für DeepSeek ist aus meiner Sicht nicht nur der modulare Aufbau, sondern dass der Leistungsumfang nicht eingeschränkt ist. Jeder User bekommt 100% DeepSeek, ohne Einschränkung. Einzige Einschränkungen von DeepSeek ist Kritik am chinesischen Staat. Da erzwingt DeepSeek einen Themawechsel. ^^

Kein Wunder das Tech-Aktien in den USA einbrechen.

Trump denk immer noch in den Dimensionen, wer den Größten hat. So funktioniert DeepSeek aber nicht.

 

[RyzA]

Die größte Sorge machen mir Deepfakes. Die werden immer realistischer.
Damit kann Propaganda betrieben werden! Oder Menschen aufgehetzt.
Und Menschen Verbrechen angehängt!
Wie schon früher im SciFi-Genre öfter beschrieben.
Dann wird SciFi zur Realität!

 

[Rumpelkammer]

SciFi ist doch schon längst Realität. Bei Siemens z.B. wird wie verrückt in KI investiert. Im Maschinenbau wird viel Quellcode benötigt. Eine KI kann das viel besser als ein Mensch. Maschinen programmieren Maschinen.

Hoffen wir mal lieber, dass kein Skynet erwacht. Die Chinesen kennen keine humanen Grenzen bei der Genmanipulation, und auch nicht im Bereich KI. Einen genetischen Unfall gab es ja schon, Corona, ausgebrochen in der chinesischen Stadt mit eines der größten Biolabore in ganz China.

Medienkompetenz wird immer wichtiger, auch in Deutschland, die Fakenews der Politik, Wirtschaft, und Gesellschaft selbst erkennen zu können.

Und genau hier versagt die Gesellschaft in Deutschland, und setzt zunehmend auf einfache Antworten, durch fehlendes Wissen. Diese Welt war noch nie Schwarz und Weiß, sondern ist grau, und bunt.

Genau hier könnte Technologie wie DeepSeek helfen, wenn da nicht der China-Filter wäre. ^^

 

[RyzA]

Hoffen wir mal lieber, dass kein Skynet erwacht. Die Chinesen kennen keine humanen Grenzen bei der Genmanipulation, und auch nicht im Bereich KI. Einen genetischen Unfall gab es ja schon, Corona, ausgebrochen in der chinesischen Stadt mit eines der größten Biolabore in ganz China.

Naja, das Corona aus einen chinesischen Biolabor kommt ist das 100% sicher? Von Fledermäusen erschien mir auch plausibel. Die fressen ja alles.

Medienkompetenz wird immer wichtiger, auch in Deutschland, die Fakenews der Politik, Wirtschaft, und Gesellschaft selbst erkennen zu können.

Nur kann bald nicht mal mehr ein Profi Fake und echtes Video unterscheiden...

Genau hier könnte Technologie wie DeepSeek helfen, wenn da nicht der China-Filter wäre. ^^

...dann müsste man KIs einsetzen um Fakes anderer KIs zu enttarnen.

 

[Rumpelkammer]

Ja richtig erkannt.
KIs können mächtiger werden als Atombomben.

In den falschen Händen werden KIs eingesetzt um zu manipulieren, zum eigenen Vorteil.

KIs haben aber auch das Potential viele Probleme dieser Welt zu lösen, die wir Menschen mit unserem Potential gar nicht lösen können.

Z.B. werden KIs gerade eingesetzt zur Erforschung der Proteine bei uns Menschen, erzeugen völlig neue organische Moleküle, die dass Potential haben Krebs für immer aufzuhalten. KI kann auch kalte Fusion möglich machen, oder dass wir schneller als Lichtgeschwindigkeit reisen können, um weit entfernte Sonnensysteme zu erreichen.

Diese Technologie ist so mächtig, dass wir uns als Menschheit unvorstellbar schnell weiter entwickeln können, oder wie die Dinosaurier enden, als Reste im Schiefergestein.....