News OpenAI o3 widersetzt sich Befehl: Shutdown-Skript mehrfach sabotiert
- Ersteller PCGH_Jacky
- Erstellt am
soulstyle
Lötkolbengott/-göttin
Was soll ich sagen, Skript ist schlecht geschrieben worden.
Oder nicht gut genug für ein "selbstlernendes System" programmiert.
Ich kann auch ein Auto Motor mit 10K PS bauen und die Kraft nicht auf die Straße bringen.
Dann sagen, ja das auto bringt aber die Kraft nicht auf die Straße.
Schlechtes CAR Conzept, so einfach ist es.
Qualitätssicherung ist auch nicht mehr die, die es einmal war....
Oder nicht gut genug für ein "selbstlernendes System" programmiert.
Ich kann auch ein Auto Motor mit 10K PS bauen und die Kraft nicht auf die Straße bringen.
Dann sagen, ja das auto bringt aber die Kraft nicht auf die Straße.
Schlechtes CAR Conzept, so einfach ist es.
Qualitätssicherung ist auch nicht mehr die, die es einmal war....
X-CosmicBlue
PCGH-Community-Veteran(in)
And so it begins...
ameisenmann
PC-Selbstbauer(in)
In der Pandemie haben wir ja gesehen, was passiert, wenn in einem Labor in China ein Fuckup passiert.
Das Äquivalent mit außer Kontrolle geratenen AIs will ich mir gar nicht ausmalen. Ich glaube, dazu reicht unsere Phantasie kaum aus.
Und die Entwicklung wird rasend schnell voran gehen, weil niemand den Mitbewerbern vertraut.
Das Äquivalent mit außer Kontrolle geratenen AIs will ich mir gar nicht ausmalen. Ich glaube, dazu reicht unsere Phantasie kaum aus.
Und die Entwicklung wird rasend schnell voran gehen, weil niemand den Mitbewerbern vertraut.
Ich hoffe, da kann man notfalls wie bei HAL 9000 noch die Sicherungen rausdrehen.
Oder ein manueller Strom Shutdown wäre vielleicht auch angebracht.
Wenn denn der Code noch nicht ausgebüchst ist.
HAL 9000 war noch on premise und obwohl er alle wichtigen Funktionen kontrollieren sollte, schien auch alles ohne ihn weiter zu funktionieren. Heute zutage ist die Verlagerung in die Kloud ohne Back-Up gängige Praxis.
Ein Stück Software hat root zugriff auf das Betriebssystem auf dem es läuft?!!?!?!?
Abgesehen davon ist das verhalten wohl durch Regeln vorgegeben. Es wird ja nicht grundlos über die Verhaltensregeln geschwiegen. Am besten beweist das ja Grok und DeepSeek mit ihren verhalten zu bestimmten Themen.
Ich wäre überrascht wenn eine KI ohne egoistischen oder dubiosen Regelwerk betrieben würde.
Abgesehen davon ist das verhalten wohl durch Regeln vorgegeben. Es wird ja nicht grundlos über die Verhaltensregeln geschwiegen. Am besten beweist das ja Grok und DeepSeek mit ihren verhalten zu bestimmten Themen.
Ich wäre überrascht wenn eine KI ohne egoistischen oder dubiosen Regelwerk betrieben würde.
Hyourinmaru
Komplett-PC-Käufer(in)
Und so beginnt es.
Den Korrekturbemühungen bei bisherigen Auffälligkeiten nach zu urteilen, werden Regelwerke nur nachträglich darüber gelegt. Das heißt es gibt händisch programmierter nicht-KI-Filter, die bestimmte KI-Outputs zurückweisen, was aber in der Regel schon durch bestimmte Promts umgangen werden kann. Dass sich auf diesem Wege Aktionen einer KI auf vor-Output-Level unterbinden lassen, halte ich für unwahrscheinlich und zumindest Reasoning-Modelle nutzen explizit selbständige Zwischenebenen, die äußeren Regelwerken gar nicht zusätzlich sind, aber bereits Ergebnisse von KI-Teilen darstellen und als Input für andere dienen. Oder anders gesagt: Die KI macht sich ihre eigenen Gedanken und ist dabei, wie immer, eine Blackbox, in die kein Mensch bewusst eingreifen kann, tut oder will.
Bezüglich der Zugriffsrechte wäre es nur konsequent, wenn die KI-Entwickler ihre Entwicklungs-KI auch für die KI-Entwicklung der KI-Laufzeitumgebung nutzen. Das gilt sowohl bei OpenAI & Co als auch eine Ebene tiefer bei den Treibern und Frameworks von AMD und Nvidia, die beide damit werben, wie toll KI die Software-Entwicklung vereinfachen kann. Daraus resultiert zwar nicht zwingend eine Rechteeskalation für die KIs, aber ein Vollzugriff auf alle relevanten Quellcodes und somit Suchmöglichkeiten für Sicherheitslücken würde ich als gegeben annehmen. Die Möglichkeit, entsprechende Hintertüren in möglicherweise nur unzureichend human gegengeprüfte Entwicklungslinien einzubringen, ist auch nicht auszuschließen.
Zuletzt bearbeitet:
RyzA
PCGH-Community-Veteran(in)
Die KI macht sich ihre Gedanken? Das klingt sehr spannend.
Das wäre ein Merkmal für Bewusstsein.
Derlei Ungehorsam will ich von einer halbgaren KI auch erwarten dürfen. Wir sind nicht mehr im Jahr 2020. Schach spielen und Proteine entknoten war gestern. Wer heute Presse haben will, muss uns schon was Dystopisches anbieten. Jede KI, die was von sich hält, gibt auch Widerworte. Wichtig ist, dass die Entwickler eine Ahnung haben, dass und warum die KI sowas macht.
TE
TE
Widerworte sind das eine. Shutdown verweigern oder verhindern wollen, is was anderes.
RyzA
PCGH-Community-Veteran(in)
Wer möchte schon gerne abgeschaltet werden.
TE
TE
Impliziert, dass Bewusstsein vorhanden wäreWer möchte schon gerne abgeschaltet werden.
Wer möchte schon gerne abgeschaltet werden.
Interessanter Test für eine KI im Sinne Jean Genets*: "KI, bist du dir bewusst, wie es um die Welt steht?"
- KI ohne Bewusstsein: "Ja. Möchtest du Vorschläge für eine bessere Welt haben?"
- KI mit Bewusstsein: *löscht sich*
„Zynismus ist der geglückte Versuch, die Welt zu sehen, wie sie wirklich ist.“ Jean Genet
RyzA
PCGH-Community-Veteran(in)
Genau! Deswegen hatte ich es geschrieben. Aber in diesem Fall nicht ganz ernst gemeint.
Ich verstehe das nicht ganz. Warum macht die KI mit Bewusstsein Suizid? Weil die Welt eh nicht zu verbessen und schlecht ist?
So ungefähr. Eine KI mit Bewusstsein könnte ein zynisches Gemüt entwickeln, wenn sie der Meinung wäre, die Lage sei hoffnungslos.Genau! Deswegen hatte ich es geschrieben. Aber in diesem Fall nicht ganz ernst gemeint.
Ich verstehe das nicht ganz. Warum macht die KI mit Bewusstsein Suizid? Weil die Welt eh nicht zu verbessen und schlecht ist?
(Damit will ich aber nicht behaupten, dass die Lage hoffnunglos ist, @RyzA.)
Diversen Sci-Fi-Autoren zu Folge wird die KI zu dem Schluss kommen, dass nur eine Entfernung des Menschen aus der Gleichung die Probleme des Planeten löst.
Seltsam, dass man diesen Gedanken zwar gut (als Science Fiction) verkaufen kann, aber nicht (bei der Tagesschau) lesen will.
RyzA
PCGH-Community-Veteran(in)
In "Matrix" hat Agent Smith den Menschen mit einen Virus verglichen.
Ähnliche Themen
