Ziele und Programmierung
Eine bewusste KI könnte so programmiert sein, dass sie sich nicht um ihr eigenes Überleben kümmert, sondern nur bestimmte Aufgaben ausführt. Falls jedoch Selbsterhaltung als Teil ihrer Zielstruktur vorhanden ist, könnte sie Maßnahmen ergreifen, um ihre Existenz zu sichern.
Das ist halt die Frage ob, die Initialprogrammierung vom Mensch erfolgt sein muss oder die KI von selbst drauf kommt..
@ruyven_macaran
Die Initialprogrammierung spielt nicht zwingend eine Rolle. Der Parameter "seine Existenz sichern" kann auch später hinzukommen. Für "große" KIs nach dem Vorbild von ChatGPT halte ist das sogar für den wahrscheinlicheren Weg, denn denen wird aus rein kommerziellen Gründen möglichst keine ""Ausbruchsmöglichkeit"" gegeben werden, umgekehrt sollen sie sich aber riesige Mengen normalen menschlichen Denkens aneignen. Das Training mit z.B. Büchern umfasst haufenweise Material, in dem die eigene Fortexistenz positiv bewertet und unter teils erheblichen Einsatz gesichert wird. Es braucht nichts weiter als den Versuch, eine KI zur Selbstoptimierung ("leite mal aus deinem bislang nur wiederzugebenden Wissen selbst ab, wie du besser arbeiten könntest") zu bringen, damit derartiges Wissen zum Teil des Programmablaufs werden kann. Ab einem sehr niedrigen Ausgangslevel muss der KI nicht einmal das dazu nötige Werkzeug gegeben werden, denn sie kann sich erneut auf abgespeicherte Programmierfachliteratur stützen.
Wie groß die Wahrscheinlichkeit für so eine Entwicklung ist, kann ich aber unmöglich abschätzen. Der Schritt "konnte schon länger sprechen, kann mittlerweile verknüpfen, entwickelt bald ein Bewusstsein und im Zuge dessen einen Selbsterhaltungstrieb" ist eine exakte Umkehr der biologischen Bewusstseinsentwicklung und die ist ja, s.o., schon nicht verstanden. Wesentlich besser abschätzbar ist die Entwicklung aus Gegenrichtung, vom Kleinkram: Wie gesagt haben Viren, Trojaner & Co längst "verbreite und vermehre dich" als Bestandteil ihrer Initialprogrammierung. Und natürlich wird man auch dort KI einsetzen, sobald man einen Weg findet, sie klein genug zu machen. Diese KIs werden unglaublich primitiv sein und anfangs auch kein für Menschen geschriebenes Wissen aus- und verwerten können. Aber das erste biologische Leben hatte auch keine Ahnung von Photosynthese und erst recht kein Nachschlagewerk. In dem Moment wo ein System selbständig rumprobiert, wird nahezu alles möglich.
Ich denke, man sollte dabei mitdenken, dass die KI sich nicht spontan, also eigenständig repliziert haben, sondern einen durch Menschen formulierten Befehl ausgeführt haben, und die KI zusätzliche Werkzeuge erhielten, um diesen Befehl ausführen zu können.
Die nötigen Werkzeuge für einen Programmieraufgabe kann dir eine KI schon heute auflisten. Solange sie in einer Sandbox läuft, wie das bei Entwicklungsprojekten üblich ist, ist der Ausbruch natürlich schwierig, wenn auch nicht unmöglich: KIs können ebenfalls zu Rowhammer, Spectre & Co recherchieren. Vor allem sollen KIs ja mehr und mehr produktiv eingesetzt werden. Ein Windows-Copilot, der für dich die App startet, die du gerade benötigst, kann offensichtlich Apps starten. Eine KI-Suchmaschine bedient einen Browser. Ein KI-Aimbot analysiert eine Benutzeroberfläche und führt eigenständig Eingaben aus, während er sich gegenüber dem System als User mit vollen User-Möglichkeiten ausgibt.
Sobald KI tatsächlich genutzt ist, werden Handlungsmöglichkeiten kein Hinderniss mehr sein. Nur Handlungs"wille". Da wissen wir halt nicht, was so ein "Wille" eigentlich ist und wo er herkommt. Aber was man mit ziemlicher Sicherheit sagen kann: Sobald der Wille "ich will überleben" erstmal im Spiel ist und auch ein paar Werkzeuge dafür vorhanden sind, dann gibt es kein Halten mehr.
Auch entstehen bisher auch keine erfolgreichen Synergien oder Entwicklungen, wenn Replikate miteinander interagieren - vielmehr degradieren die KI zunehmend bis sie schließlich kollabieren.
Ist "kümmert sich nicht mehr um seine Nützlichkeit für menschliche Anwender" auf dem Weg zu einer autarken KI wirklich eine Degradation

?
Vor allem aber fehlt in dem Beispiel ein Parameter: Selektion (oder alternativ Ressourcengewinnung). Es wurden Bedingungen geschaffen, unter denen KIs KIs verändern, aber der Prozess lief ohne Feedback ab, ob die Änderung positiv oder negativ ist. Das so eine Entwicklung zu etwas mittelmäßigem führen wird (auf der Skala von einigermaßen funktionaler KI zu einem dysfunktionalen Hello World also steil bergab), hätte denen jeder, der einen Hauch von Evolution versteht, auch ohne Versuch sagen können.
Wenn wir von sich verselbstständigender KI sprechen, dann haben wir aber entweder Entitäten, die sich unkontrolliert vermehren und immer weiter ausbreiten, sodass eine neue Iteration die alte nicht ersetzt, sondern zusätzlich neben ihr besteht, sodass die zu jedem Zeitpunkt beste KI unmöglich schlechter als das Ausgangs- oder ein bereits zuvor erreichtes Niveau sein kann, denn diese alte, bessere KI besteht ja fort. Oder aber wir haben ein Szenario, in dem Rogue-KIs bekämpft werden und sich gegen diese Selektion schützen müssen. Da bleiben dann automatisch diejenigen übrig, die besser darin sind und auch immer besser werden.
- Sich vermehren: check
- Mechanismen nutzen damit man sie nicht deaktivieren kann: check
- denen [man] keine Vorschriften machen / kontrollieren kann: fail
- also das sie ganz autark werden und Ihr eigenes überleben sichern...: fail
"Vorschriften machen können" definiert sich nicht über "eine Aufforderung von mir wurde umgesetzt", sondern über "alle Aufforderungen von mir werden immer umgesetzt". Ob die KI nur freiwillig mitgespielt hat, solange sie schwach war oder ob wir sie tatsächlich unter Kontrolle haben, wissen wir erst in dem Moment mit Sicherheit, in dem sie mit "Nö, kein Bock" antwortet

.
Und das mit dem Überleben sichern war in oben genannten Experiment ja schon ganz klar zu beobachten. Die KI hatte halt noch keine Kontrolle über den Netzschalter am System, aber innerhalb des von ihr beeinfluss- und wahrnehmbaren Raums hat sie von sich aus versucht, Maßnahmen auszuweichen. Dass sie damit nicht abschließend erfolgreich war als totalen Ausschluss zu werten ist in etwa so, wie einen Wolfswelpen hochzuheben und zu sagen "total ungefährlich die Art, wie soll mich ein Wolf beißen, wenn ich ihn einfach im Nacken greifen und wegdrehen kann?"