{"id":2497,"date":"2024-04-17T15:55:35","date_gmt":"2024-04-17T13:55:35","guid":{"rendered":"https:\/\/www.vordenker.de\/blog\/?p=2497"},"modified":"2024-04-24T14:39:50","modified_gmt":"2024-04-24T12:39:50","slug":"kuenstliche-dummheit-nicht-triviale-maschinen-und-der-fluch-der-rekursion","status":"publish","type":"post","link":"http:\/\/www.vordenker.de\/blog\/2497\/kuenstliche-dummheit-nicht-triviale-maschinen-und-der-fluch-der-rekursion\/","title":{"rendered":"K\u00fcnstliche Dummheit – Nicht-triviale Maschinen und der Fluch der Rekursion"},"content":{"rendered":"
\n
\"Via<\/a>
Via Bing, dall-e \/\/ Prompt: Erzeuge mir eine dumme k\u00fcnstliche Intelligenz.<\/figcaption><\/figure>\n<\/div>\n\n

>Direkt zum Download als PDF<\/a><<\/p>\n

Seit Mai 2023 mehren sich nun die Indizien, dass neben dem Marketing Buzzword \u201eK\u00fcnstliche Intelligenz\u201c in Zukunft wohl auch der k\u00fcnstlichen Dummheit ein Platz in den Berichterstattungen einger\u00e4umt werden muss. Auf Heise online war gar von Demenz die Rede.<\/a> Das ist zwar ebenso wie \u201ek\u00fcnstliche Dummheit\u201c und \u201ek\u00fcnstliche Intelligenz\u201c ein ausgepr\u00e4gter und kritikw\u00fcrdiger Anthropomorphismus, m\u00f6glicherweise treffend daran ist aber die Tatsache, dass Demenz etwas mit Alterungsprozessen zu tun hat. Diese bilden sich bei IT-Systemen auch in der Versionierung ab.<\/p>\n

<\/p>\n\n\n

Das erste Auftauchen des o.g. Begriffs \u201eK\u00fcnstliche Intelligenz, KI, oder AI, und die damit verbundene Motivation l\u00e4sst sich pr\u00e4zise angeben. John McCarthy garnierte 1956 sein Dartmouth Summer Research Project on Artificial Intelligence, kurz Dartmouth Conference, mit dem neuen Begriff AI, um Forschungs- und Spesengelder einzuwerben. Man interessierte sich auf dieser Konferenz vorzugsweise f\u00fcr symbolische Verfahren und grenzte sich dadurch von Norbert Wiener und seinen Kybernetik-Kollegen der Macy-Konferenzen ab, die zumeist konnektionistische, auf Verbindungen von Knoten basierende Modelle wie Perzeptronen und neuronale Netzwerke in den Blick genommen hatten.<\/p>\n\n\n\n

In den 90ern nahm das Thema KI erneut Fahrt auf, nach dem sogenannten KI-Winter hatten dieses Mal die heuristischen Modelle, die ANNs (artificial neural networks) die Nase vorn. Deep Learning Networks, d.h. ANN mit mehreren internen Layern zwischen Eingabe- und Ausgabeschicht, erwiesen entg\u00fcltig ihre \u00dcberlegenheit gegen\u00fcber den symbolischen Ans\u00e4tzen, nachdem der riesige verschlagwortete Bilddatensatz ImageNet durch die Informatikerin Fei-Fei Li und ihr Team 2009 bereitgestellt wurde. Der unbestreitbar gr\u00f6\u00dfte Durchbruch in den Augen der Welt\u00f6ffentlichkeit erfolgte dann am 30.11.2022, als OpenAI sein Large Language Model (LLM) Generative Pretrained Transformer, GPT Version 3 als Dialogsystem ChatGPT zur \u00f6ffentlichen Nutzung freischaltete.<\/p>\n\n\n\n

Denn im Mai 2023 ver\u00f6ffentlichte eine internationale Gruppe aus sechs Wissenschaftlern von f\u00fcnf Universit\u00e4ten, darunter Oxford, Cambridge und Toronto, eine Studie mit dem Titel \u201eThe Curse of Recursion: Training on Generated Data Makes Models Forget<\/a>\u201c, in dem f\u00fcr den Fall des Trainings mit von durch KIs produzierten \u201ek\u00fcnstlichen\u201c Datens\u00e4tzen die Existenz degenerativer Prozesse w\u00e4hrend der Trainingsphase in einer ganzen Reihe von Modelltypen nachgewiesen und demonstriert wird. Neben den LLMs sind dies GMMs (Gaussian Mixture Models zum Sortieren, bzw. Clustern von Daten) und VAEs (Variational Autoencoders zur Erkennung von handgeschriebenen Ziffern). Die Autoren sprechen vom Modellkollaps und liefern auch gleich ein Rezept zur Vermeidung des Zusammenbruchs. Es m\u00fcsse sichergestellt werden, das von Version zu Version einer KI ausschlie\u00dflich von Menschen produziertes Trainingsmaterial verwendet wird.<\/p>\n\n\n\n

Ende Oktober 2023 erscheint eine Arbeit von drei Forschern der Universit\u00e4ten Stanford und Berkeley, die sich ausschlie\u00dflich auf den Textgenerator ChatGPT und seine Versionen 3.5 und 4 bezieht, \u201eHow Is ChatGPT\u2019s Behavior Changing over Time?<\/a>\u201c Beiden Versionen des popul\u00e4ren Systems wurden insgesamt sieben verschiedene Arten von Aufgaben zu zwei verschiedenen Zeitpunkten, M\u00e4rz und Juni 2023, gestellt.<\/p>\n\n\n\n

Die Performances fielen dabei abh\u00e4ngig von den Zeitpunkten signifikant unterschiedlich aus. So identifizierte GPT4 im M\u00e4rz Primzahlen und zusammengesetzte Zahlen zu 84% richtig, im Juni waren dies nur noch 51%. GPT3.5 hingegen war in dieser Aufgabe im Juni deutlich besser als im M\u00e4rz.<\/p>\n\n\n\n

Ein unvoreingenommener Beobachter mag sich zwar die Frage stellen, ob die Identifizierung von Primzahlen ein geeigneter Job f\u00fcr Textgeneratoren ist, gleichwohl ist das nur ein Beispiel. Denn auch f\u00fcr die anderen Aufgabenstellungen best\u00e4tigen die Untersuchungen die Existenz von Unklarheiten bez\u00fcglich der Auswirkungen von Updates und von au\u00dfen durchgef\u00fchrten Variationen einiger Netzparameter.<\/p>\n\n\n\n

Die Autoren weisen explizit darauf hin, dass das Wie und Wann der Updates und Aktualisierungen von LLMs wie ChatGPT nicht transparent ist und k\u00fcndigen ein Langzeitprojekt an. Sie kommen zun\u00e4chst zu dem Ergebnis, dass die Verbesserung der Leistung des Modells bei einigen Aufgaben, z.B. durch auf bestimmte zus\u00e4tzlich zur Feinabstimmung herangezogene Daten unerwartete Nebeneffekte auf das Modellverhalten bei anderen Aufgabenstellungen haben kann.<\/p>\n\n\n\n

An dieser Stelle sei eine spekulative Frage erlaubt. Sind die nach einer Feinabstimmung f\u00fcr bestimmte Aufgaben sich ergebenden Verschlechterungen der Performance anderer Aufgabenstellungen m\u00f6glicherweise ein Indiz daf\u00fcr, dass das neuronale Netz zu klein ist, bzw. rein quantitativ zu wenig Parameter enth\u00e4lt, um beide Aufgabenfelder erfolgreich bearbeiten zu k\u00f6nnen? Denn wenn das so ist, dann sind diese Feinabstimmungen wenig mehr als blo\u00dfes Tricksen, bzw. Herumprobieren.<\/p>\n\n\n\n

Entsprechend dem Hype-Thema KI folgt beiden Ver\u00f6ffentlichungen ein Rauschen im Bl\u00e4tterwald der Feuilletons, der Fachpresse und der einschl\u00e4gigen Blogs. Es sei sehr wahrscheinlich, hei\u00dft es, dass KIs in Zukunft immer h\u00e4ufiger auch mit Daten trainiert werden, die selbst Outputs von KI-Systemen sind.<\/p>\n\n\n\n

Bald macht das Wort von der KI, die ihren eigenen Schwanz frisst, die Runde. Im Popular Mechanics Magazine<\/a> fordert der Autor Darren Orf seine Leser erstmal auf, zu Popcorn zu greifen und bem\u00fcht den Ouroboros, die sich selbst in den Schwanz bei\u00dfende Schlange der Ewigkeit, als sprachliches Bild.<\/p>\n\n\n\n

Schon zuvor im August spricht Gary Marcus, ein popul\u00e4rer Kritiker des KI-Hype, gar von der durch LLMs getriebenen \u201eenshittification<\/a>\u201c des Internet.<\/p>\n\n\n\n

\u201eGarbage in, garbage out. Data pollution is ruining generative AI’s future\u201c, kommentiert Ben Lutkevich auf TechTarget<\/a>.<\/p>\n\n\n\n

Datenverschmutzung? M\u00fcll rein, M\u00fcll raus? Aber der Output ist zu Beginn in der Regel kein M\u00fcll, bzw. wird nicht als solcher aufgefasst. Daher ist diese Erkl\u00e4rung allein m\u00f6glicherweise zu einfach. Das Training von neuronalen Netzen mit Outputdaten von neuronalen Netzen hat erstens eine Abnahme der Varianz der im Netz gespeicherten Wichtungen zur Folge und stellt im Prinzip eine Analogie dar zur Qualit\u00e4tsabnahme bei Fotokopien von Fotokopien. Dar\u00fcber hinaus schl\u00e4gt hier ein theoretisch ausformuliertes Prinzip zu, dass schon seit 1962 bekannt ist und f\u00fcr alle Arten von Maschinen mit endlich vielen internen Zust\u00e4nden gilt.<\/p>\n\n\n\n

Eine sogenannte \u201efinite state machine<\/a>\u201c ist ein abstraktes mathematisches Konzept, das durch eine Black Box mit einem Input und einem Output , z.b. f\u00fcr alphanumerische Zeichen, beschreibbar ist und deren Prinzip an folgenden beiden Beispielen erl\u00e4utert werden kann.<\/p>\n\n\n\n

Der aktuelle Output einer solchen Maschine ist eine einer feststehenden Regel folgende Funktion des Inputs. Jedes Zeichen als Input hat ein entsprechendes Zeichen als Output zur Folge und es l\u00e4sst sich eine Liste der Input-Output-Zeichenpaare aufstellen. Diese Art der Maschine wird trivial genannt. Ein Beispiel ist z.B. die Lenkung eines PKW. Input: Lenkrad nach links, Output: Fahrzeug f\u00e4hrt nach links, geradeaus\/ geradeaus, rechts\/ rechts, etc.<\/p>\n\n\n\n

\"\"<\/a>
Links: Triviale Maschine, y = f(x) \/\/ Rechts: Nichttriviale Maschine mit interner Zustandsfunktion Z: y = F(x,z) mit z\u2019 = Z(x,z) (frei nach H. v. Foerster)<\/figcaption><\/figure>\n\n\n\n

Eine andere Art einer \u201efinite state machine\u201c ergibt sich, wenn sie einen zus\u00e4tzlichen internen Zustand besitzt, der ebenfalls einer Regel folgend abh\u00e4ngig vom Input ist. Der Output ist nun eine dem Beobachter unbekannte aber einer festen Regel folgende Funktion des aktuellen Inputs und des aktuellen internen Zustands. Jeder Input \u00e4ndert aber ebenfalls einer festen Regel folgend den internen Zustand der Maschine. Wird nun in einem n\u00e4chsten Schritt ein weiterer Input angelegt, ist der Output ein Ergebnis des jetzt aktuellen Inputs und des internen Zustands, der ja im vorangegangenen Schritt ver\u00e4ndert wurde. Das nun vorliegende Konstrukt nennt man nicht-triviale Maschine, kurz NTM. Der Output einer sochen NTM ist f\u00fcr einen gegebenen Input nicht mehr vorhersagbar, d.h., die NTM kann analytisch nicht bestimmt werden, sie ist nicht determinierbar. In Bezug auf ihre Konstruktion ist sie ist lediglich synthetisch determiniert. Da der interne Zustand einer NTM sich mit jedem neuen Input \u00e4ndert und dies wiederum Einfluss auf den Output des n\u00e4chsten Schrittes hat, wird die NTM geschichtsabh\u00e4ngig genannt. Kompliziertere Algorithmen sind grunds\u00e4tzlich nicht-triviale Maschinen.<\/p>\n\n\n\n

Es leuchtet unmittelbar ein, dass auch deep learning neural networks in diese Kategorie von Maschinen geh\u00f6ren. Zwar handelt es sich hier um extrem viele m\u00f6gliche interne Zust\u00e4nde, GPT3 hat 175 Mrd. ver\u00e4nderliche Parameter und bei GPT4 sind dies \u00fcber eine Billion. Gleichwohl sind das immer noch endlich viele Zust\u00e4nde, denn auch die rechnerische Darstellung von Flie\u00dfkomma-zahlen, hier die synaptischen Wichtungen im ANN, ist ganz prinzipiell auf eine endliche Anzahl von Bin\u00e4rstellen beschr\u00e4nkt.<\/p>\n\n\n\n

Wenn man nun mehrere solche NTM via Netzwerk zusammenschaltet – entsprechend kann man sich auch KI-Systeme und ihre Inputs, Outputs und Trainingsdatenpools als via Internet zusammengeschaltet denken -, dann kommt dabei ein neues System heraus, das nun wiederum als eine einzige NTM betrachtet werden kann, deren Verhalten ebensowenig vorhergesagt werden kann.<\/p>\n\n\n\n

Urheber der Theorie der \u201efinite state machines\u201c ist der amerikanische Elektroingenieur Arthur Gill (1930-2020) aus Berkeley, der 1962 seine Einf\u00fchrung dazu ver\u00f6ffentlichte.[1<\/a>] Der Kybernetiker Heinz von Foerster (1911-2002) stellte Gills Unbestimmbarkeitsprinzip f\u00fcr nicht-triviale Maschinen an eine Seite mit G\u00f6dels Unvollst\u00e4ndigkeitssatz und Heisenbergs Unsch\u00e4rferelation. Er unterstellt \u2013 das ist gleichwohl kontrovers diskutierbar – Gills Konzept eine gr\u00f6\u00dfere Allgemeing\u00fcltigkeit als dem Konzept der Turing-Maschine.[2<\/a>]<\/p>\n\n\n\n

Gills NTM zeigen bei R\u00fcckkopplung ihres Outputs auf ihren Input, also bei einer Situation vergleichbar der des Trainings einer KI mit KI-produzierten Daten, ein grunds\u00e4tzliches sowie seltsames Verhalten. Von Foerster demonstrierte dies um 1970 am Beispiel einer ganz simplen nicht-trivialen Maschine mit nur zwei m\u00f6glichen internen Zust\u00e4nden. Koppelt man hier den Output rekursiv auf den Input zur\u00fcck, dann produziert eine solche NTM bereits nach wenigen Schritten eine sich ewig wiederholende Output-Folge, die heute \u201eseltsamer Attraktor\u201c genannt wird.[3<\/a>] Die Output-Werte der Folge sind die Eigenwerte dieser speziellen nicht-trivialen Maschine.<\/p>\n\n\n\n

Und aufgrund der vorliegenden Studien besteht die berechtigte grunds\u00e4tzliche Annahme, dass seltsame Attraktoren zum nat\u00fcrlichen Verhalten k\u00fcnstlicher Intelligenzen geh\u00f6ren.<\/p>\n\n\n\n

Aber wom\u00f6glich kann KI mit Hilfe von KI gerettet werden. Der Student Tom Tlok von der Hochschule Wedel<\/a> entwickelte im Rahmen seiner Masterarbeit ein Werkzeug, dass Texte zu erkennen vermag, die mit Hilfe von k\u00fcnstlicher Intelligenz geschrieben wurden, Trefferquote ca. 98 Prozent.<\/p>\n\n\n\n

Ein Backpropagation-Algorithmus bewertet Outputs von Backpropagation-Algorithmen. Auch eine Form von Rekursion.<\/p>\n\n\n\n

Joachim Paul, Neuss im April 2024<\/p>\n\n\n\n

Quellen:<\/strong><\/p>\n\n\n\n

[1] Arthur Gill, Introduction to the Theory of Finite State Machines, New York: McGraw-Hill 1962<\/p>\n\n\n\n

[2] Heinz von Foerster, Principles of Self-Organization – In a Socio-Managerial Context,
in: Self-Organization and Management of Social Systems, eds. H. Ulrich, G.J. B. Probst, Berlin Heidelberg 1984, p. 2-24<\/p>\n\n\n\n

[3] Heinz von Foerster, Molecular Ethology. An Immodest Proposal for Semantic Clarification, in: Molecular Mechanisms in Memory and Learning, ed. G. Ungar, New York 1970, p. 213-248.
dt.: Molekular-Ethologie: ein unbescheidener Versuch semantischer Kl\u00e4rung, in: Heinz von Foerster, Sicht und Einsicht, Versuche zu einer operativen Erkenntnistheorie, Wiesbaden 1985, S. 173-204<\/p>\n","protected":false},"excerpt":{"rendered":"

>Direkt zum Download als PDF< Seit Mai 2023 mehren sich nun die Indizien, dass neben dem Marketing Buzzword \u201eK\u00fcnstliche Intelligenz\u201c in Zukunft wohl auch der k\u00fcnstlichen Dummheit ein Platz in den Berichterstattungen einger\u00e4umt werden muss. Auf Heise online war gar von Demenz die Rede. Das ist zwar ebenso wie \u201ek\u00fcnstliche Dummheit\u201c und \u201ek\u00fcnstliche Intelligenz\u201c ein […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6,367],"tags":[893,897,895,898,195,94,896,284,899],"class_list":["post-2497","post","type-post","status-publish","format-standard","hentry","category-allgemein","category-kybernetik","tag-anthropomorphismen","tag-backpropagation","tag-enshittification","tag-finite-state-machine","tag-kunstliche-intelligenz","tag-kybernetik","tag-marketing","tag-neuronale-netze","tag-nicht-triviale-maschine"],"_links":{"self":[{"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/posts\/2497","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/comments?post=2497"}],"version-history":[{"count":10,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/posts\/2497\/revisions"}],"predecessor-version":[{"id":2533,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/posts\/2497\/revisions\/2533"}],"wp:attachment":[{"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/media?parent=2497"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/categories?post=2497"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.vordenker.de\/blog\/wp-json\/wp\/v2\/tags?post=2497"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}