Ein Blick auf LinkedIn genügt: Wo früher Ingenieure über Systeme sprachen, sprechen heute Visionäre über Bewusstsein. Zeit für einen Realitätscheck.
Ich scrolle seit einiger Zeit mit einem zunehmend unguten Gefühl durch mein LinkedIn-Feed. Nicht wegen der üblichen Buzzword-Bingo-Posts – die kannte man schon vor dem KI-Hype. Sondern wegen einer neuen Kategorie von Beiträgen, die technisch klingen, wissenschaftlich klingen, und dabei etwas verkaufen, das keiner sauberen Prüfung standhält: die Erzählung, dass aktuelle KI-Systeme kurz davor stehen, “Erfahrung zu machen”, “Begriffe zu bilden” oder gar “subjektiv zu erkennen”.
Diese Posts kommen selten von Marketing-Leuten. Sie kommen von Entwicklern. Von Menschen, die es eigentlich besser wissen müssten.
Der Kipppunkt vom Ingenieur zum Träumer
Es gibt einen bestimmten Moment, an dem aus einem soliden technischen Argument eine Geschichte wird. Man nimmt einen echten, validen Baustein – etwa die Beobachtung, dass Active Inference und handlungsbasiertes Lernen kausale Zusammenhänge besser erschließen als reine Beobachtung – und verlängert ihn gedanklich so lange, bis er bei “Das ist der Weg zu Artificial General Intelligence” landet.
Das Problem ist nicht die Ausgangsbeobachtung. Die ist oft sogar korrekt. Das Problem ist der Sprung. Zwischen “ein System kann durch Interaktion mehr über Kausalität lernen als durch reine Beobachtung” und “ein System entwickelt subjektive Erfahrung und Begriffe wie ein Kind” liegt keine logische Brücke, sondern ein Wunsch.
Und genau das ist es, was mich beunruhigt: Es sind nicht die Laien, die diese Wünsche formulieren. Es sind die Leute, die die Systeme bauen.
Was tatsächlich passiert, wenn man es ausprobiert
Ich habe selbst ein kleines Sprachmodell gebaut und versucht, es im laufenden Betrieb weiterzutrainieren – mit dem Ziel, etwas zu erzeugen, das über reines Musterabrufen hinausgeht. Der Verlauf war jedes Mal derselbe: Am Anfang sieht es vielversprechend aus. Die Ausgaben wirken kohärenter, angepasster, fast so, als würde das System “dazulernen”.
Und dann kippt es. Immer.
Was dabei passiert, ist kein Mysterium, sondern gut dokumentierte Systemdynamik:
- Katastrophales Vergessen: Ohne Schutzmechanismus überschreibt jeder neue Trainingsschritt die Repräsentationen, die für vorher gelerntes Wissen zuständig waren (McCloskey & Cohen, 1989).
- Modellkollaps: Trainiert ein Modell auf Daten, die von einem Modell selbst oder einem ähnlichen System stammen, verengt sich die Verteilung seiner Ausgaben von Runde zu Runde. Seltene, differenzierte Muster verschwinden zuerst; übrig bleibt ein sich selbst verstärkender, verarmter Attraktor (Shumailov et al., 2023).
- Fehlende stationäre Zielverteilung: Stabiles Training braucht ein einigermaßen konstantes Ziel. Trainiert ein System live auf seinen eigenen, sich ständig verschiebenden Ausgaben, entsteht eine ungedämpfte Rückkopplungsschleife.
- Exposure Bias: Kleine Fehler in der Vorhersage akkumulieren sich über eine Sequenz hinweg – und werden, statt korrigiert zu werden, beim Weiterlernen ins System einprogrammiert.
Das Ergebnis ist immer dasselbe Muster: erst scheinbare Verbesserung, dann Entropiekollaps, dann Rauschen. Man kann es einen Merksatz nennen, aber es ist eigentlich nur eine nüchterne Beschreibung dessen, was mathematisch zwangsläufig passiert:
“Ein Modell, das ohne stabilen externen Anker auf seinen eigenen Ausgaben weiterlernt, verengt sich rekursiv – bis Vielfalt zu Wiederholung und Wissen zu Rauschen wird.”
Das ist keine Meinung. Das ist reproduzierbar.
Warum das mehr ist als ein technisches Detail
Man könnte einwenden: Ist das nicht nur ein Implementierungsproblem? Wird man das nicht irgendwann lösen?
Vielleicht, in Teilen. Es gibt Ansätze, die Modellkollaps abmildern – sorgfältiges Daten-Kuratieren, Beimischen echter (nicht-synthetischer) Daten, Regularisierung. Aber das ändert nichts an der Kernsache: Ein System, das Signale speichert und bei Inferenz abruft, lernt in diesem Moment nicht. Die Gewichte ändern sich nicht während des Gesprächs. Was wie Lernen aussieht, ist Mustererkennung innerhalb dessen, was im Training bereits einprogrammiert wurde. Das “Lernen danach” – also alles, was nach dem eigentlichen Training passiert – ist bestenfalls eine geschickte Simulation, keine neue Erkenntnis im eigentlichen Sinn.
Wer daraus “das System bildet Begriffe wie ein Kind” macht, verwechselt eine plausible Analogie mit einem Beweis.
Die eigentliche Frage
Mich beschäftigt weniger, ob Entwickler falsch liegen können – das passiert jedem, mir eingeschlossen. Mich beschäftigt, warum so viele davon inzwischen lieber die große Erzählung bedienen als die unbequeme Beobachtung zu teilen: dass das, was wir gebaut haben, beeindruckend ist, aber eben anders funktioniert als das, was wir ihm gerne andichten.
Vielleicht liegt es daran, dass “wir bauen AGI” auf LinkedIn besser performt als “wir haben ein Speicher- und Abrufsystem gebaut, das bei kontinuierlichem Nachtraining zuverlässig kollabiert”. Das eine ist eine Vision. Das andere ist Ingenieurarbeit.
Ich würde mir wünschen, dass mehr Entwickler bei Letzterem bleiben. Nicht, weil Visionen wertlos wären – sondern weil man am Ende des Tages an der Realität gemessen wird, nicht am Applaus unter dem Post.
Wer selbst mit kontinuierlichem Nachtraining oder Live-Learning experimentiert hat: Ich bin gespannt, ob sich das beschriebene Muster – guter Start, dann Kollaps – bei euch genauso zeigt.
Leave a Reply