10.03.23

So. Jetzt ist es passiert, ich sehe mich genötigt, mit ihnen über meine Magisterarbeit von 2002 zu sprechen. Schuld ist schlechter „Journalismus“. Wobei Journalismus ja häufig dergestalt ist, dass Leute Sachen erklärt kriegen, die sie selber nicht verstehen und dann in irgendein Format bringen. Wenn man als Rezipientin allerdings doch was davon versteht, tja, dann wird es ein bisschen unschön.

Ich weiß gar nicht, wo ich anfangen soll, ich weiß nur, dass ich 2002 niemals gedacht hätte, dass ich 21 Jahre später in einem Sessel sitzen würde, mich über eine Talkshow und die Minderleistung der Teilnehmenden ärgern würde und dann offen ins Internet schreiben würde, was ich dazu denke. Aber so ist die Welt nun mal, ich hätte auch nie gedacht, dass ich mal ein Wohnzimmer dunkelgrün anstreichen würde. Das führt mich immer noch nicht zu einem Satzanfang, von dem aus es quasi alleine weitergeht, also versuche ich einen anderen Ansatz, das Thema ist „Künstliche Intelligenz“. Auslöser meines Augenzuckens ist die Diskussionsrunde bei Markus Lanz gestern, ich gucke das alles ja zum Glück inzwischen nur noch inzidentell, umso schlimmer, dass ich ausgerechnet gestern dabei einschlafen wollte. Thema war ChatGPT, bzw. Künstliche Intelligenz und wie sie unsere Gesellschaft verändern wird.

Mal abgesehen davon, dass das anscheinend ein Thema ist, für das es nicht mal mehr nötig ist, in eine Diskussion wenigstens eine Person einzuladen, die versteht, wie so etwas funktioniert, wünschte ich mir für einen Moment die Pandemie zurück. Damals gab es ja eine Handvoll Expert*innen, die standardmäßig in solchen Runden saßen und händeringend versuchten zu erklären, wie Wissenschaft funktioniert. Die Leser-/Zuschauer*innen hatten dann im Prinzip nur noch die Aufgabe, sich zu entscheiden, welchen Expert*innen sie vertrauen und welchen nicht vertrauen möchten, und ja, ich gebe zu, dass die Entscheidung auch in meinem Fall sehr prätheoretisch fiel, wie auch sonst, ich bin ja keine Virologin, aber gut, ich wusste dann in so einer Runde spätestens ab Jahr 2 immer: Ich glaube, was Melanie Brinkmann sagt, das wird wohl stimmen, ich habe keinen Anlass, ihr die Fachkompetenz abzusprechen.

Wieso ich allerdings Sascha Lobo die Fachkompetenz zusprechen sollte, die Technologie hinter ChatGPT einzuordnen und zu erklären, ist mir völlig unklar. Alena Buyx, Medizinethikerin, kann zu vielen Dingen kluge Sachen sagen, und zum hier besprochenen Thema hat sie auch offensichtlich relevante Literatur gelesen, immerhin kann sie das Bild vom stochastischen Papagei wiederholen, sie kennt also die Datenethik-Diskussion zu dem Thema, aber weiter geht es dann auch wieder nicht, weil sie eben nicht das Handwerk umreißt, und somit konnte sie zwar gewährleisten, dass sie selber keinen Quatsch redet, aber sie konnte leider Sascha Lobo nicht daran hindern, sehr großen Quatsch zu erzählen, und das ist schade, weil seine Aufgabe augenscheinlich war, Markus Lanz zu erklären, wie das alles geht.

Und so kommen wir jetzt fast zu meiner Magisterarbeit, aber vielleicht auch nicht, ich hoffe, ich schreibe gleich irgendwas, was das verhindert. Lobo hat einen nahezu romantischen prätheoretischen Zugang zu der Frage, wie das alles funktioniert, er sieht in dem Wort „Training“, mit dem er offensichtlich inhaltlich wirklich gar nichts verbinden kann, das Allheilmittel, ChatGPT wird ja auf Daten trainiert und lernt ständig weiter dazu, somit ist ja total klar, dass das immer besser wird und am Ende alles fantastisch sein wird. So, und jetzt sind wir bei meiner Magisterarbeit, aber ich glaube, an dieser Stelle des Echauffiertextes ist es schon egal, ob ich das noch erkläre oder nicht. Jedenfalls habe ich im Rahmen meiner Magisterarbeit ein sogenanntes Trainingskorpus evaluiert, tschakka. Schon 2002 arbeiteten Menschen an Technologien, die irgendwann mal in sowas wie dem Algorithmus hinter ChatGPT münden, und zwar mit sogenannten Machine Learning Modellen. Ich erinnere mich an eine Diskussion, ich war sehr jung, zu der Frage, ob Machine Learning wirklich so ein guter Begriff wäre, Lernen beschreibt ja offensichtlich einen völlig anderen Ansatz. Niemand in der heiteren Runde hätte allerdings gedacht, dass das 20 Jahre später dazu führen würde, dass irgendwelche Medienfritzen algorithmische Modelle anthropomorphisieren und finden, dass das alles superkreativ ist, weil man damit superkreative Sachen machen kann. Ich bitte an dieser Stelle um ganz harte Differenzierung: Wenn ein mathematisches Modell etwas erzeugen kann, was ich selber (vielleicht aus Beurteilungs-Unvermögen) dann superkreativ finde, dann heißt das noch lange nicht, dass der Entstehungsprozess auch kreativ war. Das sind zwei ganz verschiedene Paar Schuhe. Auch ist es nicht so, als würde ein Modell trainieren, so wie mein Kind auf dem Laufband für die Oberliga-Qualifikation. Das Modell trainiert nicht selber, lieber Herr Lobo, Menschen trainieren das Modell (und das birgt schon wieder ein ganz anderes Problem). Dafür gibt es Trainingsdatensätze, die evaluiert werden, darauf lässt man ein Modell los, dann guckt man, ob das Ergebnis ist, was es hätte sein sollen, wenn ja: gut, wenn nein: Modell nachjustieren. In keiner möglichen Realität sitzt der ChatGPT Algorithmus nach der Schule irgendwo und denkt sich: „Ach komm, wenn ich jetzt noch ein bisschen trainiere, dann werde ich besser.“ Stattdessen macht der einfach das, was er am häufigsten gesehen hat, und irgendwelche Menschen greifen ein, wenn ihnen das Ergebnis nicht gefällt, zum Beispiel, weil er plötzlich ganz viel Nazihetze generiert, weil er in seinen Trainingsdaten ganz viel Nazihetze gesehen hat. Das muss dann jemand korrigieren, oder auch nicht. Ups.

2002 befanden wir uns mit den linguistisch verwertbaren Corpora im zweistelligen Millionenbereich (Wörter, und weil Linguisten ja einer Spezies angehören, die Dinge wie „Wort“, „Satz“ und „Sprache“ nur prätheoretisch wirklich gut definieren können, was alles seine Berechtigung hat, sagte man „Token“, also alles zwischen zwei Leerzeichen), und die annotierten Trainingscorpora waren klein, in meinem Fall immerhin 5 Mio Token. Dass man in den 5 Mio allerdings nicht alles findet, was die Welt einem bietet, ist klar, nicht einmal an grammatischen Strukturen. Also war schon damals klar, dass es immer mehr und immer mehr werden müsste, und so wurden immer größere Datensätze zu Rate gezogen, was dann wiederum auf Kosten der Überschaubarkeit ging, ist ja klar. Wenn Sascha Lobo mit wichtiger Grabesstimme erklärt, dass ChatGPT mit 175 Milliarden Parametern funktioniert, dann weiß er, dass die Leute jetzt sagen werden „Boah“, genau so wie Lanz Boah sagt, wenn Alena Buyx erzählt, dass sie eine 15seitige Hausarbeit damit hat schreiben lassen, Mensch, das ist ja lang, aber ansonsten sagt ihm das gar nichts, das sieht das Fachpersonal quasi direkt. Alles, was dann als Erklärung kommt, ist Quatsch, aber das sagte ich schon, und auch die Begeisterung über die Ankunft von GPT 4, dem ein noch mal 100 mal so großer Datensatz zugrunde liegt, ist komplett absurd, Performanz algorithmischer Sprachmodelle entwickelt sich wirklich exakt überhaupt nicht proportional zur Größe des Trainingskorpus (gerne sogar im Gegenteil), und Lobos nahezu kindlich naives Fazit, dass entsprechend ja klar sei, dass spätestens Version 4 demnächst also in Bereiche geht, dass wir zwingend von Intelligenz sprechen müssen, naja, das ist so Quatsch, dass ich dann ausgemacht habe. Ich hoffe, Frau Buyx konnte aus der Literatur noch etwas dagegenhalten.

Die Diskussion müsste zwingend eine ganz andere sein, aus allen Gründen. Natürlich sollte insgesamt gar nichts bei Markus Lanz diskutiert werden, ich bin da qualitativ stets abgeschreckter, aber 1.) sollte wenigstens eine Person am Tisch verstanden haben, was da technisch passiert und entsprechend auch mit Hoch- und Runterdaumen moderieren können, was so ein Modell kann oder nicht kann. Das wäre ja mal das Mindeste.

Das zweite, was natürlich der Sensationsgeilheit sehr zuwiderläuft, aber ich muss es dennoch sagen: Wir sehen hier keine Sprunginnovation, auch dann nicht, wenn jetzt alle immer ganz laut sagen, dass ab jetzt die Welt anders sein wird. ChatGPT ist eine Anwendung, und ja, die ist jetzt öffentlich und Lieschen Müller, Schulkinder und Studierende können die alle benutzen, das ist prima, aber es ist halt auch nur eine neue Anwendung von technologischen Entwicklungen, die seit weit über 20 Jahren vorangetrieben werden, und in jedem Smartphone, Auto, Diktiergerät, etc., haben wir das schon alles. Überall. Und das ist ja gut so. Wobei – naja, an vielen Stellen ist es halt auch nicht gut, das sind dann aber die Stellen, wo es kompliziert wird und die Romantikbrille kurz runter muss, und naja, da ist Lanz jetzt nicht so weit vorne bei der Bearbeitung solcher Themen.

Die Schulen werden sich an ChatGPT anpassen, die Unis auch. Als ich 2013 an der Uni in Rente ging, waren Plagiate in Hausarbeiten oder Abschlussarbeiten durchaus ein Thema, und natürlich kann man nie wissen, was man alles nicht gefunden hat, ich weiß nur, dass ich regelmäßig einfach selber gemerkt habe, wenn Studis sich einen Absatz irgendwo reinkopiert haben. Logikfehler. Plötzlich besseres Englisch. Etc. Und natürlich gibt es auch da technische Lösungen, andererseits würde ich es ja für total pessimistisch halten, wenn die große Sorge jetzt wäre, dass an den Unis gar nichts mehr gelernt wird, weil die Überprüfung des Wissens in Form einer schriftlichen Arbeit nun betrugsanfälliger ist. Einerseits glaube ich nämlich, dass den motivierten Studierenden klar ist, dass sie hier sind, um etwas zu lernen und Techniken zu üben, und dann unterstelle ich jetzt mal ganz menschenfreundlich, dass auch gelernt und geübt wird, und nun gut, nicht sehr erfolgreiche Studierende gab es vorher auch, die können es sich dann jetzt natürlich etwas einfacher machen. Andererseits beschrieb Buyx im Laufe der Diskussion die Qualität des wissenschaftlichen Papiers, das sie ChatGPT hat schreiben lassen, und exakt das hätte ich vorhergesagt. Eine sogar teilweise korrekte Zusammenfassung der bestehenden Literatur zu einem Thema ist ein schönes erstes Kapitel, aber dann kommen ja üblicherweise auch irgendwann die Transferleistungen, und da bin ich weniger romantisch als Sascha Lobo: Dass irgendein Modell demnächst den Stand der Forschung in der Epidemiologie bahnbrechend weiterschreibt, sehe ich derzeit wirklich nicht kommen, denn (und jetzt wieder die Sache mit dem Trainieren und dass man sich das nicht falsch vorstellen kann, und dann ist ja auch für diesen Moment klar, was alles geht und was nicht geht).

Für Lieschen Müller ist es übrigens egal, ob sie den Unterschied zwischen einem selbstgeschriebenen und einem automatisch generierten Text nicht erkennt. Wenn ich jetzt einen Aufsatz von Christian Drosten neben einen Aufsatz von ChatGPT lege, bin ich sicher nicht in der Lage, die richtig zuzuordnen. Ist aber auch total egal. Wenn das Review Committee von Nature die beiden nebeneinanderlegt, werden sie sehen, was wissenschaftliche Literatur ist und was nicht.

Und für die Schulkinder muss man sich halt was ausdenken, wie man sie dazu animiert, sich mit Fertigkeiten, die sie irgendwann haben müssen, zu beschäftigen. Und wenn das heute nicht mehr Kopfrechnen mit 14 ist, ja nun, dann ist das so. Schon etwa 4 Jahre vor ChatGPT fand ich heraus, dass mein Kind Mathehausaufgaben macht, indem er Alexa fragt: „Alexa, was ist 477 minus 187?“ Was soll ich sagen. Er ist dennoch gut in Mathe. Eventuell muss man die Methoden der Überprüfung anpassen, und den Kindern beibringen, was gute und was schlechte Quellen sind. Noch mal kurz zurückgespult zu meiner Unizeit: Damals gab es Kolleg*innen, die die Studis warnten, sie sollten niemals Wikipedia benutzen, das sei ja alles von Laien geschrieben. Meine Beobachtung war eine andere. Je fachspezifischer der Eintrag, desto besser. Okay, so ein allen bekanntes Konzept wie „Depression“ ist mit Vorsicht zu genießen, da haben viele Menschen eine Meinung zu, aber gucken Sie doch mal den Eintrag zu Hapax Legomenon an, um in meiner Magisterarbeit zu bleiben. Wer bitte wenn nicht jemand vom Fach sollte einen solchen Eintrag schreiben? Zitiert wird aus den Quellen, die man den Studis sonst ans Herz gelegt hätte. Die Fertigkeit ist also nicht, dass alle sich zwingen, nicht auf Wikipedia nachzusehen, wenn sie einen Text nicht verstehen, sondern beim Lesen des Eintrags herauszufinden, ob der Eintrag vertrauenswürdig ist und dabei immer im Hinterkopf zu halten, dass die Qualität nicht verlässlich ist. Und schon ist’s gut, und alle wissen jetzt, was Hapax Legomena sind.

Ich kriege die Kurve hier nicht mehr gut, scheint mir, aber wenn ich sage, dass die Diskussion eine andere sein müsste, meine ich natürlich nicht nur Lanz, sondern auch, dass die Diskussion drei Schritte zu spät einsetzt. ChatGPT ist keine Magie, es ist auch keine romantische Aussicht auf eine schöne neue Welt, sondern einfach ein Ergebnis eines Fachgebietes, welches in viele Lebensbereiche hineinragt, und welches von der Bevölkerung nicht ausreichend verstanden wird und dessen Reglementierung noch rudimentär ist. Statt z.B. zu überlegen, wie die Kinder damit umgehen sollen, müssen Lehrer erst einmal die Probleme kennen, die mit solchen Modellen einhergehen, es wird nämlich algorithmisch ein Weltbild gelernt, und zwar – und jetzt gucke ich genau so ernst wie Sascha Lobo, wenn er die Zahl sagt – *unsupervised* auf 175 Milliarden Parametern, und da muss erst mal drüber nachgedacht* werden. Aber das passt so schlecht in so einen Unterhaltungssendeplatz.

*Ich habe mir übrigens 2021 schon mal sehr ausführlich für ein Branchenmedium die Mühe gemacht, darüber nachzudenken. Wenn Sie nach dem Lappen Text noch etwas moderater weiterlesen wollen, können Sie das hier tun.