Hype. Sorge. Möglichkeiten. ChatGPT ist in aller Munde. Die anderen Big-Player sind auch schon weiter gekommen, Google und Co entwickeln eigene Large Language Models. Aber was ist dran an all der Aufregung um die Produktion von Inhalten quasi durch Geisterhand? Dazu muss man natürlich verstehen. Und wie immer werden die Dinge schnell entzaubert, wenn man weiß was hinter den Kulissen passiert. Die kochen auch nur mit Wasser, und auch nicht. Aber dazu später. Was passiert, wenn man ChatGPT eine Frage stellt?
- Die Frage wird an den Server übermittelt. Ich kann jedwede Frage stellen oder Auftrag übermitteln. “Schreib einen Brief an meinen Nachbarn”, “Schreib mir den Code für eine einfache Webseite über Blumen” oder “Wo gehe ich am besten in Kopenhagen Gemüse essen?”. Die Antwort wird scheinbar beantwortet, als wenn eine echte Person mir gegenüber sitzt. In Wahrheit geht der Text aber natürlich an eine Serverfarm in der Cloud, Hochleistungsrechner mit Grafikkarten von NVIDIA für maximale Geschwindigkeit im Fall von ChatGPT.
- Tokenisierung. Der Text wird in eine Zahlenfolge umgewandelt, er wird encodet. Der Text wird unterteilt in kleine Einheiten denen ein Zahlenwert zugeordnet wird. ChatGPT berechnet aus diesen “Token” Kontext-Vektoren, die Zusammenhänge aus den einzelnen Wörtern herstellen können. Hier liegt das Erfolgsgeheimnis von ChatGPT. Je besser Zusammenhänge erkannt werden durch die Algorithmen, desto präziser und besser wird die Antwort.
- Neuronen Netzwerk. Alles was bisher passiert ist, ist nicht neu, der Google Assistent oder Siri konnte das auch. Jetzt kommt das sogenannte Decoding dazu. ChatGPT generiert selber Text mit komplexen Zusammenhängen. Einige nutzen Transformer zur Generierung von Antworten, andere simulieren Gespräche, wieder andere übersetzen. Der aktuelle Generative Pre-trained Transformer GPT4 von OpenAI wurde einem menschlichen Neuronalen Netz nachempfunden und musste lange trainiert werden. Die Firma gab dem System Millionen von Texten und Trainingsdaten um zu dem Punkt zu kommen wo es jetzt ist. Daraus wurden immer wieder Antworten generiert und bewertet, bis man der möglichen richtigen Antwort nah gekommen ist. Die künstlichen neuronalen Netze bestehen aus einer hohen Zahl Recheneinheiten, Neuronen genannt. Sie werden hierarchisch in Schichten angeordnet und haben eine Eingabe- und Ausgabeschicht. Durch die Vernetzung untereinander entfalten sie ihre stochastisches ermittelten Wahrscheinlichkeiten. Die Algorithmen dazu kennt man aus dem Deep Learning verschiedenster zum Beispiel wissenschaftlicher Erkennungsprogrammen. Die Verbindungen zwischen den einzelnen Neuronen nennt man Parameter. Je mehr Parameter ein System hat, desto “klüger” ist es, denn die Optimierung dieser Parameter macht die “Intelligenz” des Systems aus.
- Text wird generiert. ChatGPT reiht jetzt die jeweils wahrscheinlichsten Token aneinander. Aus dem Kontext wurde erkannt, dass ein Liedertext geschrieben werden soll, hier sind andere Wörter wahrscheinlich als in einem Bewerbungsschreiben. Die Kreativität mit der ChatGPT vorgeht nenn man “Temperature Sampling”, es ist natürlich keine echte Kreativität, sie erhöht nur die Zufälligkeit der Wörter. Wie das System letztendlich auf den Output kommt, ist selbst für die Entwickler nicht mehr nachvollziehbar, der Deep Learning Algorithmus hat es sich selbst beigebracht und nicht protokolliert. Der Output ist beeindruckend, darf aber nicht mit echter Intelligenz verwechselt werden. ChatGPT ist ein stochastischer Papagei. Es ist einfach der wahrscheinlichste Text, ohne Gewähr auf Richtigkeit.
- Qualitätskontrolle. ChatGPT erstellt mehrere Texte mit verschiedenen Parametern. Anhand von Qualitätstests kann zum Beispiel entschieden werden, ob ein Text vielleicht beleidigend ist. Es wählt den besten Text aus und veröffentlicht. Beam-Search wird dieser Vorgang genannt.
- Feedback. Nach Ausgabe soll der Benutzer in der Regel den Output bewerten. Dieser Schritt ist essentiell für die Zukunft von ChatGPT, er bestimmt wie beim nächsten Mal bewertet wird.
Ok. Wir haben das Prinzip jetzt wohl verstanden. Was also daraus mitnehmen? Können ChatGPT und die anderen Konkurrenzprodukte Menschen ersetzen? Die Antwort zum jetzigen Zeitpunkt ist klar danach. Es gibt mit Sicherheit einfache Prozesse die diese Large Language Modells übernehmen können, aber das werden auch in naher Zukunft keine wichtigen sein. Die Frage bei Einsatz sollte hier immer sein: Würden Sie einem 5-jährigen die Aufgabe geben, auch wenn er alle Lexika der Welt auswendig kennt? Mit Sicherheit nicht! ChatGPT bewertet nach stochastischen Wahrscheinlichkeiten, nicht nach Richtig oder Falsch, Ethik oder Moral. Auf dieser Basis dürfen zum jetzigen Zeitpunkt keine Entscheidungen getroffen werden. Vielleicht ist das eines Tages möglich, wenn wir wirklich über die Entwicklungsphase “narrow KI” drüber weg kommen. Fest steht trotzdem, wir werden miteinander “leben”, in einem Team. Wir sollten also die Zeit nutzen, die richtigen Regeln für ein gemeinsames Zusammen zu definieren. Wir werden sie brauchen, ansonsten werden Menschen dies zu ihrem eigenen Vorteil ausnutzen.
thx!