Die Anwendung LLMoin ist für die Nutzer:innen über den Webbrowser zugänglich, genauso wie beispielsweise das FHH-Portal. Vereinfacht betrachtet besteht sie aus zwei Komponenten: Der von Dataport entwickelten und betriebenen Nutzerschnittstelle (1) und dem daran angeschlossenen Sprachmodell (2).
Die Nutzerschnittstelle stellt die Eingabemaske für die verschiedenen Funktionen von LLMoin bereit und übermittelt die Anfragen (Prompts genannt) an das Sprachmodell. Informationen über den oder die Nutzer:in werden dabei nicht übertragen.
Das Sprachmodell (auch Large Language Model / LLM genannt) sorgt im Hintergrund dafür die Nutzereingabe in Textform zu verstehen, zu verarbeiten und eine Antwort zu erzeugen. Es handelt sich um ein komplexes Programm, welches durch Methoden des maschinellen Lernens in der Lage ist in menschlicher Sprache zu kommunizieren. Ein Sprachmodell hat nicht immer recht - durch Fehler in den ungefilterten Daten mit welchen das Modell trainiert wurde, kann es bei einigen Konstellationen zu "falschen" oder auch erfundenen Antworten kommen. Die Ausgabe ist daher immer kritisch zu hinterfragen und sollte nicht ungeprüft weiterverwendet werden.
Im Falle von LLMoin kommt als Sprachmodell die Software "GPT-4o" zum Einsatz, welche auch das Sprachmodell von "ChatGPT" ist. Dieses Modell ist statisch, das heißt der antrainierte Wissensstand wird sich nicht über die Zeit verändern können. Die übermittelten Daten werden nach wenigen Sekunden wieder gelöscht und das Sprachmodell ist nicht in der Lage von den Eingaben der Nutzer:innen zu lernen. Ausgeführt wird das Sprachmodell auf der Cloud-Infrastruktur von Microsoft in Europa.
In der Praxis bedeutet das, dass die Nutzereingaben nicht in das freie Internet gelangen und nicht auf US-Amerikanischen Servern verarbeitet werden. Auch andere Nutzer:innen oder Vorgesetzte können nicht die Eingaben oder generierten Antworten der Mitarbeiter:innen einsehen.
