Im September lancierten die beiden Eidgenössischen Technischen Hochschulen der Schweiz und ihr Partner CSCS das Sprachmodell Apertus. Es wurde mit Wörtern aus 1800 Sprachen trainiert, darunter Schweizerdeutsch und Rätoromanisch. Noch wird Apertus für seine Fehler kritisiert. Doch nach Ansicht von Fachleuten muss man ihm einfach Zeit lassen.
Wir sind auf dem Campusgelände der Ecole polytechnique fédérale de Lausanne (EPFL) unterwegs. Hier treffen wir unseren Gesprächspartner, Antoine Bosselut, Spezialist für künstliche Intelligenz (KI) und mehrsprachige Aspekte in grossen Sprachmodellen, oft auch auf Englisch als «Large Language Models» oder kurz «LLM» bezeichnet. Solche mit Milliarden von Daten trainierten KI-Systeme sind wie auch ChatGPT in der Lage, unzählige Fragen zu beantworten. Der 34-jährige Professor, der in Frankreich geboren und in den USA ausgebildet wurde, weiss einiges darüber, wie man Maschinen entwickelt, die so unterschiedliche Sprachen wie Tibetisch oder Rätoromanisch beherrschen. Er ist einer der Entwickler der neuen Schweizer KI: Apertus.
Anfang September gaben die beiden Eidgenössischen Technischen Hochschulen der Schweiz und das nationale Hochleistungs-Rechenzentrum (CSCS) die Lancierung des ersten in der Schweiz entwickelten mehrsprachigen Open-Source-LLM bekannt. «Apertus ist ein wichtiger Meilenstein für Transparenz und Vielfalt in der generativen künstlichen Intelligenz», erklärten seine Schöpfer. Inwiefern unterscheidet sich das neue Schweizer LLM von Llama 4 (entwickelt von Meta), Grok (produziert von Elon Musk) oder ChatGPT, bei dem es sich um ein vollständiges KI-System handelt?
Die Elemente, aus denen sich das Schweizer Modell zusammensetzt, also seine Algorithmen und Berechnungsparameter, sind frei zugänglich. Auch eine Gebrauchsanweisung wird mitgeliefert, während beispielsweise ChatGPT auf einem eher undurchsichtigen Geschäftsmodell basiert. Ein weiterer Unterschied besteht darin, dass Apertus kein System ist, das universell eingesetzt werden kann. «Für bestimmte Anwendungszwecke sind kommerzielle Modelle nicht spezialisiert genug. Dabei gilt: Je spezialisierter eine KI ist, desto leistungsfähiger ist sie auch», erklärt uns Antoine Bosselut. Spitäler könnten Apertus – seine Algorithmen und sein Berechnungssystem – beispielsweise nutzen, um das System so zu trainieren, dass es in der Lage ist, Analysen von Tausenden von Röntgenbildern durchzuführen. KI vermag beim Vergleich von Daten nämlich Unterschiede zu erkennen, die für das menschliche Auge kaum sichtbar sind.
Der Supercomputer des CSCS hat Apertus mit Milliarden von Daten aus dem Internet trainiert. Sie bilden das Grundwissen des LLM. Die EPFL betont, dass für dieses Modell nur Daten berücksichtigt wurden, deren Eigentümer die Verwendung von «Crawlern» – also Robotern, die das Internet durchforsten – nicht ausdrücklich untersagen. «Wenn beispielsweise die ‹New York Times› bestimmten Crawlern den Zugriff auf ihre Artikel untersagt, schliessen wir diese Quelle aus unseren Daten aus», erfahren wir von Antoine Bosselut. Zum Trainieren von Apertus wurden 15 Milliarden Wörter aus 1800 Sprachen herangezogen (das Internet enthält insgesamt etwa 50 000 Milliarden Wörter). Die Entwickler des LLM garantieren zukünftigen Nutzenden – beispielsweise Unternehmen – die Zuverlässigkeit der Daten im ethischen und rechtlichen Sinne, während kommerzielle KI-Akteure sich weigern, ihre Trainingsdaten zu veröffentlichen.
In der Regel konzentrieren sich grosse Modelle auf die historischen Sprachen des Internets – Englisch, Französisch, Chinesisch, Japanisch usw. Mit ihren Rechenmaschinen und Algorithmen entschlüsseln sie deren Strukturen. Das Schweizer LLM hat hingegen Daten aus Sprachen zusammengetragen, die im Internet kaum vertreten sind, wie Tibetisch, Yoruba, Schweizerdeutsch und Rätoromanisch. Weil diese im Internet kaum «gesprochen» werden, mussten Inhalte ausgehend von verwandten Sprachen erstellt werden. Dahinter steckt das Konzept, dass das Modell trotz der geringen Datenmenge Rätoromanisch lernen kann, weil es auch auf Italienisch trainiert wurde und es Ähnlichkeiten zwischen den beiden Sprachen gibt, erklärt Antoine Bosselut. Welche Anwendungsmöglichkeiten stellen sich die Entwickler vor? Ein Beispiel: Apertus wurde von einer Schule in Nigeria übernommen, die nun Kurse auf der Grundlage einer Sprache entwickeln kann, die in anderen Modellen in der Regel kaum vertreten ist. Dies entspricht eindeutig dem Ziel der EPFL, «KI zu demokratisieren».
Zur Weiterentwicklung wurde das Schweizer LLM bei sogenannten «Hackathons», einer Art Wettbewerb zum Testen von Systemen, von Cracks gezielt auf die Probe gestellt. Studierende nutzten das Tool, um Dienstleistungsangebote zu erarbeiten. So gibt es zum Beispiel eine Schnittstelle, die das Erlernen der tibetischen Sprache erleichtert. Einige kluge Köpfe haben gar ein System namens «Mut zur Lücke» entwickelt. Es zeigt Studierenden, welche Teile ihrer Kurse sie getrost überspringen können, ohne Gefahr zu laufen, ihre Ausbildung nicht zu bestehen. Auch die Stadt Zürich nutzt Apertus. «Ich bin ZüriCityGPT und ich weiss (fast) alles, was auf stadt-zuerich.ch publiziert ist», liest man auf der Website. Doch wie sich zeigt, hat das System seine Grenzen. Wie viele bewaffnete Polizisten gibt es in der Stadt? Auf diese Frage antwortet das LLM: Apertus kann Ihnen «leider nicht helfen». GPT ist hier etwas cleverer: «Etwa 1700 Beamtinnen und Beamte sind zum Tragen einer Dienstwaffe berechtigt. Es gibt jedoch keine offizielle Quelle, aus der hervorgeht, wie viele tatsächlich ständig eine Waffe tragen», antwortet uns diese KI. Erstaunlicherweise wurde Apertus ohne Schnittstelle lanciert, über die Nutzende «Prompts» erstellen können.
Doch dies war auch gar nicht das Ziel. Gemäss den Schöpfern soll das LLM als Rohmaterial dienen. Allerdings hatten alle Interessierten die Möglichkeit, Apertus mithilfe einer von einer amerikanischen Non-Profit-Organisation entwickelten Software zu testen: publicai.co
In der Schweiz betrafen die ersten Kommentare zu Apertus grobe Fehler. «Mir wurde mitgeteilt, dass das Schloss Chillon ursprünglich ein kleines befestigtes Dorf auf einem Kalksteinfelsen inmitten des Sees war», spottete der Westschweizer Journalist François Pilet, einer der Gründer der investigativen Website Gottham City, auf LinkedIn. Bei ihm sorgt auch das Preis-Leistungs-Verhältnis des Unterfangens für Verwunderung. «Die ETH haben gerade die Gebühren für ausländische Studierende verdreifacht. Gleichzeitig haben sie kein Problem damit, 10 Millionen Franken für die Finanzierung von etwas auszugeben, was sich letztlich als Performance zeitgenössischer Kunst entpuppt!»
Sein Angriff auf Apertus erregte die Aufmerksamkeit von Internetnutzern wie Maxime Derian, einem französischen Experten für künstliche Intelligenz. «Die amerikanischen und chinesischen Open-Source-Modelle sind uns einen Schritt voraus. Na und? Auch die ersten Modelle dieser Länder waren alles andere als perfekt. Das Schweizer Modell wurde lokal entwickelt. Die Folgeversionen werden besser und in zwei bis drei Jahren ebenfalls von Relevanz sein», prognostizierte Derian. Dass Apertus derzeit noch fehlerhaft arbeitet, liegt daran, dass das Modell bisher nicht ausreichend trainiert wurde und noch nicht über genügend Daten verfügt. Antoine Bosselut teilt diese Meinung: «Wir haben den teuersten Teil der Arbeit übernommen, nämlich die Entwicklung und das Training des Modells. Für zukünftige Nutzende ist es nun kostenlos zugänglich.»
Kommentare