Wie fast jeder zu einer eigenen KI kommt

V.l.: Moderator Matthias Stürmer, Chantelle Brandt Larsen, Daniel Brunner und Imanol Schlag an der zweiten Open Source AI Conference in Bern. (Source: zVg)

V.l.: Moderator Matthias Stürmer, Chantelle Brandt Larsen, Daniel Brunner und Imanol Schlag an der zweiten Open Source AI Conference in Bern. (Source: zVg)

Wie gut passen die Themen Open Source und künstliche Intelligenz zusammen? Ziemlich gut, findet der Verein CH Open, der gemeinsam mit Red Hat am 20. Mai 2026 die zweite Ausgabe der Open Source AI Conference durchführte. Das Publikum sei dieses Jahr grösser als bei der ersten Ausgabe, bemerkten die Moderatoren zum Start – ein Zeichen, dass das Interesse an quelloffener KI zunehme.

Ein offenes, grosses Sprachmodell entsteht

Wer in der Schweiz über quelloffene grosse Sprachmodelle spricht, kommt um Apertus kaum herum. Dabei handelt es sich um "ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell", wie die ETH schreibt.

An der KI-Konferenz präsentierte Imanol Schlag, Forschungswissenschaftler am ETH AI Center und Co-Lead des Apertus-Projekts, nicht nur das Modell selbst. Er zeigte auch auf, warum quelloffene Sprachmodelle nicht nur wünschenswert, sondern dringend notwendig sind. So verwies der Referent auf die starke Dominanz grosser Tech-Konzerne, die ihre Modelle meist geschlossen entwickeln. Selbst die als "offen" angepriesenen Modelle seien zwar herunterladbar. Meist handelt es sich dabei aber nicht um komplett quelloffene, sondern lediglich um "Open Weights"-Modelle, die weder transparent noch wirklich offen seien. Was Apertus angeht, dokumentiert die ETH Trainingsdaten, Entwicklungsprozesse und verwendeten Code für die Öffentlichkeit.

Imanol Schlag, AI Research Scientist am ETH AI Center, erklärte an der KI-Konferenz, weshalb quelloffene Sprachmodelle dringend notwendig sind. (Source: zVg)

In seinem Vortrag gab Schlag – in einfachen Worten – einen Überblick über die Trainingsphasen grosser Sprachmodelle: Im Pre-Training lernt die KI demnach, Sätze zu vervollständigen – "es ist eine sehr fortgeschrittene Autovervollständigung, wie Sie sie vielleicht auf Ihrem Smartphone haben". Im Supervised Fine-Tuning wird das Modell mit kuratierten Beispielen – Paaren aus Prompts und passenden Antworten – trainiert. Dann folgt das Preference-Training. Dabei beantwortet das KI-Modell bestimmte Fragen mehrfach, wonach die verschiedenen Antworten bewertet werden. Früher geschah dies oft durch Menschen, heute zunehmend durch andere KI-Systeme – also durch "AI Judges", wie Schlag sagte.

Im Reinforcement-Training erarbeitet das KI-Modell Lösungen zu überprüfbaren Problemen. Dieser Schritt sorgt für Fortschritte bei Mathematik, Coding und Software Engineering.

Doch wann genau verhält sich ein KI-Modell wie gewünscht? Dazu verwies Schlag auf ein Regelwerk, die Swiss AI Charta. Das nicht-technische Dokument "verwenden wir, um zu beurteilen, was gut funktioniert und was nicht", erklärte der Referent dazu.

Mit den von der ETH veröffentlichten Dokumenten könnte man den ganzen Weg von Apertus reproduzieren – zumindest theoretisch, wie Schlag in einer späteren Podiumsdiskussion anmerkte. Praktisch geht das nur, "wenn Sie einen Supercomputer zur Hand haben". Die ETH griff dafür auf "Alps" zurück, betrieben vom Schweizerischen Zentrum für Supercomputing (CSCS). Mehr zur Rolle von "Alps" im KI-Bereich erfahren Sie übrigens im Interview mit CSCS-Direktor Thomas Schulthess.

Von Unterschieden und Verzerrungen

Fertig ist Apertus übrigens nicht. Nicht nur Schlag verwies im Verlauf des Nachmittags auf die bald erscheinende Apertus-Version 1.5. Auch das Bundesgericht dürfte gespannt sein auf die neue Version, wie dessen IT-Chef Daniel Brunner in seinem Referat deutlich machte. Unter anderem sei die künftige Apertus-Version mit deutlich mehr Schweiz-spezifischem Material trainiert worden, darunter auch Dokumente aus dem Rechtswesen. Brunner wies darauf hin, dass KI-Modelle je nach Herkunft und Trainingsdaten unterschiedlich entscheiden könnten. Während in Europa möglicherweise stärker der Schutz von Tieren oder Individuen gewichtet werde, könnten in anderen Kulturkreisen andere Prioritäten gelten. Entsprechend wichtig findet Brunner europäische und schweizerische KI-Initiativen.

Daniel Brunner, Bereichsleiter Informatik am Bundesgericht, sprach unter anderem über die Apertus-Version 1.5. (Source: zVg)

Auch für die Justiz sind erklärbare und überprüfbare KI-Systeme wie Apertus essentiell, wie Brunner betonte. Der Open-Source-Ansatz ermögliche auch gemeinsame Basismodelle. Sie könnten verhindern, dass nicht jede Institution eigene energieintensive Trainingsprozesse durchführen müsste.

Das Bundesgericht setzt KI bereits in verschiedenen Anwendungen ein, wobei längst nicht alle ein grosses Sprachmodell benötigten, wie der Referent anmerkte. Damit der Einsatz der Technologie gelingt, seien Regeln wichtig. Die Charta sei nicht von der IT-Abteilung, sondern von den Präsidenten der Gerichtskammern definiert worden. Nutzen dürfen die KI-Anwendungen nur Angestellte, nachdem sie einen zweistündigen Kurs absolviert haben: "In einer Stunde lernen sie die Möglichkeiten und Risiken kennen. Die zweite Stunde – und das ist sehr wichtig – verbringen sie am Computer". So könnten sie bereits erste praktische Erfahrungen sammeln.

Chantelle Brandt Larsen, CEO und Gründerin von Systematic-X, kündigte einen Vortrag über "den Röstigraben" an. Allerdings ging es der Referentin weniger um die oft mit diesem Begriff beschriebenen Unterschiede zwischen Deutschschweiz und Romandie. Vielmehr richtete sie den Fokus auf die Kluft zwischen theoretischen Diskussionen über KI-Ethik und den tatsächlichen Systemen.

Den praktischen Nachholbedarf illustrierte sie mit mehreren Beispielen. So zeigte sie auf, wie KI-Modelle Menschen bestimmter Nationalitäten oder Geschlechter diskriminieren. Dies passiert aufgrund von Verzerrungen im Trainingsmaterial.

Die CEO und Gründerin von Systematic-X, Chantelle Brandt Larsen, zeigte an der Konferenz die Kluft zwischen theoretischen Diskussionen über KI-Ethik und den tatsächlichen Systemen auf. (Source: zVg)

Open Source präsentierte sie als "Brücke zwischen Ethik und Governance". Denn dank offener KI-Systeme würden deren Entscheidungen transparent, nachvollziehbar und erklärbar. Ein Garant für verzerrungsfreie Entscheidungen ist der Open-Source-Ansatz aber nicht, wie Brandt Larsen klarstellte. Denn auch die Trainingsdaten quelloffener KI können verzerrt sein – mitunter aufgrund gesellschaftlicher Vorurteile. "Wir haben nicht nur eine KI-Lücke, die durch Open-Source-Daten sichtbar wird – wir haben eigentlich eine menschliche Lücke", kommentierte sie dazu.

KI ganz privat

In der zweiten Hälfte des Nachmittags wurden die Vorträge einiges technischer. Die Referierenden gaben dem Publikum praktische Tools an die Hand, um grosse Sprachmodelle abseits von Hyperscalern zu betreiben. Aarno Aukia, Co-Gründer von VSHN, zeigte, welche Elemente einen möglichst souveränen KI-Stack ausmachen:

• Infrastruktur-Komponenten wie Kubernetes oder OpenShift

• OpenWeight-KI-Modelle, etwa von Granite, Llama oder Mistral

• Steuerungssoftware wie vLLM und llm-d

• Tools für Daten und RAG wie PostgreSQL und Pgvector

• Tools für Security und Audit: SBOMs, Sigstore, OpenBao

Derartige Stacks laufen auch bei Schweizer Hostern, wie der Referent erwähnte. Einen tieferen Einblick in das von Aukia erwähnte Serverprogramm llm-d lieferte Camille Nigon, Solutions Architect bei Red Hat. Dabei handelt es sich um einen Loadbalancer, der dafür sorgt, dass eingehende Anfragen an die in einem Rechenzentrum betriebenen KI-Modelle möglichst effizient verteilt und verarbeitet werden.

Doch es braucht weder Hyperscaler, noch ein grosses Rechenzentrum, um sein ganz eigenes Sprachmodell ausführen zu können. Lena Fuhrimann, Cloud Solution Architect bei Bespinian, zeigte, dass auch ein "Hobbyist" in die LLM-Welt eintauchen kann – und dies oft mit erstaunlich geringen Hardwareressourcen. Für KI-Modelle zähle etwa die reine Prozessorleistung weniger als der verfügbare Grafikspeicher (VRAM). Und damit grosse Sprachmodelle diesen nicht zu sehr strapazieren, existieren verschiedene Tricks: Mit der sogenannten "Quantization" etwa werden die mathematischen Gewichte eines Modells mit geringerer Genauigkeit gespeichert, beispielsweise als 4-Bit- statt 16- oder 32-Bit-Werte. Dadurch sinkt der Speicherverbrauch drastisch, während die Qualität oft nur leicht leidet.

Lena Fuhrimann, Cloud Solution Architect bei Bespinian, erklärte, dass eigentlich fast jede und jeder ein eigenes Sprachmodell ausführen könnte. (Source: zVg)

Zudem gibt es von vielen KI-Modellen sogenannte "Mixture of Experts"-Versionen. Sie aktivieren jeweils nur einen Teil ihrer Parameter und sparen dadurch nochmals erheblich Ressourcen. Je nach geplantem Usecase lassen sich gewisse KI-Anwendungen schon mit handelsüblichen Gaming-Grafikkarten mit rund 12 Gigabyte VRAM nutzen. "Und wenn Sie klein anfangen wollen, erhalten Sie schon einen Mini-PC für rund 350 Franken", so Fuhrimann. Die Geräte seien zwar langsamer, könnten aber KI-Anfragen dank der von ihr beschriebenen Optimierungen durchaus bewältigen.

Gegen die Kostenexplosion, für die Faulenzer

In der Podiumsdiskussion im Anschluss an die technischen Referate sprachen die drei Referierenden mehrmals über die Kosten von KI. Viele Unternehmen realisierten erst jetzt, wie viel sie in KI-Lösungen investierten. Dass Hyperscaler stets die günstigste Variante bieten würden, liessen sie nicht stehen: "Es kommt darauf an, was Sie ausführen, wie viel und wie oft", stellte Aarno Aukia klar. Eine leistungsstarke GPU schlage zwar einmal zu Buche, könne sich aber über die Jahre amortisieren. Und die Tarife schweizerischer Hoster könnten teilweise durchaus mit jenen internationaler Konkurrenz mithalten. Im Verlauf der Diskussion hoben sie weitere Vorzüge selbst oder bei lokalen Providern gehosteter KI-Lösungen hervor, allen voran natürlich den Aspekt der digitalen Souveränität.

Zu Reden gab auch die zu erwartende KI-Kostenexplosion in Zusammenhang mit den populär werdenden KI-Agenten. Hier rieten die Diskutanten dazu, ein zum jeweiligen Anwendungsfall passendes KI-Modell zu wählen und kleinere, ressourcensparende Modelle vorzuziehen. Mit optimierten Prompts liessen sich weitere Ressourcen sparen.

Lena Fuhrimann plädierte dafür, bei allen Kostenfragen den menschlich User nicht zu vergessen. "Wir sprechen viel über das Optimierungspotenzial. Doch am Ende sind es Menschen, die entscheiden, ob sie ein System nutzen oder nicht." Damit könnten auch Existenzängste verbunden sein: "Wird mich die Anwendung ersetzen oder überflüssig machen?"

V.l.: Moderator Markus Danhel, Camille Nigon, Aarno Aukia und Lena Fuhrimann. (Source: zVg)

Auf die Frage von Moderator Markus Danhel, GTM Leader Data & AI Platform bei IBM, was eine Organisation brauche, um auf den Menschen eingehen und Optionen abseits der Hyperscaler erkunden zu können, nannte Fuhrimann zwei wesentliche Aspekte. Erstens brauche es offene Menschen, die neues Lernen und Veränderungen ihrer Arbeit aufnehmen könnten. "Und zweitens brauchen Sie faule Leute", fügte sie hinzu, ohne dies despektierlich zu meinen. "Lazy People" seien nämlich häufig auch gut darin, ihre Arbeitsabläufe zu optimieren und etwa repetitive Aufgaben zu vermeiden. "Kombiniert mit der Offenheit entsteht Innovation", so Fuhrimann. Eine Aussage, welche die weiteren Gäste am Podium teilten. Camille Nigon fügte die Bedeutung von Open Source hinzu und wünschte sich mehr Awareness "dafür, was im Hintergrund mit meinen Daten passiert".

Die meisten Vorträge vermittelten implizit die Botschaft, Open Source und KI passten sehr gut zueinander. Doch stellt KI nicht auch eine Bedrohung für den Open-Source-Softwarebereich dar? "Ist das eine gerade dabei, das andere zu verschlingen?", fragte jemand aus dem Publikum. Aukia verneinte: Natürlich könne heute jemand eine ganze Anwendung samt der dafür benötigten Bibliotheken von einer KI erstellen lassen (Vibe-Coding). Damit steige aber auch der Aufwand, die KI-erstellte Software zu unterhalten, drastisch an. "Die Last ist deutlich geringer, wenn Sie eine Anwendung mithilfe von Open-Source-Komponenten entwickeln". Dies werde sich auch künftig nicht ändern, so Aukia. Fuhrimann meldete Bedenken an und machte einen Handlungsbedarf bei den Projektverantwortlichen von Open-Source-Anwendungen deutlich: Sie müssten entscheiden, welche Rolle KI in ihren Projekten einnehme und inwiefern sie Programmcodevorschläge von KI übernehmen und deklarieren wollten. "Es ist definitiv eine grosse Herausforderung für Open-Source-Projekte und stellt eine erhebliche Gefahr dar. Wir haben bereits gesehen, wie Projekte daran zugrunde gegangen sind".

Lesen Sie auch: Nextcloud positioniert sich als digital souveräne Alternative zu Microsoft 365 und Co. Am ersten Nextcloud Enterprise Day in Bern erklärten das Unternehmen und seine Kunden dem Publikum, was digitale Souveränität eigentlich bedeutet und warum die Schweiz sich darum bemühen sollte.