- Künstliche Intelligenz
- •
Wenn KI Software entwickelt: Wer behält die Kontrolle?
Ein Blick ins Jahr 2038
Wir schreiben das Jahr 2038. KI-Agenten entwickeln Software weitgehend eigenständig, entwerfen Architekturen, schreiben Code und testen ihre Ergebnisse. Was früher Wochen dauerte, ist innerhalb weniger Stunden erledigt. Die Produktivität ist enorm gestiegen.
Doch dann treten Probleme auf.
In einer Bank führen automatisierte Änderungen zu Fehlern im Zahlungsverkehr. In einem Industriekonzern stehen plötzlich Fertigungsstraßen still. KI-Systeme liefern zwar weiterhin Lösungsvorschläge, doch kaum jemand kann noch unabhängig beurteilen, ob diese tatsächlich funktionieren.
Das Problem ist nicht, dass die KI versagt. Das Problem ist, dass die Menschen zunehmend die Fähigkeit verloren haben, ihre Ergebnisse zu überprüfen.
Dieses Szenario beschreibt Prof. Dr. Peter Mandl in seinem auf evaltech.de veröffentlichten Zukunftsessay mit dem Titel „2038 – Als die Software der KI gehörte“.
Der Beitrag ist bewusst fiktiv. Dennoch wirft er eine Frage auf, die für die Softwareentwicklung schon heute relevant ist:
Wie nutzen wir die Möglichkeiten künstlicher Intelligenz, ohne dabei die Kontrolle über unsere eigenen Systeme zu verlieren?
KI verändert die Softwareentwicklung – und unsere Verantwortung
Generative KI kann Entwicklerinnen und Entwickler bereits heute bei zahlreichen Aufgaben unterstützen. Sie hilft beim Schreiben und Analysieren von Code, bei der Erstellung von Tests und bei der Dokumentation komplexer Systeme.
Mit zunehmender Leistungsfähigkeit verändern sich jedoch nicht nur die Werkzeuge, sondern auch die Anforderungen an professionelle Softwareentwicklung.
Denn ein funktionierendes Ergebnis ist nicht automatisch ein verlässliches Ergebnis. Gerade in komplexen Unternehmenslandschaften müssen Softwareänderungen nachvollziehbar, überprüfbar und langfristig wartbar bleiben.
Je mehr Aufgaben KI-Systeme übernehmen, desto wichtiger wird deshalb die Frage, wie ihre Ergebnisse kontrolliert und in bestehende Prozesse eingebunden werden.
Für uns bei iSYS steht dabei fest:
KI-Kompetenz bedeutet nicht nur, leistungsfähige Modelle einsetzen zu können. Sie bedeutet auch, ihre Grenzen zu verstehen, Ergebnisse kritisch zu bewerten und die Verantwortung für technische Entscheidungen zu behalten.
Wenn Forschung auf praktische Herausforderungen trifft
Wie sich diese Kontrolle technisch gestalten lässt, ist auch Gegenstand aktueller wissenschaftlicher Forschung.
In der im Oktober 2026 veröffentlichten Arbeit „LLM Non-Determinism in Deterministic Processes: A Controlled Variation Space for Constraining the Propagation of Non-Determinism“ beschäftigt sich Prof. Dr. Peter Mandl gemeinsam mit Paul Mandl (Head of Development @ Findustrial) und Dr. Martin Häusl (Head of AI & Data @ iSYS) mit einer grundlegenden Herausforderung beim Einsatz generativer KI.
Sprachmodelle liefern nicht zwangsläufig bei jeder Ausführung dieselben Ergebnisse. Unternehmensprozesse benötigen dagegen häufig klare Regeln, überprüfbare Zustände und nachvollziehbare Entscheidungen.
Die Forschungsarbeit stellt dafür das Konzept der Controlled Non-Determinism vor. Vereinfacht gesagt:
KI darf innerhalb eines definierten Rahmens unterschiedliche Lösungswege und Ergebnisse erzeugen. Ob ein Ergebnis tatsächlich übernommen wird, entscheidet jedoch eine davon getrennte, regelbasierte Prüfung.
So lässt sich die Flexibilität generativer KI nutzen, ohne die Kontrolle über verbindliche Prozesszustände vollständig an das Modell abzugeben.
Unser Ansatz bei iSYS: KI nutzbar und beherrschbar machen
Was die Forschungsarbeit für einzelne Ergebnisse beschreibt, verfolgen wir mit dem iSYS AI-Hub auf Plattformebene: Nicht das Modell entscheidet, was mit den Daten geschieht, sondern explizite Regeln zu Schutzbedarf, Berechtigungen und benötigter Modellleistung.
Der AI-Hub kombiniert selbst betriebene Modelle mit externen KI-Diensten und wählt für jede Anfrage einen geeigneten Verarbeitungsweg. Sensible Informationen bleiben im Haus, für alles andere lässt sich die Leistungsfähigkeit externer Modelle nutzen, ohne Unternehmensdaten unkontrolliert weiterzugeben.
Zu unseren Forschungsschwerpunkten gehören berechtigungssensitives Retrieval-Augmented Generation (RAG), dynamische Modellwahl sowie Verfahren zur Qualitätsbewertung und zum Monitoring.
Dass es sich dabei um echte Forschungs- und Entwicklungsarbeit handelt, hat im September 2026 auch die Bescheinigungsstelle Forschungszulage (BSFZ) bestätigt: Sie hat unser Forschungsprojekt rund um den iSYS AI-Hub als förderfähig bestätigt und uns mit dem BSFZ-Siegel ausgezeichnet.
Technologische Souveränität beginnt beim eigenen Know-how
Der Essay beschreibt eine Zukunft, in der Unternehmen zwar über hochautomatisierte Softwareentwicklung verfügen, ihre Systeme aber kaum noch eigenständig beurteilen können. Technologische Souveränität entsteht deshalb nicht allein durch leistungsfähige Werkzeuge. Sie setzt Menschen voraus, die verstehen, wie diese Werkzeuge arbeiten, ihre Ergebnisse hinterfragen und im Zweifel selbst eingreifen können.
Der Essay zieht daraus eine klare Konsequenz: Hochschulen und Unternehmen müssen weiterhin ausbilden – und zwar nicht nur im Formulieren guter Anweisungen. Das beschäftigt uns ganz praktisch. Unseren diesjährigen Hackathon haben wir bewusst als Ausbildungsformat angelegt: Zwei Teams haben dieselbe Aufgabe aus unserem Kundenumfeld unabhängig voneinander gelöst. Dahinter stand die Frage, was sich verschiebt, wenn die Umsetzung mit KI schnell geht und das Durchdringen der Aufgabe zum eigentlichen Engpass wird.
Der Essay liefert für diese Fähigkeit übrigens selbst die beste Probe. An seinem Ende weist er darauf hin, dass er mit Hilfe einer KI verfasst wurde. Wer ihn liest, steht damit bereits vor genau der Frage, um die es geht: Der Text klingt plausibel – aber tragen seine Annahmen? Diese Frage beantworten zu können, ist die Kompetenz, die wir erhalten und weitergeben wollen.
Denn die Zukunft der Softwareentwicklung liegt für uns nicht darin, möglichst viel Verantwortung an KI abzugeben, sondern darin, KI so einzusetzen, dass Menschen die Kontrolle behalten.
Literatur und Quellen:
evaltech (2026): 2038 – Als die Software der KI gehörte. Online veröffentlicht im November 2026. Verfügbar unter: https://evaltech.de/insights/2038-als-die-software-der-ki-gehoerte (abgerufen am 13.11.2026).
Mandl, P. D., Mandl, P. und Häusl, M. (2026): LLM Non-Determinism in Deterministic Processes: A Controlled Variation Space for Constraining the Propagation of Non-Determinism. arXiv-Preprint, arXiv:2610.06255, veröffentlicht am 05.10.2026. DOI: https://doi.org/10.48550/arXiv.2610.06255 (abgerufen am 13.11.2026).
iSYS Software GmbH (2026): iSYS erhält BSFZ-Siegel für Forschung und Entwicklung. Veröffentlicht am 16.09.2026. Verfügbar unter: https://www.isys.de/isys-erhaelt-bsfz-siegel-fuer-forschung-und-entwicklung/ (abgerufen am 13.11.2026).