What the KI: Wenn autonome Systeme Verantwortung übernehmen

Künstliche Intelligenz ist längst im Alltag von Unternehmen angekommen. Chatbots beantworten Kundenanfragen, Algorithmen optimieren Werbeanzeigen, Prognosemodelle unterstützen bei der Absatzplanung. Doch während viele Organisationen gerade erst beginnen, diese Werkzeuge systematisch zu nutzen, zeichnet sich bereits die nächste Entwicklungsstufe ab: Agentic AI, also KI-Systeme, die nicht nur reagieren, sondern eigenständig handeln.

Dieser Blogbeitrag orientiert sich inhaltlich am Whitepaper „Wenn KI handelt: Vertrauen & Verantwortung in Zeiten von Agentic AI“ des Bundesverband Digitale Wirtschaft (BVDW) und überträgt dessen zentrale Thesen und ethische Leitlinien auf die Praxis kleiner und mittlerer Unternehmen (KMU). Für KMU ist dieses Thema besonders relevant, denn sie stehen unter hohem Innovations- und Wettbewerbsdruck, verfügen jedoch häufig über begrenzte personelle und finanzielle Ressourcen. Agentic AI könnte hier Effizienzpotenziale heben, Fachkräftemangel abfedern und neue Geschäftsmodelle ermöglichen. Gleichzeitig würde mit wachsender Autonomie der Systeme auch die Verantwortung für KMU steigen. Die zentrale Frage lautet daher: Wie viel Entscheidungsfreiheit sollten Unternehmen einer KI übertragen und wie ließe sich diese Verantwortung strukturieren?

Was ist Agentic AI?

Im Gegensatz zu klassischen KI-Anwendungen reagiert Agentic AI nicht nur auf Eingaben. Sie agiert proaktiv, zielorientiert und adaptiv. Ein KI-Agent analysiert komplexe Aufgaben, entwickelt eigenständig Handlungsstrategien, priorisiert Zwischenschritte und passt seine Aktionen dynamisch an neue Informationen an, häufig mit minimaler menschlicher Unterstützung. Damit verschiebt sich das Paradigma: Von der KI als Werkzeug hin zur KI als Akteur.

Bereits heute finden sich entsprechende Anwendungen entlang der Wertschöpfungskette:

  • Marketing: Autonome Agenten optimieren Kampagnen in Echtzeit, testen Zielgruppenvarianten und passen Budgets automatisch an.
  • Logistik: Intelligente Systeme verändern Routen im Lager selbstständig und reagieren auf Engpässe.
  • Kundenservice: Digitale Agenten identifizieren Probleme proaktiv und stoßen Lösungen an, bevor eine Beschwerde entsteht.

Für KMU würde dies bedeuten, dass Prozesse skalierbar würden, ohne proportional mehr Personal einsetzen zu müssen. Gleichzeitig könnte die Komplexität steigen, da Entscheidungen nicht mehr ausschließlich von Menschen getroffen würden.

Die Akzeptanzlücke: Zwischen Potenzial und Skepsis

Eine repräsentative Erhebung des BVDW zeigt eine deutliche Zurückhaltung in der Bevölkerung: 71 % der Befragten können sich derzeit nicht vorstellen, Aufgaben vollständig an eine KI zu delegieren, 51 % sogar „auf keinen Fall“.1

In der Privatwirtschaft ist das Bild differenzierter: Rund 28 % der Unternehmen setzen bereits KI-Agenten ein, während 40 % aktuell keinen Einsatz planen.2 Die Gründe lägen weniger im fehlenden Innovationswillen als vielmehr in:

  • unklaren regulatorischen Rahmenbedingungen
  • fehlender technischer Infrastruktur
  • ethischen Bedenken hinsichtlich Datensouveränität
  • Unsicherheit über Haftungsfragen

Gerade für KMU würde dies bedeuten, dass Investitionsentscheidungen sorgfältig abgewogen werden müssten. Anders als Großunternehmen verfügen sie häufig nicht über eigene Rechts- oder Ethikabteilungen. Risiken würden unmittelbarer auf die Geschäftsführung zurückfallen.

Das Leitprinzip: Autonomie braucht Ethik

Die zentrale These des Whitepapers lautet: Je höher der Autonomiegrad einer KI, desto höher die ethischen Anforderungen an ihren Einsatz. Sobald ein System eigenständig Entscheidungen treffe, die Auswirkungen auf Kunden, Mitarbeitende oder Geschäftspartner haben, entstehe eine neue Verantwortungsebene. Diese Verantwortung betreffe nicht nur IT-Abteilungen, sondern Geschäftsführung, Compliance und Unternehmenskultur gleichermaßen. Das Whitepaper strukturiert Agentic AI entlang von sechs ethischen Prinzipien3:

1. Fairness: KI-Systeme dürften niemanden diskriminieren. Bei Agentic AI bestehe die Gefahr, dass Verzerrungen in Trainingsdaten nicht nur reproduziert, sondern durch autonome Zielverfolgung skaliert würden. Für KMU hieße das, dass sie bereits bei der Auswahl externer KI-Anbieter auf nachvollziehbare Trainingsgrundlagen achten müssten.

2. Transparenz & Erklärbarkeit: Es müsse nachvollziehbar bleiben, warum ein Agent eine bestimmte Entscheidung getroffen hat. In komplexen Multi-Agenten-Systemen steigt diese Herausforderung erheblich. KMU müssten daher darauf achten, dass eingesetzte Systeme erklärbare Entscheidungsprotokolle liefern würden, insbesondere in regulierten Branchen.

3. Datenschutz: Agenten sollten nur die Daten erhalten, die für ihren Zweck zwingend erforderlich sind. Für KMU würde dies bedeuten, dass sie klare Daten-Governance-Strukturen etablieren müssten, auch wenn keine eigene Datenschutzabteilung vorhanden wäre.

4. Sicherheit: Ein kompromittierter Agent könnte sich wie ein interner Angreifer verhalten („Shadow Behaviour“).4 Not-Aus-Mechanismen („Kill Switches“) wären daher essenziell. KMU müssten sicherstellen, dass jederzeit eine technische und organisatorische Eingriffsmöglichkeit bestehen würde.5

5. Robustheit: Systeme sollten auch unter widrigen Bedingungen stabil funktionieren. In vernetzten Agentensystemen könnten kleine Fehler einen „Kettenlängen-Effekt“6 auslösen und sich vervielfachen. Gerade für KMU, deren Prozesse häufig schlank organisiert sind, könnte ein solcher Dominoeffekt erhebliche Auswirkungen haben.

6. Rechenschaftspflicht: Auch wenn ein System autonom handelt, bleibt die Verantwortung beim Unternehmen. Für KMU würde dies bedeuten, klare Zuständigkeiten zu definieren: Wer überwacht den Agenten? Wer greift im Zweifel ein? Wer dokumentiert Entscheidungen?

Praxis-Check: Die fünf Stufen der Autonomie

Um Verantwortung systematisch zu verankern, schlägt das Whitepaper ein fünfstufiges Modell7 vor, das Unternehmen dabei unterstützen soll, ihren eigenen Reifegrad im Umgang mit Agentic AI realistisch einzuordnen und die Einführung schrittweise zu gestalten.

  • Auf der ersten Stufe arbeitet der Mensch vollständig selbst, während die KI lediglich Informationen bereitstellt oder Analysen liefert. Für KMU wäre dies ein vergleichsweise risikoarmer Einstieg, beispielsweise beim Einsatz von Analyse- oder Reporting-Tools, da die Entscheidungsverantwortung klar beim Menschen verbliebe.
  • Auf der zweiten Stufe übernimmt die KI eine unterstützende Rolle, indem sie Handlungsvorschläge generiert, während die finale Entscheidung weiterhin durch den Menschen getroffen wird. KMU könnten auf diese Weise die Qualität und Geschwindigkeit von Entscheidungen erhöhen, ohne die Kontrolle über zentrale Prozesse aus der Hand zu geben.
  • Die dritte Stufe beschreibt ein semi-autonomes Szenario, in dem Routineaufgaben automatisiert ablaufen und nur Abweichungen oder Sonderfälle an Mitarbeitend delegiert würden. Für KMU wäre dies insbesondere in standardisierten Abläufen wie Terminplanung, Angebotsprozessen oder im Bestellwesen denkbar, da hier Effizienzgewinne erzielt werden könnten, ohne strategische Risiken einzugehen.
  • Die vierte Stufe kennzeichnet einen Modus mit Agency: Die KI plant mehrstufige Aktionen, greift auf Memory-Systeme zurück und koordiniert Prozesse eigenständig. Für KMU würde sich hier ein erhebliches Potenzial zur Produktivitätssteigerung eröffnen, zugleich müssten jedoch belastbare Kontrollmechanismen, klare Verantwortlichkeiten und technische Eingriffsmöglichkeiten etabliert werden.
  • Auf der fünften Stufe handelt die KI vollständig autonom, ohne dass ein menschliches Eingreifen vorgesehen ist. Für KMU wäre ein solcher Einsatz derzeit allenfalls in eng abgegrenzten, risikoarmen Anwendungsfeldern vorstellbar, da die Haftungs- und Reputationsrisiken sorgfältig abgewogen werden müssten.

Unabhängig von der jeweiligen Stufe sollte die menschliche Aufsicht stets gewährleistet bleiben. Dies könnte etwa durch ein Human-in-the-Loop-Modell erfolgen, bei dem kritische Aktionen einer Freigabe bedürften, durch ein Human-on-the-Loop-Prinzip mit kontinuierlicher Überwachung und Eingriffsmöglichkeit oder durch ein Human-in-Command-Verständnis, bei dem strategische Zielvorgaben klar durch die Unternehmensführung definiert würden.8 Gerade für KMU könnte ein solches stufenweises Vorgehen sinnvoll sein, da Investitionen planbar blieben, Lernprozesse integriert werden könnten und die Organisation ausreichend Zeit erhielte, Kompetenzen und Governance-Strukturen parallel zur technologischen Entwicklung aufzubauen.

Handlungsempfehlungen für KMU

Damit Agentic AI nicht zu einem unkalkulierbaren Risiko würde, sondern sich zu einem echten Wettbewerbsvorteil entwickeln könnte, sollten KMU strukturiert und strategisch vorgehen. Ein sinnvoller Ansatz bestünde darin, zunächst in klar abgegrenzten Pilotprojekten zu starten. Durch einen solchen schrittweisen Einstieg könnten praktische Erfahrungen gesammelt werden, ohne zentrale Unternehmensprozesse zu gefährden. Gleichzeitig würde es möglich, technologische Potenziale realistisch zu bewerten und interne Kompetenzen gezielt aufzubauen. Darüber hinaus sollte die Verantwortung klar verankert werden. Auch wenn keine eigene KI-Abteilung vorhanden ist, sollte eine verantwortliche Person benannt werden, die den Einsatz der Systeme koordiniert, Monitoring-Prozesse begleitet und die Dokumentation sicherstellt. Auf diese Weise ließe sich Transparenz schaffen und die interne Steuerung stärken.

KMU könnten zudem davon profitieren, externe Expertise einzubinden. Innovationsnetzwerke, Branchendialoge oder regionale Kompetenzzentren wie das Bodenseezentrum Innovation könnten als Sparringspartner dienen, um technologische, rechtliche und ethische Fragestellungen frühzeitig zu reflektieren. Gerade für kleinere Unternehmen würde dies bedeuten, nicht alle Kompetenzen selbst vorhalten zu müssen, sondern auf bestehende Ökosysteme zurückzugreifen. Ebenso wichtig wäre es, ethische Leitlinien bewusst zu verankern. Ein unternehmensinterner KI-Kodex könnte Orientierung geben, Entscheidungsprozesse strukturieren und Vertrauen bei Kunden sowie Mitarbeitenden stärken. Dies würde nicht nur Risiken minimieren, sondern auch die Unternehmenskultur prägen.

Schließlich sollte Transparenz aktiv kommuniziert werden. Da KMU häufig von Kundennähe und persönlichem Vertrauen leben, könnte eine offene Kommunikation über den Einsatz autonomer Systeme Akzeptanz fördern und mögliche Vorbehalte abbauen. Wer nachvollziehbar darlegt, wo und warum KI eingesetzt wird, wird nicht nur regulatorischen Anforderungen gerecht, sondern könnte Vertrauen als strategischen Vorteil nutzen.

Verantwortung als Wettbewerbsvorteil

Agentic AI ist kein reines IT-Thema. Es betrifft Führung, Kultur und strategische Ausrichtung. Wer autonome Systeme einsetzt, gestaltet aktiv Entscheidungsprozesse neu. Für KMU würde sich hier eine Chance eröffnen: Sie könnten schneller, agiler und näher am Markt experimentieren als Großkonzerne. Wenn es ihnen gelänge, technologische Innovation mit klarer Verantwortung zu verbinden, könnten sie Vertrauen als strategischen Vorteil nutzen.

Agentic AI sollte daher nicht als „Robo-Mitarbeiter ohne Kinderstube“ betrachtet werden, sondern als hochqualifizierter digitaler Kollege, der Regeln, Aufsicht und klare Zielvorgaben benötigt.9 Die Zukunft autonomer Systeme wird nicht allein durch technische Leistungsfähigkeit entschieden, sondern durch die Frage, wie verantwortungsvoll Unternehmen mit ihr umgehen. Gerade für KMU könnte gelten: Nicht maximale Autonomie wäre der Schlüssel zum Erfolg, sondern die richtige Balance zwischen technologischer Stärke und menschlicher Kontrolle.

Wer sich vertiefend mit den Themen Künstliche Intelligenz und Digitalisierung auseinandersetzen möchte, findet praxisnahe Orientierung und gebündelte Expertise im Kompetenzatlas des BZI. Dort werden Expert:innen, Publikationen und Unterstützungsangebote strukturiert zusammengeführt. Hinweise auf aktuelle Workshops, Weiterbildungsangebote und Veranstaltungen rund um KI und digitale Transformation sind zudem im Veranstaltungskalender des BZI abrufbar.

  1. BVDW: Wenn KI handelt: Vertrauen & Verantwortung in Zeiten von Agentic Ai, S. 5. ↩︎
  2. Ebd. S. 6. ↩︎
  3. Ebd. S. 10-18. ↩︎
  4. Ebd. S. 15. ↩︎
  5. Ebd. S.15. ↩︎
  6. Ebd. S. 18. ↩︎
  7. Ebd. S. 20. ↩︎
  8. Ebd. S. 21. ↩︎
  9. Ebd. S. 17. ↩︎