Was ist agentische KI-Sicherheit?

Herkömmliche KI-Systeme sind darauf ausgelegt, bestimmte, vordefinierte Aufgaben auf der Grundlage von Eingabedaten oder historischen Daten auszuführen. Sicherheitsmaßnahmen konzentrieren sich in der Regel auf den Schutz von Modellen, die Sicherung von Trainingsdaten und die Validierung der Ergebnisse während des Betriebs. Diese Maßnahmen helfen Organisationen dabei, innerhalb eines festgelegten Rahmens Integrität und Zuverlässigkeit zu wahren.

Die Autonomie und die Entscheidungsfähigkeit agentischer KI bringen Herausforderungen mit sich, für deren Bewältigung herkömmliche Ansätze nicht ausgelegt sind. Zu den wichtigsten Unterschieden zählen:

• Systemverhalten: Herkömmliche KI-Systeme reagieren auf Prompts oder Anweisungen, während agentische KI-Systeme Aufgaben aktiv planen und ausführen. Da Agenten eigenständig handeln können, können ihre Entscheidungen direkte Auswirkungen auf den Betrieb haben.
• Entscheidungsfindung: Herkömmliche KI folgt in der Regel vordefinierten Logiken oder Modellausgaben. Agentische KI passt ihre Entscheidungen auf der Grundlage des Kontexts und der Zwischenergebnisse an, wodurch ihr Verhalten weniger vorhersehbar wird und der Bedarf an kontinuierlicher Überwachung und Sicherheitsvorkehrungen steigt.
• Umfang der Aktivität: Herkömmliche KI wird häufig innerhalb einer einzelnen Anwendung oder eines einzelnen Arbeitsablaufs eingesetzt. Agentische KI kann sich über mehrere Systeme, Tools und Datenquellen erstrecken, wodurch sich die potenziellen Auswirkungen von Fehlern oder Sicherheitsverletzungen erhöhen.
• Toolnutzung: Herkömmliche KI stützt sich in der Regel auf vordefinierte Integrationen. Agentische KI kann APIs, Tools und Dienste dynamisch aufrufen und schafft dadurch zusätzliche Angriffspunkte für Missbrauch oder Angriffe.
• Identität und Zugriff: Herkömmliche KI kann unter gemeinsamen oder impliziten Dienstidentitäten ausgeführt werden. Agentische KI-Systeme erfordern in der Regel eindeutige Identitäten und festgelegte Berechtigungen, weshalb Identitätsmanagement und der Grundsatz der geringstmöglichen Berechtigungen von entscheidender Bedeutung sind.
• Angriffsfläche: Bei der herkömmlichen KI-Sicherheit liegt der Schwerpunkt in erster Linie auf dem Schutz von Modelleingaben und Trainingsdaten. Agentische KI erweitert die Angriffsfläche um Tools, Arbeitsabläufe, Speicher und verbundene Systeme, wodurch das Risiko von Missbrauch und Sicherheitsverletzungen steigt.

Organisationen, die einen strukturierten Prozess anwenden, sind besser in der Lage, die Risiken, denen ein System ausgesetzt sein könnte, zu erkennen, zu verstehen und zu bewältigen. Bei der Modellierung von Bedrohungen in agentenbasierten KI-Systemen ist es wichtig, über Anwendungen, Infrastruktur und Datenflüsse hinauszugehen und Folgendes einzubeziehen:

Ziele und Verhalten des Agents

Ermitteln Sie mögliche unbeabsichtigte Handlungen, indem Sie festlegen, wozu der Agent konzipiert ist, einschließlich:

• Welche Ziele kann er verfolgen.
• Wie Aufgaben geplant und ausgeführt werden.
• Welchen Grad an Eigenständigkeit hat es.

Identität und Zugriff

Ein zu weit gefasster Zugriff erhöht das Risiko von Sicherheitsverletzungen oder Missbrauch. Werten Sie beim Einrichten von Identitäten Folgendes aus:

• Auf welche Systeme und Daten der Mitarbeiter zugreifen kann.
• Ob die Berechtigungen dem Prinzip der geringsten Privilegien entsprechen.
• Wie sich der Agent bei anderen Diensten authentifiziert.

Tools und Integrationen

Agentenbasierte Systeme sind zur Erreichung ihrer Ziele auf externe Tools angewiesen, was die Angriffsfläche vergrößern kann. Um Ihre Umgebung zu schützen, definieren Sie Folgendes:

• Welche APIs, Plugins und Datenbanken der Agent aufrufen kann.
• Gibt an, ob Tooleingaben und -ausgaben überprüft werden.
• Wie Aktionen autorisiert und eingeschränkt werden.

Eingaben und Datenquellen

Agenten nehmen kontinuierlich Informationen von Personen und externen Systemen auf. Um das Risiko durch nicht vertrauenswürdige Eingaben zu verringern, sehen Sie sich Folgendes an:

• Anfälligkeit für Promptinjektionen oder böswillige Eingaben.
• Datenverfälschung oder -manipulation.
• Vertrauensgrenzen zwischen internen und externen Daten.

Arbeitsspeicher und Status

Viele Agenten speichern im Laufe der Zeit Kontextinformationen, was die Auswirkungen eines Angriffs verstärken kann. Um dieses Risiko zu verringern, sollten Sie Folgendes berücksichtigen:

• Welche Daten werden im Arbeitsspeicher gespeichert.
• Gibt an, ob vertrauliche Informationen beibehalten oder offengelegt werden.
• Wie der Arbeitsspeicher geändert oder beschädigt werden kann.

Aufgabenabschluss und Aktionen

Um zu verhindern, dass technische Risiken zu betriebsbezogenen Risiken werden, bewerten Sie Folgendes:

• Welche Aktionen der Agent ohne Genehmigung einer Person ausführen kann.
• Welche Sicherheitsvorkehrungen helfen, Vorgänge mit hohem Risiko zu begrenzen.
• Welche Szenarien können zu Aktionen führen, die über Systeme hinweg kaskadierten.

Überwachung und Reaktion

Da das Verhalten dynamisch ist, ist Sichtbarkeit entscheidend. Zu den Überwachungen, die Ihnen helfen können, Probleme in Echtzeit zu erkennen oder einzudämmen, gehören:

• Protokollierung von Entscheidungen und Aktionen.
• Erkennen von Anomalien oder Richtlinienverstößen.
• Die Möglichkeit zu schaffen, den Agenten anzuhalten, zu übersteuern oder herunterzufahren.

Wenn Sie Risiken bereits in einer frühen Phase des Entwurfs- und Implementierungsprozesses angehen, können Sie das Vertrauen und die Betriebsintegrität wahren. Wenn Sie Bedrohungen für Ihre agentenbasierten KI-Systeme modellieren, werden Sie wahrscheinlich Risiken in verschiedenen Kategorien feststellen, darunter:

Autonomierisiken

Da Agenten Entscheidungen eigenständig treffen, können sie Maßnahmen ergreifen, die Sie nicht vollständig vorhersehen können. Ein einziger Fehler kann eine Kette automatisierter Schritte in miteinander verbundenen Systemen auslösen, was zu unbeabsichtigten Änderungen, Datenproblemen oder Betriebsstörungen führen kann. Die Autonomie macht das Verhalten auch weniger vorhersagbar. Da sich Agenten an neue Eingaben und Bedingungen anpassen, wird es schwieriger, jedes Szenario zu testen oder sich auf feste Regeln zu verlassen.

Sicherheitsrisiken

Verbindungen zu APIs, Identitätssystemen und externen Tools erhöhen das Sicherheitsrisiko. Sollten Angreifer diese Integrationen ausnutzen können, könnten sie ihre Zugriffsrechte erweitern oder sich als vertrauenswürdige Systeme ausgeben, was zu potenziellen Datenverlusten oder betrieblichen Problemen führen könnte.

Sicherheits- und Governancerisiken

Aufgrund des autonomen Charakters agentischer KI ist eine Aufsicht von entscheidender Bedeutung. Ohne eine solide Unternehmensführung wird es schwierig bei der Ablaufverfolgung, nachzuvollziehen, was geschehen ist, zu verstehen, warum der Verantwortliche eine bestimmte Entscheidung getroffen hat, oder festzustellen, wer dafür verantwortlich ist.

Risiken in der Lieferkette und im Modell

Agentische KI stützt sich häufig auf Modelle, Bibliotheken und Tools von Drittanbietern, von denen jedes einzelne ein zusätzliches Risiko darstellt. Sollte eine dieser Komponenten beeinträchtigt werden, kann dies Auswirkungen auf das gesamte System haben. Beispielsweise könnte ein Angreifer ein bösartiges Update einer API eines Drittanbieters nutzen, um das Verhalten des Agenten zu manipulieren.

Ethische Überlegungen

Ohne angemessene Steuerelemente könnten die Agenten verzerrte Ergebnisse liefern oder Daten in einer Weise verarbeiten, die im Widerspruch zu den Datenschutzbestimmungen oder den behördlichen Vorgaben steht. Klare Standards helfen Organisationen dabei, Fairness, Transparenz und die Compliance mit Vorschriften zu gewährleisten.

Sie können dazu beitragen, Ihre KI-Systeme sicher, zuverlässig und auf Ihre Geschäftsziele abgestimmt zu gestalten, indem Sie sich auf einige wenige Kernbereiche konzentrieren. Diese Säulen ermöglichen es Ihnen, die Kontrolle über das Verhalten, den Zugriff und die Interaktionen mit anderen Systemen zu behalten, sodass Ihre Mitarbeiter Entscheidungen treffen und Aufgaben mit minimalem Risiko ausführen können.

Identity & Access Management

Um die Rechenschaftspflicht und Rückverfolgbarkeit zu gewährleisten, sollten Sie Ihre agentenbasierten KI-Systeme als vollwertige Identitäten behandeln und sie in bestehende Rahmenwerke zur Identitätsverwaltung integrieren. Weisen Sie jedem Mitarbeiter eindeutige Anmeldeinformationen zu, setzen Sie das Prinzip der geringstmöglichen Berechtigungen durch und wenden Sie starke Authentifizierungsmechanismen an.

Schutzmaßnahmen und Richtlinienerzwingung

Mithilfe richtlinienbasierter Steuerelemente können Sie klare Grenzen für das Verhalten der Agenten festlegen. Sicherheitsmaßnahmen sollten festlegen, auf welche Tools die Mitarbeiter zugreifen dürfen, welche Aktionen sie ausführen dürfen und unter welchen Bedingungen dies möglich ist. Durch die Durchsetzung von Richtlinien in Echtzeit können Sie unbefugte oder unsichere Aktionen verhindern.

Beobachtbarkeit und Überwachung

Die Beobachtbarkeit bietet Einblick in das Verhalten der Agenten, ihre Entscheidungen, den Datenzugriff und die Nutzung von Tools. Es ermöglicht Organisationen, Anomalien zu erkennen, Risiken zu untersuchen und Governancemaßnahmen durchzusetzen, damit Agenten sicher, transparent und im Einklang mit den Richtlinien arbeiten. Kontinuierliche Überwachung ist der Schlüssel zum Erkennen von Anomalien im Agent-Verhalten. Führen Sie Analysetools ein, mit denen die Handlungen, Entscheidungen und die Tool-Nutzung der Mitarbeiter erfasst werden.

Datenschutz

Agents verarbeiten häufig vertrauliche Daten bei der Ausführung von Aufgaben. Um das Risiko von Datenlecks zu verringern, sollten Sie Daten sowohl während der Übertragung als auch im Ruhezustand verschlüsseln, strenge Grundsätze zur Datenminimierung durchsetzen und auf unbefugten Datenzugriff achten.

Modell- und Lieferkettensicherheit

Die Sicherheit Ihrer Software-Lieferkette spielt eine wichtige Rolle für die Sicherheit agentischer KI. Es ist wichtig, sicherzustellen, dass Modelle, APIs und Tools von Drittanbietern vertrauenswürdig sind und sich wie erwartet verhalten. Überprüfen Sie bei allen externen Komponenten die Herkunft mithilfe von Verfahren wie Code-Signierung, Paketvalidierung und vertrauenswürdigen Vertriebsquellen.

Governance und menschliche Aufsicht

Um Ihre agentische KI schließlich mit den Grundsätzen für verantwortungsvolle KI und der gesetzlichen Konformität in Einklang zu bringen, sollten Sie festlegen, welche Handlungen zulässig sind, wer dafür verantwortlich ist und wie Sie Entscheidungen durchsetzen werden.

Die Sicherung agentischer KI erfordert einen proaktiven, mehrschichtigen Ansatz, der sowohl technische als auch governancebezogene Herausforderungen berücksichtigt. Einige bewährte Methoden können Ihnen dabei helfen, Systeme aufzubauen und zu skalieren, die Ihre Geschäftsziele erfüllen und gleichzeitig Risiken minimieren.

Beginnen Sie mit eng gefassten, klar abgegrenzten Aufgaben

Beginnen Sie damit, agentenbasierte KI in kontrollierten Umgebungen mit eingeschränkter Funktionalität einzusetzen. Wenn Sie Ihren Mitarbeitern risikoarme, klar definierte Aufgaben zuweisen, können Sie die Auswirkungen minimieren, falls etwas schiefgeht.

Verwenden Sie Sandboxumgebungen für Agentenaktionen

Um das Risiko für Produktionsumgebungen und sensible Daten zu verringern, sollten Sie die Agent-Vorgänge in Sandbox- oder virtualisierten Umgebungen isolieren. Wenden Sie Steuerelemente zur Datenklassifizierung an, wie z. B. Vertraulichkeitskennzeichnungen, um sicherzustellen, dass Mitarbeiter nur mit Daten arbeiten, die entsprechend ihrer Klassifizierung und Vertraulichkeit genehmigt wurden.

Mehrstufige Sicherheitsmaßnahmen einführen

Die Überwachung und Steuerung dynamischer Systeme kann sich als schwierig erweisen, doch Sie können das Verhalten der Agents einschränken, indem Sie festlegen, auf welche Tools sie zugreifen dürfen, welche Aktionen sie ausführen können und unter welchen Bedingungen dies geschehen darf. Weisen Sie den Benutzern eindeutige Identitäten zu und setzen Sie rollenbasierte Zugriffssteuerungen durch, um zu regeln, auf welche Daten und Systeme sie zugreifen dürfen. Kombinieren Sie statische Richtlinien mit dynamischen Laufzeitüberprüfungen, um ein Höchstmaß an Kontrolle zu gewährleisten.

Führen Sie regelmäßig Tests auf Promptinjektion und Jailbreaks durch

Da agentische KI autonom handeln und mehrere Aktionen miteinander verknüpfen kann, besteht die Gefahr, dass Angreifer eine ihrer Eingaben manipulieren, um ein unsicheres oder unbeabsichtigtes Verhalten auszulösen. Führen Sie regelmäßig Red-Team-Übungen und Penetrationstests durch, um Schwachstellen aufzudecken, bevor Angreifer dies tun.

Eskalationspfade und Governanceworkflows festlegen

Legen Sie klare Eskalationsverfahren für risikoreiche Maßnahmen fest. Führen Sie bei sensiblen Vorgängen, wie beispielsweise Finanztransaktionen oder Änderungen an der Systemkonfiguration, Kontrollpunkte mit menschlicher Überprüfung ein.

Sich an den Grundsätzen für verantwortungsvolle KI orientieren

Entwickeln Sie Agents, die ethischen Standards, Fairness-Richtlinien und gesetzlichen Anforderungen entsprechen, indem Sie Bias-Tests, Überprüfungen der Erklärbarkeit und Validierungen der Konformität einbeziehen. Die Gesetze zu KI und Datenschutz entwickeln sich ständig weiter, daher ist es ratsam, regelmäßig zu überprüfen, inwieweit Ihre Systeme mit diesen Entwicklungen Schritt halten.

Nicht jeder Anwendungsfall für agentische KI birgt das gleiche Risiko. Wenn Sie den Unterschied zwischen Szenarien mit geringem und hohem Risiko verstehen, können Sie besser entscheiden, wo Sie ansetzen und welche Steuerelemente Sie umsetzen sollten. Zwei gängige Anwendungsfälle für agentische KI im Sicherheitsbereich veranschaulichen diese Unterschiede:

Triage im Kundensupport (geringes Risiko)

In diesem Szenario unterstützt ein agentisches KI-System ein Kundensupportteam, indem es eingehende Anfragen kategorisiert, Antwortvorschläge unterbreitet und Probleme an die zuständige Abteilung weiterleitet.

• Gründe für geringe Risiken:
  • Der Agent arbeitet in einer kontrollierten Umgebung.
  • Die Maßnahmen beschränken sich auf die Einstufung von Tickets und Vorschläge für die Bearbeitung.
  • Es besteht kein direkter Zugriff auf sensible Finanz- oder Betriebssysteme.
• Sicherheitsüberlegungen:
  • Richten Sie Sicherheitsvorkehrungen ein, um zu verhindern, dass die Agents Tickets ohne Genehmigung eskalieren.
  • Überwachen Sie auf spontane Promptinjektionsversuche, die die Weiterleitung von Tickets manipulieren könnten.

Automatisierung von Finanztransaktionen (hohes Risiko)

Hier ist ein agentisches KI-System befugt, Finanztransaktionen auf der Grundlage vordefinierter Geschäftsregeln zu initiieren und zu genehmigen.

• Warum dies ein hohes Risiko darstellt:
  • Der Agent hat direkten Zugriff auf Finanzsysteme und sensible Daten.
  • Im Falle einer Kompromittierung besteht die Gefahr von großangelegtem Betrug oder Betriebsstörungen.
• Sicherheitsüberlegungen:
  • Setzen Sie für den Agent eine strenge Identitäts- und Zugriffsverwaltung durch.
  • Führen Sie für Transaktionen mit hohem Wert eine Freigabe durch einen Mitarbeiter ein.
  • Überwachen Sie kontinuierlich auf ungewöhnliche Transaktionsmuster.

Bevor Sie agentenbasierte KI-Systeme einführen oder skalieren, sollten Sie sich etwas Zeit nehmen, um die Bereitschaft Ihrer Organisation in einigen Schlüsselbereichen noch einmal zu überprüfen:

• Governancereife. Sind Eskalationswege und Genehmigungsabläufe vorhanden?
• Identitätskontrollen. Werden Agents als eindeutige Identitäten mit Zugriff nach dem Prinzip der geringsten Berechtigungen behandelt?
• Überwachungsfunktionen. Kann die Organisation anomales Agent-Verhalten in Echtzeit erkennen und darauf reagieren?
• Risikotoleranz. Ist sich das Unternehmen der möglichen Auswirkungen der Autonomie der Agents im gewählten Anwendungsfall bewusst und akzeptiert es diese?

Indem Sie mit risikoarmen Szenarien beginnen und agentische KI schrittweise in komplexere Arbeitsabläufe integrieren, kann Ihre Organisation Vertrauen aufbauen und gleichzeitig die Sicherheit und die Konformität mit gesetzlichen Vorschriften gewährleisten.

Die Sicherung agentischer KI ist ein zentraler Bestandteil des verantwortungsvollen Einsatzes autonomer Systeme. Da diese Systeme zunehmend Entscheidungsaufgaben übernehmen und sich über verschiedene Umgebungen hinweg vernetzen, bringen sie Risiken mit sich, für deren Bewältigung herkömmliche Sicherheitskonzepte nicht ausgelegt sind. Identitätsmanagement, die konsequente Durchsetzung klarer Richtlinien und eine kontinuierliche Überwachung tragen dazu bei, dass die Systeme stets mit den geschäftlichen Zielen und den Anforderungen an die Konformität im Einklang stehen. Durch einen proaktiven Ansatz tragen Sie dazu bei, das Vertrauen zu wahren, das Risiko durch neue Bedrohungen zu verringern und autonomes Verhalten innerhalb festgelegter Grenzen zu halten.

Mit einer Reihe einheitlicher Sicherheitslösungen für agentenbasierte KI von Microsoft können Sie den sichereren Einsatz von KI in Ihrer Organisation fördern. Microsoft Security vereint Funktionen für Identitäts- und Zugriffsmanagement, Erkennung von Bedrohungen, Datenschutz und Governance, damit Sie die Kontrolle über autonome Systeme behalten. Dank der integrierten KI für Cybersicherheit können Sie Untersuchungen beschleunigen und Teams dabei unterstützen, effizienter zusammenzuarbeiten. Zusammen bilden diese Lösungen eine praktische Grundlage für das Risikomanagement, den Schutz von KI-Systemen und die Förderung eines verantwortungsvollen Umgangs mit agentischer KI.