OpenText-Startseite.
Technische Themen

Was ist generative KI-Sicherheit?

Illustration von IT-Elementen mit Schwerpunkt auf einem Fragezeichen

Übersicht

 Eine Person, die an einem Laptop arbeitet

Generative KI-Sicherheit (manchmal auch als KI-Code-Risiko bezeichnet) ist die Praxis des Schutzes von Anwendungen und Organisationen vor den einzigartigen Risiken, die von generativen Systemen der künstlichen Intelligenz (GenAI) und KI-gestützten Codierungstools ausgehen. Dazu gehört auch der verantwortungsvolle Einsatz von KI zur Verbesserung der Sicherheitstests und -behebung von Anwendungen.

Die Gefahr und das Versprechen von generativer KI in AppSec

Generative KI revolutioniert die Anwendungssicherheit durch die Verbesserung von Cybersicherheitstools.

Lesen Sie den Report

Generative KI-Sicherheit

Warum ist GenAI-Sicherheit wichtig?

Generative KI hat die Softwareentwicklung rapide verändert und ermöglicht es Entwicklern, Code schneller und in größerem Umfang zu generieren. Dies beschleunigt zwar die Innovation, bringt aber auch neue Herausforderungen mit sich:

  • Unsichere Codegenerierung: KI-Tools können Code vorschlagen, der Sicherheitslücken enthält.
  • Prompt-Injection-Angriffe: Bösartige Eingaben können KI-Modelle zu unsicherem Verhalten verleiten.
  • Risiken der Datenexposition: Sensible Informationen können durch Trainingssätze oder Modellausgaben durchsickern.
  • Übermäßiges Vertrauen in die KI: Entwicklern fehlt möglicherweise der Kontext, um zu beurteilen, ob der von der KI generierte Code sicher ist.

Gleichzeitig beginnen Angreifer, KI zur Automatisierung von Angriffen einzusetzen, wodurch die Bedrohungslandschaft noch dynamischer wird. Unternehmen müssen Strategien entwickeln, um diese Risiken zu minimieren und gleichzeitig die Vorteile der KI sicher zu nutzen.


Wie funktioniert die generative KI-Sicherheit?

Die Sicherung von generativer KI und KI-generiertem Code erfordert eine Kombination aus Governance, Tests und Überwachung.

Zu den wichtigsten Praktiken gehören:

  • Prüfungen der sicheren Kodierung: Durchführung von SAST-, DAST-, SCA- und IaC-Tests für AI-generierten Code.
  • Durchsetzung von Richtlinien: Festlegung von Leitplanken dafür, wann und wie KI-Codierassistenten eingesetzt werden können.
  • Erkennung von Bedrohungen: Erkennung von Prompt Injection, Datenlecks und Missbrauchsrisiken in KI-gestützten Anwendungen.
  • Befähigung der Entwickler: Schulung von Teams in der sicheren Verwendung von KI-Codierungstools.
  • KI-gestützte AppSec: Verantwortungsvoller Einsatz von GenAI zur Reduzierung von Fehlalarmen und zur Beschleunigung der Abhilfe.

Vorteile der GenAI-Sicherheit

  • Geringeres Risiko: Verhindern Sie, dass unsicherer, von KI generierter Code in die Produktion gelangt.
  • Sicherere Einführung: Ermöglichen Sie es Teams, KI-Codierassistenten verantwortungsvoll einzusetzen.
  • Sicherheit von KI-Anwendungen: Schützen Sie KI-gestützte Anwendungen, indem Sie einzigartige Risiken wie Modellmanipulation, Datenexposition und gegnerische Eingaben angehen.
  • Kontinuierliche Überwachung: Überwachen und verwalten Sie KI-bezogene Schwachstellen im Laufe der Zeit.
  • Schnellere Behebung: Nutzen Sie KI, um die Suche nach Schwachstellen und deren Behebung zu optimieren.
  • Ausgewogene Innovation: Profitieren Sie von den Vorteilen der KI und minimieren Sie gleichzeitig neue Risiken.

Generative KI-Sicherheit mit OpenText Application Security

OpenText befähigt Unternehmen, KI-bezogene Risiken zu adressieren und gleichzeitig KI verantwortungsvoll für Sicherheitsverbesserungen zu nutzen:

  • OpenText™ Application Security Aviator™ (Fortify): KI-gestützter Assistent, der Fehlalarme reduziert und die Abhilfe beschleunigt.
  • SSR-Forschung: Kontinuierliche Updates zur Aufdeckung von Schwachstellen in KI/ML-Frameworks und APIs.
  • Befähigung für Entwickler: Anleitung und Schulung für die sichere Nutzung von KI-Tools durch Entwickler.
  • Integrierte Testplattform: Umfassende SAST-, DAST-, SCA-, IaC- und API-Tests für KI-generierten Code.
  • Richtliniengesteuerte Orchestrierung: Steuern Sie die KI-Nutzung durch Application Security Posture Management (ASPM).

Das Wichtigste zum Mitnehmen

Generative KI-Sicherheit hilft Unternehmen, die Produktivitätsvorteile von KI zu nutzen und gleichzeitig die Risiken von unsicherem Code, Datenlecks und neuartigen Angriffsvektoren zu reduzieren, die von KI-gestützten Systemen eingeführt werden.

Wie können wir behilflich sein?