OpenText 主页。
技术主题

什么是生成式人工智能安全？

联系我们相关产品
以问号为重点的信息技术项目图示

概述

使用笔记本电脑办公的人

生成式人工智能安全（有时也称为人工智能代码风险）是保护应用程序和组织免受生成式人工智能（GenAI）系统和人工智能辅助编码工具带来的独特风险的实践。它还包括负责任地使用人工智能来加强应用安全测试和修复。

生成式人工智能在应用安全中的危险与前景

通过增强网络安全工具，生成式人工智能正在彻底改变应用安全。

阅读报告

生成式人工智能安全

GenAI 的安全性为何重要？

生成式人工智能迅速改变了软件开发，使开发人员能够更快、更大规模地生成代码。这在加速创新的同时，也带来了新的挑战：

  • 生成不安全的代码：人工智能工具可能会提出包含漏洞的代码。
  • 提示注入攻击：恶意输入会操纵人工智能模型做出不安全的行为。
  • 数据暴露风险：敏感信息可能会通过训练集或模型输出泄露。
  • 过度依赖人工智能：开发人员可能缺乏评估人工智能生成的代码是否安全的背景知识。

与此同时，对手开始利用人工智能实现攻击自动化，使威胁形势变得更加多变。企业必须采取战略来降低这些风险，同时安全地利用人工智能的优势。

生成式人工智能安全是如何工作的？

要确保生成式人工智能和人工智能生成代码的安全，需要将治理、测试和监控结合起来。

主要做法包括

  • 安全编码检查：通过SAST、DAST、SCA 和 IaC 测试运行人工智能生成的代码。
  • 政策执行：为何时以及如何使用人工智能编码助手设置警戒线。
  • 威胁检测：识别人工智能应用中的提示注入、数据泄漏和滥用风险。
  • 支持开发人员：教育团队安全使用人工智能编码工具。
  • 人工智能增强应用安全： 负责任地使用 GenAI，以减少误报并加快补救。

GenAI 安全性的优势

  • 降低风险：防止人工智能生成的不安全代码进入生产环境。
  • 更安全的采用：让团队负责任地使用人工智能编码助手。
  • 人工智能应用安全：通过应对模型操纵、数据暴露和对抗性输入等独特风险，保护人工智能驱动的应用程序。
  • 持续监督：长期监控和管理与人工智能相关的漏洞。
  • 更快的修复：利用人工智能简化漏洞分流和修复。
  • 平衡创新：收获人工智能的好处，同时最大限度地降低新风险。

利用 OpenText 应用程序安全软件实现生成式人工智能安全

OpenText 帮助企业应对人工智能相关风险，同时负责任地利用人工智能提高安全性：

  • OpenText™ Application Security Aviator™ (Fortify)：人工智能驱动的助手，可减少误报并加速修复。
  • SSR 研究：持续更新以检测 AI/ML 框架和 API 中的漏洞。
  • 开发人员优先：指导和培训，帮助开发人员安全使用人工智能工具。
  • 集成测试平台：对人工智能生成的代码进行全面的 SAST、DAST、SCA、IaC 和 API 测试。
  • 政策驱动的协调：通过应用安全态势管理 (ASPM) 管理人工智能的使用。

主要启示

生成式人工智能安全可帮助企业利用人工智能的生产力优势，同时降低不安全代码、数据泄漏和人工智能驱动的系统引入的新型攻击载体的风险。

相关产品

OpenText™ Application Security Aviator

利用 AI 技术从干扰中获取结果——既能揭示缺陷，也能显示代码修复情况

OpenText™ Core Application Security

解锁安全测试、漏洞管理以及量身定制的专业知识与支持

OpenText™ Static Application Security Testing (SAST)

以行业领先的准确性，尽早发现并修复安全问题

查看所有产品

我们能提供什么帮助？