生成式人工智能迅速改变了软件开发，使开发人员能够更快、更大规模地生成代码。这在加速创新的同时，也带来了新的挑战：生成不安全的代码：人工智能工具可能会提出包含漏洞的代码。提示注入攻击：恶意输入会操纵人工智能模型做出不安全的行为。数据暴露风险：敏感信息可能会通过训练集或模型输出泄露。过度依赖人工智能：开发人员可能缺乏评估人工智能生成的代码是否安全的背景知识。与此同时，对手也开始利用人工智能实现攻击自动化，从而使威胁形势变得更加多变。企业必须采取战略来降低这些风险，同时安全地利用人工智能的优势。

Q: 生成式人工智能安全是如何工作的？

要确保生成式人工智能和人工智能生成代码的安全，需要将治理、测试和监控结合起来。主要做法包括安全编码检查：通过 SAST 、 DAST 、SCA 和 IaC 测试运行人工智能生成的代码。政策执行：为何时以及如何使用人工智能编码助手设置警戒线。威胁检测：识别人工智能应用中的提示注入、数据泄漏和滥用风险。支持开发人员：教育团队安全使用人工智能编码工具。人工智能增强的应用程序安全：负责任地 使用 GenAI 来减少误报并加快修复。

联系我们相关产品

概述

生成式人工智能安全（有时也称为人工智能代码风险）是保护应用程序和组织免受生成式人工智能（GenAI）系统和人工智能辅助编码工具带来的独特风险的实践。它还包括负责任地使用人工智能来加强应用安全测试和修复。

生成式人工智能在应用安全中的危险与前景

通过增强网络安全工具，生成式人工智能正在彻底改变应用安全。

阅读报告

生成式人工智能安全

GenAI 的安全性为何重要？

生成式人工智能迅速改变了软件开发，使开发人员能够更快、更大规模地生成代码。这在加速创新的同时，也带来了新的挑战：

生成不安全的代码：人工智能工具可能会提出包含漏洞的代码。
提示注入攻击：恶意输入会操纵人工智能模型做出不安全的行为。
数据暴露风险：敏感信息可能会通过训练集或模型输出泄露。
过度依赖人工智能：开发人员可能缺乏评估人工智能生成的代码是否安全的背景知识。

与此同时，对手开始利用人工智能实现攻击自动化，使威胁形势变得更加多变。企业必须采取战略来降低这些风险，同时安全地利用人工智能的优势。

生成式人工智能安全是如何工作的？

要确保生成式人工智能和人工智能生成代码的安全，需要将治理、测试和监控结合起来。

主要做法包括

安全编码检查：通过SAST、DAST、SCA 和 IaC 测试运行人工智能生成的代码。
政策执行：为何时以及如何使用人工智能编码助手设置警戒线。
威胁检测：识别人工智能应用中的提示注入、数据泄漏和滥用风险。
支持开发人员：教育团队安全使用人工智能编码工具。
人工智能增强应用安全： 负责任地使用 GenAI，以减少误报并加快补救。

GenAI 安全性的优势

降低风险：防止人工智能生成的不安全代码进入生产环境。
更安全的采用：让团队负责任地使用人工智能编码助手。
人工智能应用安全：通过应对模型操纵、数据暴露和对抗性输入等独特风险，保护人工智能驱动的应用程序。
持续监督：长期监控和管理与人工智能相关的漏洞。
更快的修复：利用人工智能简化漏洞分流和修复。
平衡创新：收获人工智能的好处，同时最大限度地降低新风险。

利用 OpenText 应用程序安全软件实现生成式人工智能安全

OpenText 帮助企业应对人工智能相关风险，同时负责任地利用人工智能提高安全性：

OpenText™ Application Security Aviator™ (Fortify)：人工智能驱动的助手，可减少误报并加速修复。
SSR 研究：持续更新以检测 AI/ML 框架和 API 中的漏洞。
开发人员优先：指导和培训，帮助开发人员安全使用人工智能工具。
集成测试平台：对人工智能生成的代码进行全面的 SAST、DAST、SCA、IaC 和 API 测试。
政策驱动的协调：通过应用安全态势管理 (ASPM) 管理人工智能的使用。

主要启示

生成式人工智能安全可帮助企业利用人工智能的生产力优势，同时降低不安全代码、数据泄漏和人工智能驱动的系统引入的新型攻击载体的风险。