Página inicial da OpenText.
Tópicos técnicos

O que é segurança de IA generativa?

Ilustração de itens de TI com foco em um ponto de interrogação

Visão geral

 Uma pessoa trabalhando em um laptop

A segurança de IA generativa (às vezes chamada de risco de código de IA) é a prática de proteger aplicativos e organizações contra os riscos exclusivos introduzidos por sistemas de inteligência artificial generativa (GenAI) e ferramentas de codificação assistidas por IA. Isso também inclui o uso responsável da IA para aprimorar os testes e a correção da segurança de aplicativos.

O perigo e a promessa da IA generativa na AppSec

A IA generativa está revolucionando a segurança de aplicativos ao aprimorar as ferramentas de segurança cibernética.

Leia o relatório

Segurança de IA generativa

Por que a segurança da GenAI é importante?

A IA generativa transformou rapidamente o desenvolvimento de software, permitindo que os desenvolvedores gerem códigos mais rapidamente e em escala. Embora isso acelere a inovação, também introduz novos desafios:

  • Geração de código inseguro: As ferramentas de IA podem sugerir códigos que contenham vulnerabilidades.
  • Ataques de injeção de prompt: Entradas maliciosas podem manipular os modelos de IA para que tenham um comportamento inseguro.
  • Riscos de exposição de dados: Informações confidenciais podem vazar por meio de conjuntos de treinamento ou resultados de modelos.
  • Confiança excessiva na IA: os desenvolvedores podem não ter o contexto para avaliar se o código gerado pela IA é seguro.

Ao mesmo tempo, os adversários estão começando a usar a IA para automatizar ataques, tornando o cenário de ameaças ainda mais dinâmico. As organizações devem adotar estratégias para mitigar esses riscos e, ao mesmo tempo, aproveitar com segurança os benefícios da IA.


Como funciona a segurança de IA generativa?

Proteger a IA generativa e o código gerado por IA exige uma combinação de governança, testes e monitoramento.

As principais práticas incluem:

  • Verificações de codificação segura: Execução de código gerado por IA por meio de testes SAST, DAST, SCA e IaC.
  • Aplicação de políticas: Definição de limites para quando e como os assistentes de codificação de IA podem ser usados.
  • Detecção de ameaças: Identificação de injeção imediata, vazamento de dados e riscos de uso indevido em aplicativos habilitados para IA.
  • Capacitação do desenvolvedor: Educar as equipes sobre o uso seguro de ferramentas de codificação de IA.
  • AppSec aprimorado por IA: Usar a GenAI de forma responsável para reduzir falsos positivos e acelerar a correção.

Benefícios da segurança GenAI

  • Redução de riscos: Evite que códigos inseguros gerados por IA cheguem à produção.
  • Adoção mais segura: Permita que as equipes usem os assistentes de codificação de IA de forma responsável.
  • Segurança de aplicativos de IA: Proteja os aplicativos com tecnologia de IA abordando riscos exclusivos, como manipulação de modelos, exposição de dados e entradas adversárias.
  • Supervisão contínua: Monitore e gerencie as vulnerabilidades relacionadas à IA ao longo do tempo.
  • Correção mais rápida: Aproveite a IA para simplificar a triagem e as correções de vulnerabilidades.
  • Inovação equilibrada: Aproveite os benefícios da IA e minimize os novos riscos.

Segurança de IA generativa com o OpenText Application Security

A OpenText capacita as empresas a lidar com os riscos relacionados à IA e, ao mesmo tempo, aproveita a IA de forma responsável para melhorar a segurança:

  • OpenText™ Application Security Aviator™ (Fortify): Assistente com tecnologia de IA que reduz os falsos positivos e acelera a correção.
  • Pesquisa de SSR: Atualizações contínuas para detectar vulnerabilidades em estruturas e APIs de IA/ML.
  • Capacitação do desenvolvedor em primeiro lugar: Orientação e treinamento para ajudar os desenvolvedores a usar as ferramentas de IA com segurança.
  • Plataforma de testes integrada: Testes abrangentes de SAST, DAST, SCA, IaC e API para códigos gerados por IA.
  • Orquestração orientada por políticas: Controle o uso de IA por meio do gerenciamento da postura de segurança de aplicativos (ASPM).

Principais conclusões

A segurança de IA generativa ajuda as organizações a adotar os benefícios de produtividade da IA e, ao mesmo tempo, reduzir os riscos de código inseguro, vazamento de dados e novos vetores de ataque introduzidos por sistemas alimentados por IA.