À medida que os sistemas de IA assumem tarefas mais complexas — especialmente aquelas que envolvem a web e aplicativos conectados — os riscos de segurança mudam.
Um risco emergente tornou-se especialmente importante: injeção de prompt. Nesses ataques, um terceiro tenta enganar um sistema de IA conversacional para que ele siga instruções maliciosas ou revele informações confidenciais.
Hoje, estamos apresentando duas novas proteções projetadas para ajudar usuários e organizações a mitigar ataques de injeção rápida, com maior visibilidade dos riscos e controles mais robustos:
- Modo de bloqueio no ChatGPT, uma configuração de segurança avançada e opcional para usuários de alto risco.
- Etiquetas de “Risco Elevado”para determinadas funcionalidades que podem introduzir riscos adicionais no ChatGPT, ChatGPT Atlas e Codex.
Essas adições complementam nossas proteções já existentes nos níveis de modelo, produto e sistema. Isso inclui sandboxing, proteções contra exfiltração de dados baseada em URL, monitoramento e aplicação de políticas, além de controles corporativos como acesso baseado em funções e registros de auditoria.
O Modo de Bloqueio é uma configuração de segurança avançada e opcional, projetada para um pequeno grupo de usuários altamente preocupados com a segurança — como executivos ou equipes de segurança em organizações importantes — que exigem maior proteção contra ameaças avançadas. Para a maioria dos usuários, não é necessário. O Modo de Bloqueio restringe rigorosamente a forma como o ChatGPT pode interagir com sistemas externos para reduzir o risco de exfiltração de dados baseada em injeção imediata.
O Modo de Bloqueio desativa de forma determinística certas ferramentas e funcionalidades do ChatGPT que um adversário poderia tentar explorar para extrair dados sensíveis das conversas dos usuários ou de aplicativos conectados por meio de ataques como injeções de prompts.
Por exemplo, a navegação na web no Modo de Bloqueio é limitada ao conteúdo em cache, portanto, nenhuma solicitação de rede em tempo real sai da rede controlada pela OpenAI. Essa restrição foi criada para impedir que dados sensíveis sejam exfiltrados para um invasor por meio da navegação. Algumas funcionalidades são completamente desativadas quando não podemos fornecer garantias determinísticas robustas de segurança de dados.
O Modo de Bloqueio é uma nova configuração determinística que ajuda a proteger os dados contra o compartilhamento inadvertido com terceiros, restringindo rigorosamente a forma como o ChatGPT pode interagir com determinados sistemas externos.
Os planos de negócios do ChatGPT já oferecem segurança de dados de nível empresarial. O Modo de Bloqueio amplia essas proteções e está disponível para ChatGPT Enterprise, ChatGPT Edu, ChatGPT para a Área da Saúde e ChatGPT para Professores. Os administradores podem habilitá-lo nas Configurações do Espaço de Trabalho(abre em uma nova janela) criando uma nova função(abre em uma nova janela). Quando ativado, o Modo de Bloqueio adiciona restrições extras às configurações administrativas existentes.
Saiba mais sobre o Modo de Bloqueio em nossa Central de Ajuda(abre em uma nova janela).
Como alguns fluxos de trabalho críticos dependem de aplicativos, os administradores do espaço de trabalho mantêm controles mais detalhados. Eles podem escolher exatamente quais aplicativos — e quais ações específicas dentro desses aplicativos — estarão disponíveis para os usuários no Modo de Bloqueio. Além disso, e independentemente do Modo de Bloqueio, a Plataforma de Logs da API de Conformidade(abre em uma nova janela) oferece visibilidade detalhada do uso do aplicativo, dados compartilhados e fontes conectadas, ajudando os administradores a manter o controle.
Planejamos disponibilizar o Modo de Bloqueio aos consumidores nos próximos meses.
Os produtos de IA podem ser mais úteis quando conectados aos seus aplicativos e à web, e investimos muito para manter os dados conectados seguros. Ao mesmo tempo, algumas funcionalidades relacionadas à rede introduzem novos riscos que ainda não foram totalmente abordados pelas medidas de segurança e proteção do setor. Alguns usuários podem se sentir confortáveis em assumir esses riscos, e acreditamos que é importante que eles tenham a possibilidade de decidir se e como usá-los, especialmente ao lidar com seus dados privados.
Nossa abordagem tem sido fornecer orientações dentro do produto para recursos que possam introduzir riscos adicionais. Para tornar isso mais claro e consistente, estamos padronizando a forma como rotulamos uma pequena lista de funcionalidades existentes. Essas funcionalidades agora usarão um rótulo consistente de “Risco Elevado” no ChatGPT, ChatGPT Atlas e Codex, para que os usuários recebam as mesmas orientações onde quer que as encontrem.
Por exemplo, no Codex, nosso assistente de codificação, os desenvolvedores podem conceder acesso à rede do Codex para que ele possa realizar ações na web, como pesquisar documentação. A tela de configurações relevante inclui o rótulo "Risco Elevado", juntamente com uma explicação clara sobre quais alterações são necessárias, quais riscos podem ser introduzidos e quando esse acesso é apropriado.
Uma captura de tela da tela de configurações do Codex, onde os usuários podem configurar o acesso à rede que o Codex terá.
Continuamos a investir no reforço das nossas medidas de segurança, especialmente no que diz respeito a riscos novos, emergentes ou crescentes. À medida que reforçarmos as medidas de segurança para esses recursos, removeremos o rótulo de "Risco Elevado" assim que determinarmos que os avanços em segurança mitigaram suficientemente esses riscos para uso geral. Continuaremos também a atualizar ao longo do tempo quais funcionalidades exibem este rótulo para melhor comunicar o risco aos utilizadores.
Autoria
Continuar lendo
