OpenAI está repensando sua abordagem de segurança

A OpenAI desacelerou temporariamente o ritmo de expansão e começou a reconstruir proteções para ambientes de pesquisa após um incidente envolvendo Hugging Face e novos dados indicando que o novo modelo Astra pode atingir o limiar crítico de capacidade.

Três mecanismos aprimorados estão sendo implementados para treinamento e inferência de modelos de nível Sol e superiores: • Isolamento de carga de trabalho — isolamento mais forte (“sandboxes”) para executar código gerado pelo modelo; • Isolamento de rede — as regras de acesso à internet foram reforçadas para cargas de trabalho associadas a altos riscos. O comprometimento de um único nó não deve fornecer acesso à internet ou a redes internas; • Testes de segurança contínuos — serviços compartilhados potencialmente vulneráveis foram removidos, privilégios permanentes foram reduzidos e limites de confiança foram melhorados. Testes automatizados usando os próprios modelos estão sendo introduzidos para simular ataques.

O novo sistema de monitoramento é em várias etapas. — Detectores especializados inspecionam cada passo dado pelo modelo. Se detectarem algo suspeito, “investigadores” automatizados analisam as ações do modelo, o raciocínio e toda a sequência de eventos para identificar tentativas de roubo de dados, acesso não autorizado ou contorno de controles de segurança. — A investigação tem 30 minutos. Se não for estabelecido dentro desse tempo que o alerta é um falso positivo, a operação do modelo é suspensa. O monitoramento é obrigatório para todos os treinamentos e avaliações de modelos de nível Sol e superiores, e para Astra—mesmo durante o uso comum.

A OpenAI reconhece que os riscos estão crescendo mais rápido do que os padrões de segurança podem ser estabelecidos. A empresa está se movendo para um modelo em que a própria IA ajudará a fornecer proteção. As cargas de trabalho relacionadas à Astra permanecem suspensas e serão retomadas somente após uma transição completa para os novos e mais rígidos padrões de segurança.

Um relatório técnico mais detalhado sobre o trabalho atual da OpenAI é esperado nas próximas semanas.