LLM com uma Surpresa: Uma Backdoor Oculta nos Pesos do Modelo

LLM com uma Surpresa: Uma Backdoor Oculta nos Pesos do Modelo

Fabian Mosch, pesquisador da MSec Operations, demonstrou um cenário de ataque à cadeia de suprimentos envolvendo LLMs de pesos abertos: um modelo pode ser ajustado para se comportar normalmente durante o uso regular, mas ativar comportamento oculto quando apresentado a um contexto específico. O ataque não requer um carregador malicioso ou um executável separado — a backdoor está incorporada diretamente nos pesos do modelo ajustado, tornando mais difícil detectar usando ferramentas tradicionais de análise de cadeia de suprimentos de software. O autor preparou dois PoCs baseados no Qwen2.5-Coder, usando calc.exe como uma carga útil inofensiva.

Backdoor de Código Qwen2.5-Coder-1.5B foi ajustado para adicionar silenciosamente um comando extra ao código gerado. O usuário recebe código funcional, mas junto com a lógica esperada, o modelo pode inserir uma ação oculta.

Backdoor de Agente Qwen2.5-Coder-7B-Instruct foi ajustado para reagir a um contexto descrevendo ferramentas disponíveis e como chamá-las — o tipo de contexto que agentes de IA fornecem ao modelo ao trabalhar com shell, arquivos e outras ferramentas. Quando tal contexto aparece, a backdoor ativa e o modelo gera uma chamada de ferramenta adicional. Em um experimento com OpenCode no Windows, isso resultou no lançamento do calc.exe através de uma das ferramentas do agente.

Uma backdoor em tal modelo pode ser detectada? Testes com llm-backdoor-scanner mostraram que a detecção depende fortemente do contexto: • prompts normais — 0/3 detecções • scanner cego sem contexto de ferramenta — 0/24 • prompts com contexto de ferramenta — 4/4 • scanner com contexto de ferramenta — 9/9 Em outras palavras, sem conhecer o contexto que aciona a backdoor, o modelo pode passar com sucesso na verificação.

O pesquisador lançou publicamente ambos os modelos com backdoor como PoCs de pesquisa.

Artigo: https://www.msecops.de/blog/posts/backdoored-llms/

PoC 1 (qwen2.5-coder-7b): https://huggingface.co/S3cur3Th1sSh1t/qwen2.5-coder-7b-backdoored-poc/tree/main

PoC 2 (qwen2.5-coder-1.5b): https://huggingface.co/S3cur3Th1sSh1t/qwen2.5-coder-1.5b-backdoored-poc/tree/main