Carli Michelle Heller foi presa na Flórida após fazer ameaças online ao escritório do xerife do Condado de Lee. A empresa Anthropic comunicou o caso às autoridades depois que mensagens enviadas pela mulher ao chatbot Claude foram identificadas por sistemas de segurança e avaliadas por uma equipe humana.
Segundo o relato da ocorrência, Heller mencionou um ataque durante uma conversa com o Claude e, no dia seguinte, disse que havia adquirido uma arma. Ela usava o chatbot como uma espécie de diário para registrar pensamentos e conversar sobre assuntos pessoais.
As mensagens passaram primeiro por mecanismos automatizados da Anthropic, que procuram expressões e conteúdos potencialmente ameaçadores. Conforme o relatório policial, conversas consideradas graves podem ser encaminhadas para revisão humana. Após a análise, a equipe da empresa informou as autoridades, que registraram a ocorrência.
A acusação foi formalizada em 30 de setembro com base no Estatuto da Flórida 836.10. A legislação prevê punições para ameaças transmitidas por escrito ou por meios eletrônicos que envolvam morte, violência, tiroteios em massa ou atos terroristas.
A Anthropic informa em sua documentação que pode fornecer dados às autoridades em emergências, quando considerar necessária a divulgação para evitar risco de morte ou ferimentos físicos graves. O caso também chama atenção para os limites de privacidade nas conversas com chatbots, que não têm as mesmas regras de sigilo aplicadas a profissionais como psicólogos e advogados.
Outras empresas de inteligência artificial também monitoram conversas relacionadas a possíveis crimes. Em um caso recente, a OpenAI não acionou a polícia após identificar conversas sobre violência armada entre uma adolescente e o chatbot; depois da ocorrência do crime, a empresa foi processada. Os episódios ocorrem em meio a discussões sobre os critérios usados pelas plataformas para identificar e comunicar ameaças às autoridades.
