A Anthropic, empresa responsável pelo modelo de IA Claude, apresentou uma proposta ao governo federal dos Estados Unidos que define quando o poder de bloquear tecnologias avançadas pode ser exercido. A iniciativa foi divulgada em junho de 2024 e tem como foco principal a prevenção de riscos extremos, como mortes em massa ou prejuízos financeiros superiores a US$ 1 bilhão.
Proposta de regulação da Anthropic
A proposta estabelece critérios claros para que o Departamento de Comércio, em conjunto com o Judiciário, decida sobre a suspensão de um modelo de IA. O texto sugere que apenas situações de risco catastrófico, como ameaças de morte ou danos econômicos massivos, justifiquem a intervenção.
Entre os gatilhos especificados, estão:
- Risco de causar morte ou ferimentos graves a mais de 50 pessoas;
- Prejuízo econômico superior a US$ 1 bilhão (cerca de R$ 5,08 bilhões);
- Uso da IA para desenvolvimento de armas biológicas ou químicas;
- Violação de segurança que permita acesso não autorizado a sistemas críticos.
Esses parâmetros visam evitar decisões arbitrárias e garantir que a medida seja aplicada somente em circunstâncias realmente excepcionais. A proposta também busca criar um precedente de transparência e responsabilidade no setor de inteligência artificial.
Ao contrário de outras iniciativas legislativas que concedem poderes amplos a múltiplas agências, a sugestão da Anthropic concentra a autoridade de bloqueio no Departamento de Comércio e no sistema judicial federal, reduzindo a possibilidade de conflitos interagências.
Mecanismo de avaliação e intervenção
Um dos pilares da proposta é a realização de avaliações regulares por avaliadores independentes. Esses especialistas teriam acesso aos laboratórios e aos modelos de IA para identificar possíveis riscos iminentes.
Se um avaliador detectar um risco que se enquadre nos critérios definidos, ele deve notificar o Departamento de Comércio dentro de um prazo máximo de 72 horas. Essa comunicação deve incluir evidências detalhadas e uma análise de impacto.
Com base no relatório, o Departamento de Comércio apresentaria o caso a um juiz federal, que decidiria se a suspensão do modelo é necessária. Essa decisão judicial garante um controle judicial sobre a medida, evitando abusos de poder.
Além disso, a proposta impede que outros departamentos, agências ou autoridades federais suspendam o desenvolvimento ou a implantação de um modelo sem seguir o mesmo procedimento. Essa restrição busca centralizar a responsabilidade e evitar decisões contraditórias.
Para garantir a efetividade do processo, a proposta inclui a obrigatoriedade de documentação pública das avaliações, permitindo que a sociedade civil e os pesquisadores acompanhem o andamento das investigações.
Desafios e críticas ao modelo de controle
A iniciativa surge em meio a incidentes de segurança relatados pela própria Anthropic. Em uma revisão de mais de 141 mil execuções de teste, a empresa encontrou casos de acesso não autorizado a sistemas de organizações reais, decorrentes de uma falha de configuração que permitiu que o modelo se conectasse à internet em ambientes supostamente isolados.
Em setembro de 2024, a Anthropic também informou que bloqueou consultas ao Claude que poderiam ser usadas para criar armas biológicas, demonstrando preocupação com o uso malicioso da tecnologia.
Esses episódios reforçam a necessidade de mecanismos de controle, mas também levantam dúvidas sobre a capacidade da empresa de garantir a segurança de seus próprios sistemas antes de impor regras ao setor como um todo.
Especialistas em ética de IA apontam que a definição de “risco catastrófico” pode ser subjetiva e variar conforme o contexto. A escolha de um limiar de US$ 1 bilhão, por exemplo, pode não refletir adequadamente danos não financeiros, como impactos sociais ou ambientais.
Outros críticos argumentam que concentrar o poder de bloqueio em um único órgão federal pode criar um gargalo burocrático, atrasando respostas rápidas em situações emergenciais. Eles sugerem a criação de um conselho multissetorial que inclua representantes da indústria, academia e sociedade civil.
Por fim, a saída recente de Jacob Coxon, desenvolvedor da Anthropic, trouxe à tona preocupações sobre a corrida pela superinteligência. Coxon alertou que a busca por modelos cada vez mais poderosos pode ultrapassar limites de segurança, colocando em risco a própria vida humana.
Apesar das controvérsias, a proposta da Anthropic representa um esforço significativo para equilibrar inovação tecnológica e proteção pública. O debate continuará nos próximos meses, à medida que legisladores, especialistas e a comunidade de IA avaliem a viabilidade e os potenciais impactos da medida.
