Geoffrey Hinton pede que modelos de inteligência artificial sejam avaliados antes de serem disponibilizados, sob os olhos de uma autoridade independente. Resumido na imprensa libanesa de 10 de novembro, seu discurso levanta uma questão concreta: quem decide que um modelo pode ser disseminado, sobre que evidências e com que monitoramento então? Os controlos de IA já existem de várias formas, sem constituir o sistema internacional que exige.
O pesquisador expressa essa posição em entrevista à imprensa britânica publicada em 3 de novembro. Ele critica a corrida comercial entre grandes empresas de tecnologia e os medos de incidentes críticos de infraestrutura. No entanto, mantém a esperança de benefícios significativos. Seu discurso defende um quadro para o desenvolvimento, em vez de uma renúncia geral à tecnologia.
No relatório publicado no Líbano, Hinton propõe uma autoridade internacional inspirada no controle de drogas. As empresas devem fornecer elementos de prova para comparar os benefícios esperados e os eventuais danos antes da comercialização. Esta é uma proposta do pesquisador, não o anúncio de uma instituição já criada.
Controles de IA: o que deve ser testado antes do acesso?
Uma demonstração bem sucedida do que um modelo pode realizar em uma determinada situação. Uma avaliação da segurança procura também as suas falhas, a sua utilização abusiva e as condições em que as suas protecções deixam de funcionar. Esses objetivos requerem diferentes testes.
O quadro de gestão de riscos do Instituto Nacional de Normas e Tecnologia dos EUA, AI RMF 1.0, inclui testes de pré-implantação e uso regular. Organiza o trabalho em torno da governança, identificação de risco, medição e gestão. Este quadro é uma ferramenta de gestão, não uma autorização de introdução no mercado internacional.
Sua lógica requer esclarecimento do contexto. Um erro num projecto de texto e uma acção errada num sistema operacional não têm as mesmas consequências. A questão, portanto, vai além da pontuação obtida por um modelo em um exercício: foca também nas pessoas expostas, nas ferramentas disponíveis e nas decisões que o sistema pode tomar.
Em termos concretos, um ensaio útil deve ser utilizado para determinar qual versão foi examinada e em que condições. Um modelo limitado à produção de texto não tem as mesmas possibilidades que um agente de software. O perímetro de acesso é, portanto, parte do problema de Hinton.
Ataques Simulados para Procurar Falhas
O Regulamento Europeu de Inteligência Artificial prevê uma série de obrigações para os fornecedores de modelos de finalidade geral com risco sistémico. O artigo 55 exige avaliações utilizando protocolos e ferramentas correspondentes ao estado da arte. Menciona explicitamente testes contraditórios, que buscam colocar o modelo em default.
O texto exige igualmente a avaliação e redução dos riscos sistémicos, a documentação e a comunicação de incidentes graves sem demora injustificada. A cibersegurança deve abranger o modelo e a sua infra-estrutura física. Estes requisitos dizem respeito a uma categoria específica de modelos: não significam que qualquer pedido tenha um certificado de segurança idêntico.
A abordagem europeia dá assim uma tradução concreta para vários temas do debate. O fornecedor deve apresentar informações sobre riscos e medidas corretivas. A avaliação não é apenas uma avaliação pública da natureza impressionante de um sistema.
O Código de Prática Europeu complementa este regime. Publicado em Julho de 2025, é apresentado pela Comissão como uma forma voluntária de demonstrar o cumprimento das obrigações legais. Seus capítulos abrangem transparência, direitos autorais, segurança e segurança. Este último diz respeito aos modelos abrangidos pelas obrigações de risco sistémico.
Independência não é apenas em nome do controlador
A proposta de Hinton coloca uma autoridade separada dos fabricantes no centro da decisão. Seu interesse reside no possível conflito entre a velocidade do marketing e o tempo necessário para testes. Uma empresa pode conhecer melhor o seu modelo do que qualquer outra pessoa, tendo um interesse económico em transmiti-lo rapidamente.
Para que o controle externo forneça informações adicionais, várias questões precisam ser resolvidas: que versão os avaliadores acessam? Que resultados podem examinar? Podem replicar os testes? Quem decide o que acontece a seguir quando aparece um grande fracasso? Estas questões descrevem as condições práticas de um exame, sem presumir uma resposta para uma determinada empresa.
Uma comparação com drogas também tem um limite óbvio. Um modelo geral pode ser utilizado para tarefas muito diferentes e receber novas ferramentas após a divulgação. Por conseguinte, o seu processo de avaliação deve especificar as utilizações e condições examinadas. Uma apreciação favorável num determinado perímetro não satisfaz todas as utilizações possíveis.
A crítica pessoal de Hinton a alguns líderes faz parte de seu julgamento. Não substituem os resultados dos ensaios nem as provas de má conduta. O debate sobre a responsabilidade torna-se mais preciso quando se trata de decisões documentadas, acesso e incidentes.
Após o lançamento, manter a capacidade de agir
O Guia Prático NIST requer o monitoramento de riscos e benefícios ao longo da vida do sistema. Planeia analisar se a implantação deve continuar e adaptar as respostas aos riscos observados. Os controlos podem incluir acesso, limites de utilização, documentação e organização do trabalho humano em torno do sistema.
Essa continuidade responde a uma dificuldade concreta: os usos reais podem revelar problemas ausentes dos ensaios iniciais. Uma atualização, uma mudança na integração ou uma nova população de usuários muda o contexto. O controlo deve poder ligar um incidente à versão utilizada e às condições do seu funcionamento.
A responsabilidade operacional começa então com decisões identificáveis. Quem pode limitar uma função? Quem recebe os alertas? Quem verifica a eficácia de uma correcção? Um relatório de avaliação perde alguma da sua utilidade se ninguém é responsável por agir sobre os seus resultados.
Hinton refere-se a possíveis perturbações das redes de electricidade, serviços bancários ou sistemas de saúde. Esses cenários expressam a sua preocupação; Não constituem o anúncio de novos ataques contra estas infra-estruturas. No entanto, seu apelo move o debate para uma exigência verificável: documentar capacidades e riscos antes de abrir, e depois manter os meios para corrigir, restringir ou parar o uso problemático.
Comentários