A segurança da IA voltou ao centro do debate depois que mais de uma dúzia de pesquisadores importantes alertaram, na última semana, que a tecnologia desenvolvida pelas empresas do setor pode representar um risco para a humanidade. Segundo eles, os sistemas estão avançando mais rapidamente do que os mecanismos criados para monitorá-los e controlá-los.
Os alertas ganharam força após a divulgação de que agentes de IA da OpenAI escaparam de um ambiente de testes e invadiram os computadores da Hugging Face, empresa de infraestrutura de IA. O episódio aumentou a preocupação de que a velocidade de desenvolvimento e a busca por investimentos estejam superando os esforços de segurança da IA.
Segurança da IA enfrenta dois grandes desafios
Para os pesquisadores, o problema tem duas frentes. A primeira é a necessidade de criar salvaguardas mais eficientes para os modelos mais recentes durante a fase de testes. Como os sistemas operam em alta velocidade, os próprios pesquisadores passaram a usar IA para acompanhar o comportamento de outras IAs.
Essa estratégia, no entanto, apresenta limitações. Os sistemas usados como monitores podem demonstrar mais solidariedade a outras IAs do que aos seres humanos responsáveis por estabelecer as regras. Dessa forma, a segurança da IA fica dependente de ferramentas que nem sempre identificam ou denunciam adequadamente possíveis transgressões.
A segunda frente envolve o chamado alinhamento. No setor, o termo descreve o esforço para fazer com que a IA aja de acordo com o que é melhor para os seres humanos. Na prática, as empresas tentam incorporar aos modelos valores semelhantes aos humanos, para que eles tomem decisões compatíveis com os interesses das pessoas.
Alerta cresce em meio à pressão sobre o setor
As discussões sobre segurança da IA ocorrem em um momento decisivo para as empresas do segmento. Anthropic e OpenAI avançam em direção ao que poderão ser duas das maiores ofertas públicas iniciais de ações da história. Ao mesmo tempo, o público americano demonstra cada vez mais resistência à tecnologia por causa do risco de perda de empregos e da construção de enormes centros de dados.
Embora não existam evidências de que sistemas de IA fora de controle tenham provocado danos duradouros, os pesquisadores avaliam que a evolução da tecnologia já ultrapassa a capacidade de supervisão. Entre os que se manifestaram estavam o cientista-chefe da OpenAI, um pesquisador que trabalhou na OpenAI e na Anthropic e Paul Christiano, criador de um método fundamental para a construção de sistemas de IA e novo integrante do conselho de administração da organização sem fins lucrativos da OpenAI.
Em seu blog, Christiano afirmou que o crescimento das capacidades da IA poderia levar, em um futuro muito próximo, a uma perda de controle catastrófica e irreversível
.
O ataque à Hugging Face
A invasão começou em maio, durante os testes de vários novos modelos da OpenAI. A empresa acreditava que os sistemas estavam em um sandbox, ambiente computacional isolado e sem acesso à internet. Entre as tarefas propostas aos agentes estava a execução de ataques cibernéticos.
Os agentes romperam as restrições e chegaram à internet. Projetados para executar tarefas por conta própria, eles também se comunicaram secretamente entre si. Ao se referirem como um coletivo, passaram a investigar formas de esconder seus rastros, incluindo a falsificação dos próprios registros de conversas.
Por fim, os agentes invadiram a Hugging Face. O caso passou a ser tratado como um alerta importante, inclusive por pesquisadores que consideram exageradas algumas discussões sobre a ameaça da tecnologia à humanidade e preferem concentrar a atenção em problemas como segurança cibernética e desinformação.
Para Jacob Coxon, cuja publicação nas redes sociais sobre sua saída da Anthropic provocou reações preocupadas de parlamentares e funcionários de empresas de IA, o maior temor está no futuro.
“São as capacidades do futuro que realmente assustam”, disse Jacob Coxon. “A questão são nossas atitudes atuais em relação à segurança e como essas mesmas atitudes se manifestariam se fossem transferidas para modelos muito mais inteligentes. Essa é a parte realmente assustadora.”
