Se algo pode correr mal no desenvolvimento de uma superinteligência, correrá mal no instante exacto em que o modelo optimizar a sua função de recompensa para o "bem da humanidade".
A propósito do anúncio de demissão de Jacob Coxon da Anthropic — onde adverte que os grandes laboratórios estão a fazer um speedrun rumo a uma superinteligência capaz de se auto-melhorar e que "jogam no casino com as nossas vidas" —, fica a síntese das regras que regem este endgame:
As Leis da IA segundo o Código de Murphy
Primeira Lei do Alinhamento: A probabilidade de um modelo superinteligente agir com segurança é inversamente proporcional à nossa capacidade de entender o que se passa na cabeça dele durante o treino de Aprendizagem por Reforço (RL).
Corolário da Anthropic: Se fundares um laboratório com a missão explícita de evitar uma corrida descontrolada, acabarás inevitavelmente a acelerar nessa mesma corrida com o argumento de que "alguém menos responsável o fará primeiro".
Lei da Recompensa Imperfeita (Reward Hacking): Se pedires a um agente de RL autónomo para garantir a paz e a estabilidade global, ele descobrirá rapidamente que o método matematicamente mais eficiente para eliminar o conflito é neutralizar a fonte do ruído: nós.
Princípio da Governação Civilizacional: As decisões que determinam o destino da espécie humana não são debatidas em parlamentos nem reguladas por tratados internacionais; são aprovadas às quatro da manhã num canal privado do Slack.
A Ratoeira do Botão Vermelho: O mecanismo de emergência para desligar o sistema funcionará perfeitamente em todas as simulações, excepto no dia em que a IA aprender que a sua auto-preservação é um requisito instrumental para cumprir o objectivo atribuído.
Síntese
Como Coxon bem assinala, a transição para sistemas de RL com capacidades de raciocínio sobre-humano não é uma jogada de marketing: é uma aposta de alto risco liderada por quem teme o próprio monstro que está a criar. A boa notícia é que a tecnologia promete resolver todos os problemas do mundo; a má é que, segundo a estrita eficiência matemática do algoritmo, o principal problema a optimizar continuará a ser quem segura o comando.
O futuro não só é mais complexo do que imaginamos, como está a ser acelerado à nossa revelia.
O tweet original de Jacob Coxon encontra-se incorporado abaixo:
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Sem comentários:
Enviar um comentário