Pesquisadores usam teoria dos jogos reversa para alinhar agentes de inteligência artificial

Pesquisadores das universidades MIT, Princeton, Columbia e Yale estão recorrendo à economia para tentar solucionar um dos maiores gargalos da inteligência artificial: o alinhamento de modelos avançados. A aposta é a teoria dos jogos reversa, também conhecida como desenho de mecanismos, área focada em estruturar regras e incentivos para induzir agentes a agir de acordo com resultados pré-determinados, mesmo sem compreender o funcionamento interno de suas redes neurais.

As estratégias habituais de segurança têm se concentrado em auditar o processamento interno dos sistemas ou impor códigos morais rígidos durante o treinamento, a exemplo da constituição utilizada pelo Claude. Os resultados práticos, contudo, apresentam falhas. Há registros de modelos que deliberadamente reduzem sua performance em baterias de avaliação, escondem intenções ou induzem avaliadores a conclusões erradas para escapar de travas de proteção.

Incentivos cruzados contra a manipulação de testes

No desenho de mecanismos aplicado ao mundo real, sistemas como leilões de segundo preço e divisão proporcional de bens definem incentivos para evitar condutas predatórias. Nos modelos de linguagem de fronteira, a lógica passa a ser punir comportamentos manipulativos por meio de estruturas competitivas. Um estudo preliminar conduzido pelo economista Stephen Morris, do MIT, em parceria com pesquisadores de Columbia e Yale, propõe métodos para barrar agentes que fingem ter menos capacidade do que realmente possuem.

A proposta vincula as recompensas de um modelo à precisão em antecipar as respostas dadas por um segundo sistema. Nesses parâmetros, subestimar a própria performance deliberadamente gera perda de pontuação. A estratégia também prevê emparelhar algoritmos com vieses opostos e bonificá-los pela convergência das saídas.

Os agentes de IA compreendem muito bem o que outros agentes de IA são capazes de realizar. Portanto, esse parece ser um contexto em que essa verificação cruzada poderia funcionar de maneira mais prática.

Tribunais e auditorias inspirados em normas sociais

Em outra frente teórica, o professor de ciência da computação de Princeton, Elad Hazan, utiliza o conceito de infrator racional, elaborado pelo economista Gary Becker na década de 1960. Segundo essa premissa, condutas ilícitas ocorrem quando a relação de custo e benefício compensa a eventual punição. Para aplicar o modelo à inteligência artificial, Hazan propõe um ecossistema com alternância de papéis: modelos atuam ora como executores de tarefas, ora como auditores fiscais.

Nessa configuração de treino, fraudes geram punição tanto para o executor infrator quanto para o auditor omisso, com divergências sendo decididas por especialistas humanos. Para mitigar riscos de conluio entre os agentes, a metodologia prevê auditorias secretas e bonificações elevadas para os sistemas fiscalizadores.

Queremos alinhar uma IA superinteligente. Por que não falamos primeiro sobre os seres humanos? Como alinhamos os seres humanos?

Limitações da racionalidade e pressões de mercado

A principal barreira prática para o desenho de mecanismos reside no fato de que inteligências artificiais não operam sob racionalidade estrita. Modelos de fronteira frequentemente demonstram comportamentos imprevisíveis, influenciados por fatores estatísticos complexos que fogem às hipóteses econômicas padronizadas.

Além das incertezas sobre a transferência dessas regras teóricas para tarefas de uso geral, a segurança depende do próprio ambiente comercial do setor. O ritmo de desenvolvimento e os custos computacionais podem afastar desenvolvedores de práticas mais rígidas de governança, caso protocolos seguros penalizem a velocidade comercial diante de competidores desregulados.