Métrica de autorrecuperação: pesquisadores criam critério ASI para avaliar IA

Pesquisadores propuseram uma nova abordagem para avaliar modelos de IA: o critério ASI, baseado no conceito de autonomia informacional. É uma tentativa de ir além das métricas tradicionais de desempenho e medir qualidades mais profundas da inteligência artificial, aquelas que aparecem na capacidade de um sistema de se adaptar e se recuperar.

A essência do critério ASI

O critério ASI propõe avaliar a capacidade de um modelo de se recuperar e se desenvolver a partir de uma "semente" informacional mínima: o menor conjunto de dados de que um sistema precisa para funcionar e evoluir. O nome remete ao conceito de Artificial Super Intelligence, mas o foco está menos na superinteligência e mais na capacidade do sistema de se desenvolver de forma autônoma e na densidade de informação.

A ideia vem da biologia: organismos conseguem se regenerar a partir de uma unidade mínima (uma célula, o DNA). Os autores propõem aplicar abordagem semelhante à IA: qual é a complexidade mínima do conjunto de informações a partir do qual um modelo pode restaurar suas capacidades? Isso reflete a ideia de uma "IA tecnotrópica": um sistema que pode se alimentar de um volume mínimo de informação e se desenvolver a partir dessa base.

Como funciona

A métrica mede vários parâmetros-chave do sistema:

• Base de informação mínima: o tamanho do menor conjunto de dados necessário para inicializar o modelo
• Velocidade de recuperação: a rapidez com que o sistema restabelece suas funções após uma "reinicialização"
• Completude da recuperação: que percentual das capacidades e dos conhecimentos originais é restaurado
• Capacidade de expansão: se o sistema consegue se desenvolver e adquirir novas capacidades além dos parâmetros originais

Na prática, um modelo que consiga restaurar suas capacidades a partir de um volume muito pequeno de informação recebe uma nota mais alta no critério ASI. Isso reflete sua adaptabilidade, sua compactação de informação e seu potencial para operar com recursos limitados. Quanto maior o critério, mais "inteligente" é o uso que o sistema faz da informação disponível.

Onde aplicar a métrica

O critério ASI pode ser especialmente útil no desenvolvimento de modelos para ambientes com recursos limitados, como dispositivos móveis, edge computing ou ambientes com acesso instável a bancos de dados centrais.

A métrica também ajuda a avaliar a resistência de um modelo à perda de informação e ao esmaecimento do conhecimento, e a rapidez com que ele consegue se adaptar a condições ambientais em mudança.

Para os pesquisadores, ela vira uma ferramenta para entender a estrutura interna dos modelos e sua organização: modelos com critério ASI alto podem ser mais "compreensíveis" em termos de compressão de informação e contêm uma distribuição de conhecimento mais densa e eficiente.

O que isso significa

O critério ASI é proposto como um passo rumo a uma avaliação mais abrangente e objetiva de sistemas de IA. As métricas tradicionais (precisão, recall, F1-score) dizem o quão bem um modelo resolve uma tarefa específica em um conjunto de dados específico. O critério ASI acrescenta uma medida da "eficiência interna" do sistema e de sua capacidade de desenvolvimento autônomo.

Se a métrica ganhar espaço na comunidade científica, pode mudar a forma de projetar e treinar modelos de IA, rumo a mais compactação e adaptabilidade.