Métrica de autorrecuperação: pesquisadores criaram um critério ASI para avaliar AI
Uma nova ideia foi publicada no Habr: o critério ASI para uma avaliação mais profunda de modelos de AI. A métrica se baseia na capacidade de um sistema de se re

Pesquisadores propuseram uma nova abordagem para avaliar modelos de IA — o critério ASI, baseado no conceito de autonomia informacional. Esta é uma tentativa de ir além das métricas tradicionais de desempenho e medir qualidades mais profundas da inteligência artificial que se manifestam na capacidade do sistema se adaptar e se recuperar.
A Essência do Critério ASI
O critério ASI propõe avaliar a capacidade de um modelo se recuperar e se desenvolver a partir de uma "semente" informacional mínima — o menor conjunto de dados necessário para que o sistema funcione e evolua. O nome faz alusão ao conceito de Inteligência Artificial Super, mas refere-se menos à superinteligência quanto à capacidade do sistema para desenvolvimento autônomo e densidade informacional. A ideia é emprestada da biologia: organismos podem se recuperar de uma unidade mínima (uma célula, DNA).
Os autores propõem aplicar uma abordagem semelhante à avaliação de IA — qual é a complexidade mínima de um conjunto de informações do qual um modelo pode restaurar suas capacidades? Isso reflete a ideia de "IA tecnotrópica" — um sistema que pode se sustentar com uma quantidade mínima de informação e se desenvolver a partir dessa base.
Como Funciona
A métrica mede vários parâmetros-chave do sistema:
- Base de informações mínima — o tamanho do conjunto de dados mínimo para inicialização do modelo
- Velocidade de recuperação — com que rapidez o sistema restaurará suas funções após "reinicialização"
- Completude da recuperação — que porcentagem das capacidades e conhecimentos iniciais será restaurada
- Capacidade de expansão — o sistema pode se desenvolver e adquirir novas capacidades além dos parâmetros originais
Na prática, isso significa que um modelo capaz de restaurar suas habilidades a partir de uma quantidade muito pequena de informação receberá uma pontuação mais alta no critério ASI. Isso reflete sua adaptabilidade, compactação informacional e potencial para operação sob condições de recursos limitados. Quanto maior o critério, mais "inteligentemente" o sistema usa a informação disponível.
Onde Aplicar a Métrica
O critério ASI pode ser particularmente útil ao desenvolver modelos para operação sob condições de recursos limitados — por exemplo, em dispositivos móveis, em computação de borda ou em ambientes com acesso instável a bancos de dados centrais. A métrica também ajuda a avaliar como um modelo é resiliente à perda de informação, decaimento de conhecimento e com que rapidez pode se adaptar a mudanças nas condições ambientais. Para pesquisadores, isso se torna uma ferramenta para entender a estrutura interna dos modelos e sua organização: modelos com critério ASI alto podem ser mais "interpretáveis" em termos de compressão de informação e conter distribuição de conhecimento mais densa e eficiente.
O Que Isso Significa
O critério ASI é proposto como um passo em direção a uma avaliação mais abrangente e objetiva de sistemas de IA. Métricas tradicionais (acurácia, recall, F1-score) nos dizem com que eficiência um modelo resolve uma tarefa específica em um conjunto de dados específico. O critério ASI adiciona uma medição da "eficiência interna" do sistema e sua capacidade para desenvolvimento independente. Se a métrica ganhar aceitação na comunidade científica, isso poderia mudar a abordagem para projetar e treinar modelos de IA na direção de maior compactação e adaptabilidade.