TAPe leva a classificação a 77% e se compara ao YOLO em um subconjunto pequeno do COCO

A oitava entrada do diário do TAPe não trata de uma única função, e sim da montagem de um esquema de detecção quase completo: os autores melhoraram a segmentação, levaram a classificação a 77% e verificaram o que acontece ao comparar a abordagem com o YOLO em um subconjunto pequeno do COCO. A conclusão provisória deles é otimista: o modelo já começa a funcionar em um cenário em que os detectores clássicos costumam precisar de bem mais dados.

Segmentação pela borda

A principal atualização desta etapa é a segmentação por patches contrastantes na borda real do objeto, e não por uma caixa nominal ao redor dele. A ideia é dividir a imagem em segmentos mais naturais e depois montar o objeto a partir deles, em vez de tentar adivinhar logo de cara um bounding box a partir de pixels brutos. Segundo os autores, isso melhorou rapidamente a união de patches e permitiu formar segmentos mais adequados para cada objeto da imagem.

Em paralelo, a equipe testou outras soluções de arquitetura: cabeças adicionais, outras formas de escolher segmentos semelhantes e variantes de agregação mais complexas. Mas essas abordagens não trouxeram o efeito esperado. O motivo, como descrevem os autores, é que esses esquemas tentavam adaptar os dados do TAPe a uma arquitetura conhecida, em vez de usá-los como são. Na prática, funcionou melhor um caminho mais direto: apoiar-se na estrutura das próprias representações do TAPe e melhorar as ligações entre patches.

Classificação sem learning rate

O problema seguinte foi mais prosaico: parte dos patches às vezes não caía no segmento certo. Se um ou vários fragmentos da imagem não estão associados a um objeto, fica difícil classificá-los corretamente, porque falta ao modelo a resposta para a pergunta de a que exatamente aquele pedaço pertence.

Para aproximar o treino do comportamento real do modelo, os autores passaram a simular, durante o treinamento, o crescimento passo a passo de um segmento a partir de um único patch, ou seja, a repetir a mesma lógica usada na inferência. Isso ajudou a encontrar as ligações corretas entre patches, mas não eliminou todas as limitações. O problema restante são as regiões "que não crescem", quando o segmento não reúne contexto suficiente e, por isso, erra na classificação. Nesses casos, o TAPe agora também verifica as áreas vizinhas e suaviza o contexto.

Separadamente, os autores descrevem outro objetivo importante de engenharia: eliminar de forma consistente os hiperparâmetros que podem quebrar o comportamento do sistema. Um deles foi o learning rate, abandonado nesta versão junto com a descida do gradiente.

• A segmentação agora é feita por patches contrastantes na borda do objeto
• A classificação subiu para 77%
• Abandonar o learning rate trouxe cerca de 3% de precisão
• Os pontos mais fracos por enquanto são segmentos pequenos e falta de contexto
• O próximo objetivo da equipe é chegar a pelo menos 80% de classificação

Os autores também citam uma referência do mercado: em publicações sobre o DETR aparece uma precisão de classificação de cerca de 79%, embora não esteja totalmente claro se os erros da própria detecção estão incluídos. Para o TAPe, essa ainda não é a linha de chegada, e sim a meta mais próxima. Os testes completos em todo o COCO ainda virão, porque levam muito tempo, mas já dá para ver que a arquitetura ficou mais estável e melhor conectada às tarefas de self-supervised learning.

Primeiros testes com o YOLO

A parte mais chamativa da entrada é o primeiro benchmark direto contra o YOLO. No experimento, os autores pegaram um pequeno recorte do COCO com 5 mil imagens e o dividiram em 70/30: 3500 quadros para treino e 1500 para teste. Para os detectores padrão, esse volume se mostrou criticamente pequeno. A equipe do TAPe afirma que, nesse conjunto, o YOLO praticamente não converge, e o nível de detecção fica em torno de 1%.

"O YOLO não converge de jeito nenhum no dataset que usamos para os testes".

Esta ainda não é a comparação final em mAP50, mAP50-95, velocidade e número de parâmetros; os autores ainda preparam um post separado com benchmarks completos contra o YOLO e o RF-DETR. Mesmo assim, esse resultado inicial importa porque mostra a tese central do projeto: o TAPe busca ser não apenas mais um modelo de detecção, mas uma arquitetura capaz de trabalhar com dezenas de imagens por classe onde as abordagens mais conhecidas precisam de centenas de milhares de exemplos e de uma base pré-treinada bem mais pesada.

O que isso significa

Se o TAPe de fato confirmar seus resultados com o conjunto completo de métricas, será um argumento forte a favor de uma visão computacional que prioriza a estrutura dos dados, e não só a escala. Para equipes com datasets pequenos, isso é especialmente importante: o custo de entrada para uma detecção de qualidade pode cair de forma considerável.