Como testar um LLM: o teste do pelicano de Simon Willison

Simon Willison propôs uma forma original de testar LLMs: pedir à rede neural que desenhe em SVG um pelicano andando de bicicleta.

Por que o teste do pelicano mostra as capacidades reais de um LLM?

Porque o SVG exige código estruturado, e um pelicano de bicicleta é uma imagem composta e complexa. O teste mostra se o modelo faz mais do que prever tokens: ele precisa construir uma ideia e transformá-la em código.

Como usar o teste de Willison para avaliar uma rede neural?

Peça ao LLM que desenhe em SVG um pelicano andando de bicicleta. O resultado mostra o quanto o modelo entende imagens compostas complexas, o que torna esse teste mais informativo do que muitos benchmarks sérios.