Cómo probar un LLM: el test del pelícano de Simon Willison

Simon Willison propuso una forma original de probar los LLM: pedir a la red neuronal que dibuje en SVG un pelícano en bicicleta.

¿Por qué el test del pelícano muestra las capacidades reales de un LLM?

Porque el SVG exige código estructurado, y un pelícano en bicicleta es una imagen compuesta y compleja. La prueba revela si el modelo hace algo más que predecir tokens: tiene que construir una idea y llevarla al código.

¿Cómo usar el test de

Willison para evaluar una red neuronal? Pide al LLM que dibuje en SVG un pelícano en bicicleta. El resultado muestra hasta qué punto el modelo entiende imágenes compuestas complejas; por eso esta prueba es más informativa que muchos benchmarks serios.