Как тестировать LLM: тест пеликана Саймона Уиллисона

Саймон Уиллисон предложил оригинальный способ тестировать LLM: попросить нейросеть нарисовать SVG-пеликана на велосипеде.

Почему тест пеликана показывает реальные возможности LLM?

Потому что SVG требует структурированного кода, а пеликан на велосипеде — сложный составной образ. Это выявляет способность нейросети не просто предсказывать токены, но строить и воплощать идеи в код.

Как использовать тест Уиллисона для оценки нейросети?

Попросите LLM нарисовать SVG-пеликана на велосипеде. По результатам видно, насколько хорошо модель понимает сложные составные образы — такой тест информативнее многих серьёзных бенчмарков.