Artificial Analysis
Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.
Последние публикации
Artificial Analysis запустила AA-PersonalityBench: 36 моделей, 30 черт, 900 вопросов
Новый бенчмарк меряет не правильность ответов, а манеру общения LLM: 30 черт, 8 индексов и 21 метрика оформления. В тесте 36 моделей, от Claude до GPT-6.
Artificial Analysis запустил HealthBench: GPT-6 Astra лидирует с 66,0%
Artificial Analysis запустил лидерборды HealthBench и HealthBench Professional. GPT-6 Astra набрал 66,0% у клиницистов, а Claude Sonnet 5.5 лидирует на массовом тесте с 62,1%.
Reflection выпустила Beam: 501B параметров и 30 баллов в Intelligence Index
Первая модель Reflection стала второй среди американских open weights: 30 баллов в Artificial Analysis Intelligence Index при вдвое меньшем расходе токенов, чем у K2 Horizon.
NVIDIA RTX Spark N1X прогнал локального агента на Qwen3.8 27B за 18,7 минуты
Ноутбук Surface Laptop Ultra на чипе N1X со 128 ГБ памяти выполнил агентную нагрузку AA-AgentPerf-Local за 18,7 минуты. Это вдвое быстрее MacBook Pro с M5 Pro.
Vera Rubin NVL72 обошёл GB300 по токенам на мегаватт до 5,7 раза в AA-AgentPerf
Artificial Analysis опубликовала первые результаты Vera Rubin NVL72 в бенчмарке агентного кодинга: до 5,7x по throughput на мегаватт против GB300 и рекорд 906 ток/с на пользователя.
NVIDIA выпустила Nemotron 3.5 Super: 26 баллов AA и 630 токенов/с
Nemotron 3.5 Super VL вдвое улучшил результат предшественника на Intelligence Index и стал лучшей американской open-weight моделью. Рядом вышла компактная Bolt 74B-A9B.
AA-Robotics v0.1: GPT-6 Astra управляет роботом-рукой на 69 баллов из 100
Artificial Analysis запустила бенчмарк AA-Robotics v0.1: LLM управляют 6-осевой рукой. Лидер GPT-6 Astra набрал 69,4 балла, но тратит 30 минут и $16,36 на задачу.
Artificial Analysis запустила Decision Index: Jev 1.13 лидирует с 58 баллами
Artificial Analysis ввела бенчмарк для decision-моделей, которые выбирают ответ за один вызов. Jev 1.13 набрал 58 баллов за $42 на миллион задач и опередил GLiDE и Microsoft.
Meta выпустила Muse Wonder и Wonder Full: индекс интеллекта вырос с 48 до 56
Muse Wonder и Muse Wonder Full набрали 52 и 56 баллов в Artificial Analysis Intelligence Index против 48 у Muse Spark 1.3. Агентные тесты выросли сильнее всего, цена тоже.
Artificial Analysis запустила AA-3D: Claude Sonnet 5.5 лидирует с 1194 Elo
Новый бенчмарк просит агентов собрать интерактивную 3D-сцену на three.js. Первое место у Claude Sonnet 5.5 (1194 Elo), но топ-4 статистически неразличимы.
FrontierCode: лучшие ИИ-модели не проходят ревью мейнтейнеров в 42% попыток
Cognition и Artificial Analysis запустили бенчмарк FrontierCode 1.1: Claude Opus 5.5 лидирует с 52% и 58% проходных попыток, но стоит $10,15 за задачу. GPT-6.1 Sol даёт 49% за $0,81.
GPT-6 Sol Daybreak Blue возглавил Cyber Index: +32 балла и $1,77 за задачу
Artificial Analysis добавила в Cyber Index модели с ослабленными ограничениями. Закрытая GPT-6 Sol Daybreak Blue вышла в лидеры, прибавив 32 пункта к публичной версии.
Harvey LAB-AA v1.1: Grok 4.7 лидирует с 9,4% после проверки на галлюцинации
Artificial Analysis и Harvey добавили в юридический бенчмарк проверку галлюцинаций: Grok 4.7 набрал 9,4%, а у Muse Spark 1.3 две трети успешных задач оказались с ошибками.
Anthropic выпустила Claude Haiku 5.5: 43 балла в индексе AA и цена $0.10 за миллион
Claude Haiku 5.5 набрал 43 балла в Artificial Analysis Intelligence Index, подешевел до $0.10/$0.50 за миллион токенов и получил контекст 1 млн, но тратит втрое больше токенов, чем GPT-6 Luna.