Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуTG: @sergiobulaev (Сергей Булаев AI)→ оригинал

Гарри Тан удалил скилл /investigate: 50,0% против 47,2% успеха, фикс дороже на 43%

Скилл — это инструкция для Claude Code, например пошаговый разбор бага. Гарри Тан удалил из gstack такой скилл /investigate: на 18 багах по 20 попыток со скиллом починили 50,0%, без него 47,2%. Разница 2,8 пункта при пороге 10 — это шум, а каждый удачный фикс со скиллом стоил на 43% дороже. После выхода новой модели проверяйте свои скиллы так же.

AI-обработка оригинала TG: @sergiobulaev (Сергей Булаев AI); редакция Hamidun News
Гарри Тан удалил скилл /investigate: 50,0% против 47,2% успеха, фикс дороже на 43%
Источник: TG: @sergiobulaev (Сергей Булаев AI). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @sergiobulaev (Сергей Булаев AI) ↗
Главный редактор
Ключевой факт #1Порог в 10 пунктов записали до запуска, чтобы не подгонять вывод
Всего 360 запусков на ветку18 багов по 20 попыток
Ключевой факт #3/write-skill пускает в скилл только то, чего модель сама не делает

Скилл для кодинг-агента — это готовая инструкция, которую вы подключаете к Claude Code, чтобы он действовал по вашей схеме. Например, «чиня баг, сначала найди причину, потом пиши фикс». Проблема в том, что модели умнеют, и инструкция, которая вчера помогала, сегодня может только раздувать запрос и тратить деньги. Гарри Тан проверил это на собственном репозитории gstack и удалил из него скилл /investigate: со скиллом модель чинила 50,0% багов, без него 47,2%, а каждый удачный фикс со скиллом обходился на 43% дороже. Если вы держите в проекте набор промптов, правил или скиллов для агента, этот способ проверки поможет понять, какие из них пора выкинуть.

Что случилось с /investigate

gstack — репозиторий скиллов для Claude Code: у него около 140 тысяч звёзд и больше 50 скиллов. Один из них, /investigate, вёл модель через пошаговый разбор бага. Раньше это помогало. Теперь, по словам автора, Opus 5.5 чинит баги и без этого сценария с тем же успехом. Каждая новая модель умеет больше предыдущей, а старые скиллы начинают мешать и стоить денег.

Фразу «скилл не нужен» команда не оставила на уровне ощущений, а измерила. Со скиллом доля успешных исправлений составила 50,0%, без него 47,2%. Разрыв 2,8 процентного пункта при заранее заданном пороге в 10 пунктов — это шум, а не реальное преимущество. Вдобавок каждый удачный фикс со скиллом стоил на 43% дороже. Скилл не лучше и дороже, поэтому его вырезали.

Теперь баги чинятся напрямую по короткой схеме: одна проверка причины, при неясности падающий тест до правки, затем фикс и перезапуск.

Рецепт проверки, который подходит любому скиллу

Метод простой, его можно перенести в свой проект.

Первое: соберите реальные задачи, на которых модель без скилла справляется примерно в половине случаев. На слишком лёгких задачах она решает всё и так, на слишком сложных не решает ничего. В обоих случаях разницы между вариантами не видно, и тест ничего не покажет.

Второе: прогоняйте каждую задачу много раз в двух ветках, со скиллом и без. У gstack это 18 багов по 20 попыток, то есть 360 запусков на каждую ветку. Модель отвечает по-разному от раза к разу, поэтому одного прогона мало.

Третье: до запуска запишите, какой разрыв вы считаете значимым. У gstack порог 10 пунктов. Это защита от самообмана: если решать после того, как увидел цифры, любую разницу можно объявить победой.

Четвёртое: считайте две цифры сразу. Это доля удачных проходов и цена каждого удачного прохода. Скилл может чуть повысить успех, но удвоить расход токенов. Или, как здесь, не дать выигрыша вообще и всё равно добавить 43% к стоимости. Без второй цифры такой эффект легко пропустить.

Как проверку встроили в инструменты

Тот же подход команда зашила в сам gstack. Скилл /eval-plan заранее готовит такой эвал, то есть план проверки: набор задач, число прогонов и порог. А /write-skill требует добавлять в скилл только то, чего модель сама не делает. Если модель и так справляется, писать инструкцию не нужно.

Отсюда рабочий цикл. Вышла новая модель — вы прогоняете эвал ещё раз. Разрыв есть — скилл остаётся. Разрыва нет — скилл уходит. Так набор инструкций не разрастается и не превращается в балласт, за который вы платите в каждом запросе.

Что стоит учесть

Результат относится к конкретным 18 багам, конкретной модели и конкретному скиллу. На другом стеке, в другом языке или на более сложных задачах скилл может оказаться полезным. Выводы опираются на пост автора и описание pull request, независимо цифры никто не воспроизводил. Разрыв в 2,8 пункта означает «в пределах шума», а не доказательство полного отсутствия эффекта.

Практический вывод для команд, которые строят агентов: относитесь к скиллу как к гипотезе, а не как к активу. У каждого скилла должны быть тестовые задачи, порог и дата последней проверки. Тогда после каждого обновления модели вы убираете то, что она уже умеет, и экономите токены без потери качества.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что случилось с /investigate?

gstack — репозиторий скиллов для Claude Code: у него около 140 тысяч звёзд и больше 50 скиллов. Один из них, /investigate, вёл модель через пошаговый разбор бага. Раньше это помогало. Теперь, по словам автора, Opus 5.5 чинит баги и без этого сценария с тем же успехом. Каждая новая модель умеет больше предыдущей, а старые скиллы начинают мешать и стоить денег. Фразу «скилл не нужен» команда не оставила на уровне ощущений, а измерила. Со скиллом доля успешных исправлений составила 50,0%, без него 47,2%.

Что известно по теме: рецепт проверки, который подходит любому скиллу?

Метод простой, его можно перенести в свой проект. Первое: соберите реальные задачи, на которых модель без скилла справляется примерно в половине случаев. На слишком лёгких задачах она решает всё и так, на слишком сложных не решает ничего. В обоих случаях разницы между вариантами не видно, и тест ничего не покажет. Второе: прогоняйте каждую задачу много раз в двух ветках, со скиллом и без. У gstack это 18 багов по 20 попыток, то есть 360 запусков на каждую ветку.

Что известно по теме: как проверку встроили в инструменты?

Тот же подход команда зашила в сам gstack. Скилл /eval-plan заранее готовит такой эвал, то есть план проверки: набор задач, число прогонов и порог. А /write-skill требует добавлять в скилл только то, чего модель сама не делает. Если модель и так справляется, писать инструкцию не нужно. Отсюда рабочий цикл. Вышла новая модель — вы прогоняете эвал ещё раз. Разрыв есть — скилл остаётся. Разрыва нет — скилл уходит. Так набор инструкций не разрастается и не превращается в балласт, за который вы платите в каждом запросе.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…