#Исследования
Подборка материалов по теме «Исследования»: релизы, исследования, бенчмарки, опенсорс.
Физический трансформер на одних транзисторах обучили in-context learning в симуляции
Исследователи собрали в симуляции аналоговый трансформер из MOSFET и обучили его in-context learning: внимание работает на экспоненте тока, оптимизатор Lion…
Теория доказала: masked diffusion на трансформерах учится на Õ(LK/ε) примеров
Новая работа на arXiv даёт сквозные гарантии для masked diffusion моделей: выборка растёт как Õ(L·K_par/ε), а не как экспоненциальное V^L по длине…
SAZO ускоряет дообучение LLM без backprop: до 6× меньше запросов до того же loss
Новый zeroth-order метод SAZO учится отличать важные обучающие примеры от пустых и достигает того же loss при числе запросов до 6 раз меньшем, чем MeZO.
Kairos: байтовая модель для всех модальностей сошлась на 440 байтах
Открытые LLM объясняют сатиру дешевле frontier-моделей, но австралийскую хуже американской
COFFEQA прибавляет к few-shot дистилляции на TriviaQA 8,77 EM за счёт контрфактов
MADS учит диалоговых агентов не ломаться: 1095 диалогов, 66% с «плохими» сценариями
U4RASD заняла 1-е место в KnowledgeGraphEval-2026: 94,06 micro-F1 на арабском
Ансамбль из Yehia, Qwen3.5 и энкодера с типизированными маркерами выиграл арабский subtask по извлечению отношений: micro-F1 94,06 на 40 типах связей.
Метод AXLE перед разметкой хейтспича будит опыт аннотаторов: 104 человека, 1040 оценок
Новый этап предразметки AXLE просит аннотатора рассказать о личном опыте до оценки токсичных текстов. В тесте на 104 людях согласие упало, а разброс меток вырос.
GeopoliticalQA: bge-m3 обошёл коммерческие эмбеддинги на 5 525 вопросах по отчётам
Qwen сам выбирает, что помнить: replay от замороженной модели снижает забывание
CLUE строит онтологию событий без экспертов за три шага: эмбеддинг, кластеры, имена
AutoIndexer учит языковую модель править собственный вывод тремя типами правок
RGR защищает LLM от потери навыков при самодистилляции через геометрию представлений
Метод RGR следит за геометрией скрытых представлений и снижает деградацию навыков при on-policy самодистилляции LLM. Код уже на GitHub, метод совместим с…
Учёные вывели формулу креативности из 3 критериев и проверили на шахматах и Пикассо
Авторы статьи на arXiv предлагают формально определить креативность через новизну, ценность и неожиданность и проверяют формулу на шахматных ходах и картинах.