Оптимизация одного лосса дала два архитектурных изменения. Поиск по девяти целям эффективности дал каталог из 32 находок и девять семейств идей: циклические трансформеры, послойные коэффициенты остатков, KV-кэш в один килобайт вместо 33 790. Тот же стенд попутно показал, что минималистичный harness не проигрывает навороченным системам.

Это результаты Auto-Research Arena, свежей работы с arXiv (2610.35866, 26 октября 2026). Авторы построили стенд, где автономные исследовательские агенты меряются сразу на девяти задачах, и главный вывод не про рейтинг систем, а про широту идей. Разные цели тянут агентов в разные части пространства решений, и то, что не награждается одной метрикой, появляется, когда метрик девять.

Что такое Auto-Research Arena

Auto-Research Arena это многоцелевой бенчмарк для автономных исследовательских систем в языковом моделировании. Он проверяет, умеет ли harness, то есть обвязка вокруг LLM, вести настоящий исследовательский цикл: предлагать изменения в код обучения, запускать эксперименты, читать результаты и решать, что пробовать дальше. Каждая задача требует сэкономить конкретный ресурс и при этом не потерять качество.

Формально задача выглядит как оптимизация с ограничениями: минимизируй целевой ресурс при условии, что валидационный BPB ниже 1,05 и остальные ресурсы не вылезли за лимиты. Такое разделение на допустимость и улучшение принципиально. Кандидат сначала должен пройти порог качества, и только потом его целевая метрика сравнивается с другими.

Авторы построили стенд на тестбенче autoresearch Андрея Карпати, где кандидаты это компактные программы предобучения. Датасет фиксирован, объём пула 631,2 млн токенов, качество меряется в битах на байт (BPB, bits per byte). Эталонная программа даёт 0,9295 BPB при 50,33 млн параметров.

Девять целей вместо одной

Список целей покрывает весь жизненный цикл модели. Три про саму модель и обучение: число параметров, потребление токенов, число шагов оптимизатора. Ещё три про стоимость тренировки: FLOPs на токен, пиковая память, время до порога качества. И три про инференс: память под живое состояние запроса, задержка декодирования, задержка на длинном промпте.

У каждой цели свои ограничения на нетронутые ресурсы. В задаче на память инференса нельзя разменять выигрыш на задержку, в задаче на задержку декодирования нельзя раздувать KV-кэш. Получается не одна таблица лидеров, а девять, и это ломает привычный способ сравнивать системы по единственному числу.

Бюджет жёсткий: сто оплаченных экспериментов на поиск, один A100 80GB, seed 42, до 600 секунд обучения на кандидата. Эксперимент списывается с бюджета в момент старта GPU, даже если прогон потом упал. В зачёт идёт лучший допустимый кандидат, зафиксированный оценщиком, а не тот, который harness решил оставить. Это важная деталь: система не может «забыть» удачную находку.

Что показали результаты

Эталонная программа служит точкой отсчёта: 50,33 млн параметров, 398,98 млн токенов, 761 шаг, 600 секунд, 239,08 MFLOPs на токен, 43,957 ГиБ пиковой памяти, KV-кэш 33 790 КиБ, декодирование 465,28 мс, полный запрос 641,60 мс.

Лучшие результаты по отдельным целям выглядят как обвал cost-метрик. GEAR на Opus 5 снижает параметры до 13,20 млн. Sequential Search урезает потребление токенов до 152,46 млн и время до 210 секунд, а KV-кэш до 1 КиБ, то есть в 33 790 раз относительно эталона. Arbor уводит пиковую память к 0,373 ГиБ. AutoScientists на Opus 5 показывает декодирование 49,70 мс и полный запрос 29,46 мс против 641,60 мс у эталона.

Но интереснее агрегированный рейтинг Elo, посчитанный по попарным сравнениям внутри каждой группы. На Opus 5 первое место у AutoScientists (1729,4), второе у Sequential Search (1687,6), третье у Arbor (1632,4). Дальше идут GEAR (1622,4), Beam Search (1438,6), Heuresis (1350,4) и TPE (1039,2). На GPT-6 картина другая: GEAR впереди (1835,3), Sequential Search снова второй (1702,4), Arbor третий (1459,6), а Beam Search и Heuresis внизу.

Два вывода напрашиваются сразу. Первый: ни одна система не доминирует на всех девяти целях, у каждой свой профиль. Второй: минималистичный harness стабильно в топ-2 на обеих моделях, хотя внутри у него нет ни команды агентов, ни дерева гипотез, ни популяции исследовательских состояний.

Отдельно показателен TPE. Этот неагентный метод специально заточен под оригинальный autoresearch Карпати и на его родном поле работает хорошо. В Arena он проваливается: 1039,2 Elo, худший результат, параметры 26,35 млн против 13,20 у GEAR, KV-кэш 17 790 КиБ против 51,51. Специализация под одну постановку не переносится на девять.

Побочный результат: перебор не проигрывает

Sequential Search держит одну программу и меняет в ней по одной вещи за раз. Проверил, стало лучше, принял изменение, пошёл дальше. Из накопленной истории, включая неудачные попытки, он строит следующее предложение. Beam Search отличается только тем, что держит до четырёх программ и пробует по две модификации каждой.

Сложные harness устроены иначе. Arbor поддерживает постоянное дерево гипотез. GEAR эволюционирует популяции исследовательских состояний. AutoScientists координирует децентрализованные команды агентов. Heuresis ищет сразу по качеству, разнообразию и новизне. Всё это звучит как правильный ответ на «исследование это не жадный подъём». Систематического выигрыша пока нет.

Причина, по которой авторы это подчёркивают, проста: оркестрация съедает бюджет. Сто экспериментов это очень мало. Каждый потраченный на координацию шаг, каждое разветвление, которое потом не сработает, это минус один прогон на реальной видеокарте. Простой цикл тратит весь бюджет на измерения, а сложный тратит часть на управление собой.

Второй эффект виден на траекториях. Сильные harness продолжают находить улучшения почти до конца бюджета, слабые выходят на плато раньше. TPE, например, перестаёт улучшать параметрическую цель довольно быстро, а GEAR и AutoScientists ещё дожимают результат на последних прогонах. При одинаковом финальном счёте разница в эффективности поиска может быть огромной.

Вот конкретный пример. На цели «время обучения» с Opus 5 сразу четыре системы приходят к 270 секундам: GEAR, Arbor, Beam Search и Heuresis. Но GEAR тратит на это 12 оплаченных экспериментов, Arbor 39, Beam Search 50, а Heuresis 99. Одинаковая точка на графике, разница в восемь раз по стоимости пути. Именно поэтому Arena считает и конечный результат, и число сожжённых попыток.

32 находки вместо двух

Вторая роль бенчмарка это не оценка, а генерация идей. Здесь результат тоже контринтуитивный. Поиск Карпати, оптимизировавший только лосс, нашёл две архитектурные правки: smear и backout. Поиск по девяти целям эффективности собрал каталог из 32 находок, 20 из которых были приняты как улучшения по ходу поиска, и объединил их в девять семейств идей про архитектуру, оптимизацию, память и инференс.

Самая показательная находка относится к параметрической эффективности: циклический трансформер с послойными коэффициентами остатков. Агент взял восемь блоков, оставил один физический блок и применил его восемь раз, но с обучаемыми множителями α и β на каждом уровне глубины, отдельно для attention и для MLP. Один блок хранения вместо восьми, восемь применений, и разная сила остаточной связи на каждом шаге.

Это не случайная правка гиперпараметра. В работе по циклическим трансформерам масштаб остаточных обновлений привязывают к числу циклов, а здесь агент вывел послойные коэффициенты сам, под конкретную цель экономии параметров. Находка совпала с активным направлением исследовательской повестки, что авторы отдельно отмечают как аргумент в пользу такого поиска.

Разные цели дают разные типы находок, и это главное. Под экономию параметров агенты лезут в архитектуру. Под память и задержки они уходят в системные оптимизации, вплоть до трюков с распределением KV-кэша. Один фокус на лосс такое разнообразие просто не производит, потому что лосс не награждает за экономию.

Проверка за пределами поиска

Авторы не остановились на «агенты что-то нашли». Они собрали библиотеку находок и запустили новый поиск, теперь уже за качеством, разрешив агенту комбинировать и переписывать механизмы из разных траекторий. Бюджет обучения в этом поиске подняли до часа.

Результат измеримый. При равных данных обучения лосс упал с 2,675 до 2,544, то есть на 4,9%. При равных FLOPs с 2,617 до 2,544, на 2,8%. Итоговый BPB на отложенной выборке снизился с 0,9295 до 0,9112 при том же размере модели в 50,33 млн параметров. Библиотека идей из задач на эффективность сработала как источник знаний о дизайне модели.

Вторая проверка жёстче. Программы, найденные на десятиминутном бюджете, переобучали с нуля в течение часа, без дальнейшего поиска. Часть находок удержала преимущество. Программа GEAR из задачи на токены экономит 43,3% ресурсов и выходит на эталонное качество примерно за 51 минуту вместо 60. Sequential Search в задаче на время даёт 28,5% экономии и примерно 44 минуты, AutoScientists 34,5% и 46 минут. По шагам оптимизатора экономия 30,1% и 39,6%.

Честная деталь, которую стоит проговорить: экономия ресурсов покупается небольшим ухудшением финального качества. Собственный BPB этих программ после часа обучения лежит в диапазоне 0,9365–0,9765, тогда как у эталона 0,9295. То есть агенты нашли выгодный размен: заметно дешевле при чуть худшем результате.

Ограничения как руль

Отдельный раздел работы показывает, что порог качества управляет не только отбором, но и всей областью поиска. Авторы прогнали параметрическую и памятевую цели с порогами BPB 1,02, 1,05 и 2,0.

При строгом пороге 1,02 Sequential Search упирается в 26,48 млн параметров и 6,89 ГиБ памяти. При 1,05 получается 18,94 млн и 0,83 ГиБ. Ослабление до 2,0 разрешает снизить параметры до 0,69 млн, а память до 0,035 ГиБ, то есть в 27 раз меньше, чем при 1,05. Свобода по качеству открывает агрессивные структурные упрощения, которые строгий порог просто не пропускает.

Похожая механика у бюджета. При фиксированных 20 GPU-часах можно дать каждому кандидату 1 200 секунд и проверить 60 вариантов, а можно 6 000 секунд и проверить гораздо меньше. Короткие прогоны дают самую маленькую модель, длинные дают лучший BPB, но более крупные параметры. Это классический выбор между глубиной проверки и широтой поиска, и он влияет на то, какой тип находки вообще возможен.

Что с этим делать инженеру

Первый практический вывод: не строить оркестрацию раньше, чем появится бюджет на измерения. Если у вас сто прогонов, каждый управляющий слой это налог. Сначала простой цикл с честным протоколом, потом усложнение, и только если усложнение окупается на измерениях.

Второй вывод: одна метрика это плохая цель для исследовательского агента. Девять целей дали 32 находки там, где единственная цель дала две. Если вы гоняете агента по своему пайплайну, дайте ему несколько целей сразу: время, память, задержку, размер. Разные цели вытаскивают разные идеи.

Третий вывод: считайте не только финал, но и путь. Четыре системы, дошедшие до 270 секунд за 12, 39, 50 и 99 экспериментов, выглядят одинаково в таблице и совершенно по-разному в реальной лаборатории. Логируйте каждый прогон, включая провалы, и сравнивайте стоимость достижения результата.

Четвёртый: проверяйте находки за пределами бюджета, на котором они найдены. Часть идей из Arena пережила десятикратное увеличение времени обучения, часть нет. Без такой проверки вы публикуете артефакт короткого прогона.

Код бенчмарка открыт на GitHub (Auto-Research-Arena/auto-research-arena), и это важнее красивых цифр. Пока инфраструктура воспроизводима, спор «агенты умеют исследовать или нет» можно вести на числах, а не на демонстрациях.

Часто задаваемые вопросы

Что такое автономные исследовательские агенты?

Это системы, где языковая модель сама предлагает гипотезу, пишет код изменения, запускает эксперимент, читает метрики и решает, что делать дальше. От обычного автодополнения кода их отличает замкнутый цикл с обратной связью от реальных измерений, а не только от текста.

Почему сложные harness проигрывают простому перебору?

Потому что бюджет экспериментов мал, а координация стоит денег. Деревья гипотез и команды агентов тратят часть ста прогонов на управление собой, тогда как последовательный поиск тратит их на измерения. Плюс простое правило меньше ошибается в шумных метриках.

Можно ли перенести находки Arena на большие модели?

Авторы этого не проверяли: стенд ограничен компактным предобучением. Но логика переносимая. Послойные коэффициенты остатков, циклические блоки и трюки с KV-кэшем это универсальные механизмы, а не подгонка под 50 млн параметров. Проверять на своих масштабах всё равно придётся.

Итог

Auto-Research Arena показала неприятную для индустрии вещь: автономные исследовательские агенты пока не обгоняют аккуратный перебор, а их главная польза лежит не там, где ждали. Польза в генерации широкого каталога идей, который потом проверяют руками, а не в замене исследователя. Девять целей вместо одной дали 32 находки и девять семейств механизмов, от циклических трансформеров до экономии KV-кэша в 33 790 раз.

Если вы строите своего research-агента, начните с самого скучного варианта: один прогон, одно изменение, честный лог. Добавьте вторую и третью цель, потому что именно они открывают идеи, которых не видит оптимизация одного лосса. И считайте путь, а не только финиш: разница между 12 и 99 экспериментами до одной и той же цифры это и есть настоящая цена интеллекта.