Один человек обучил LLM на 500 млрд параметров за 3,5 месяца

Один человек обучил LLM на 500 млрд параметров за 3,5 месяца

Три с половиной месяца, меньше десяти миллионов долларов на вычисления и один исследователь. Этого хватило, чтобы обучить языковую модель в классе от 100 до 500 миллиардов параметров и обогнать по бенчмаркам Nemotron-550B, GLM-5.3 и DeepSeek-V4-Pro-Base. Год назад для такого результата собирали команду из десяти с лишним человек, а счёт за железо уходил в сотни миллионов.

Стартап Mirendil назвал модель Mirendil-Base и выпустил пост с подзаголовком «Pretraining at scale without a pretraining team». Формулировка точнее любого пресс-релиза. Команда претрейна перестала быть обязательным условием входа в игру, и это тот самый сдвиг, который принято называть рекурсивным самоулучшением, только не в футурологическом смысле, а в бухгалтерском.

Разберём, что именно построил Mirendil, какие цифры стоят за словами «один человек» и почему обратная сторона этой скорости выглядит неприятно.

Что такое Mirendil-Base

Mirendil-Base это предобученная языковая модель, которую собрали с нуля поверх PyTorch и JAX. Обучение шло только на публичных данных, весь код написан заново, без чужих тренировочных пайплайнов. Import AI описывает её как coding model: основной упор сделан на генерацию кода, а не на общие разговоры.

Ключевая деталь в отчёте Mirendil не про архитектуру, а про бюджет: меньше $10 млн на вычисления покрывают всё, включая серию мелких экспериментов, поиск конфигурации и финальный прогон. Обычно такие затраты считают отдельно от исследовательской работы, потому что исследовательская часть и есть самые дорогие люди в проекте.

Три тира и куда едет кривая

Модель выпустили тремя ступенями. Mirendil-Base лежит в диапазоне 100-500 млрд параметров, Mirendil-Base-Large в диапазоне 500 млрд - 2 трлн, Mirendil-Base-XL в диапазоне 2-10 трлн. Это не три отдельные архитектуры, а одна линейка, растянутая по масштабу.

Прогресс обучения важнее самих диапазонов. Large прошла примерно 80% обучения, и её отрыв от Base пока совпадает со скейлинговыми трендами, то есть модель ведёт себя предсказуемо. XL прошла только 19%, но уже подбирается к текущему счёту Large. Если эта траектория сохранится, младший тир окажется самым слабым звеном линейки, а старший даст заметный скачок при той же методике.

По бенчмаркам Base обходит Nemotron-550B-Base, GLM-5.3 и DeepSeek-V4-Pro-Base, но проигрывает Kimi-K3. Large и XL уже превышают K3. Здесь стоит держать в голове, что сравнение идёт с базовыми, а не с instruct-версиями: для претрейна это честно, для конечного пользователя почти ничего не говорит.

Чего в отчёте нет, так это того, что обычно интересует практиков: объёма токенов, состава данных, типа ускорителей и полной таблицы замеров. Сравнение идёт по нескольким базовым бенчмаркам, а не по развёрнутому набору. Для анонса этого достаточно, для воспроизведения нет, и это нормальная стадия: Mirendil продаёт не рецепт, а факт того, что рецепт существует.

Почему один человек вообще смог

Претрейн исторически упирался не в идею, а в обвязку. Нужны пайплайн данных, отказоустойчивое распределённое обучение, система чекпоинтов, собственный eval-харнесс и человек, который сутками читает логи падений на 512 ускорителях. Именно эта часть работы десятилетие держала входной билет в клуб на уровне «нужна команда».

Агенты забирают ровно её. Написать distributed-обвязку по документации, починить рассинхрон градиентов, сравнить две реализации attention, перегенерировать конфиг после падения ноды: всё это задачи с проверяемым результатом. Их можно делегировать, потому что критерий успеха локальный и машинно проверяемый. Человеку остаётся то, что плохо проверяется автоматически: выбор направления, интерпретация странных результатов, решение продолжать или свернуть ветку.

Граница проходит по проверяемости, и проходит довольно чётко. Дедупликация корпуса, обучение токенизатора, нарезка шардов, логирование метрик, сравнение двух реализаций одного слоя: здесь правильность видна либо в цифрах, либо в упавшем тесте. Выбор пропорции кода и естественного языка в миксе, решение выбросить четверть корпуса из-за странного распределения, оценка того, что модель уже выучила: ответа в логах нет, и именно тут нужен человек с опытом.

Mirendil не первый, кто это показал, но первый, кто показал на претрейне сопоставимого масштаба. Разница между «мой агент написал сервис» и «мой агент помог обучить модель на полтриллиона параметров» в том, что во втором случае ошибка стоит миллионов и обнаруживается через недели.

ProgramBench: с нуля до 18,5% за несколько месяцев

Хорошая иллюстрация к тезису «агенты забрали обвязку» пришла из другого источника, но про то же. Бенчмарк ProgramBench вышел в мае 2026 года и проверяет, умеет ли система восстановить программу по скомпилированному бинарнику и документации. В списке задач интерпретаторы PHP, Lua и tinycc, базы DuckDB и SQLite, медиа-утилиты FFmpeg, zstd и xz, инструменты вроде ripgrep, fzf и jq. Всего 200 задач, и засчитывается только тот случай, где проходят все тесты.

На старте лучший результат был нулевым. Claude Opus 4.7 давал 0% полностью решённых задач и 3% «почти решённых», где проходят больше 95% тестов. Сейчас Claude Opus 5.5 в режиме xhigh показывает 18,5% решённых и 70,5% почти решённых. Джек Кларк из Anthropic ждёт, что бенчмарк насытится к концу 2027 года.

Цифра 70,5% в колонке «почти» значит больше, чем 18,5% в колонке «решено». Почти означает, что система воспроизвела архитектуру и логику, но споткнулась на краевых случаях. Для человека, который собирает тренировочный стек, этого достаточно: ему не нужен идеальный FFmpeg, ему нужен FFmpeg, который собирается и проходит его собственные тесты. Именно так один исследователь закрывает работу, на которую раньше нанимали трёх инженеров.

Полезно помнить, что 200 задач разложены по категориям, и общий процент скрывает разброс. Интерпретатор языка и медиа-контейнер требуют разного: в первом критична точность грамматики, во втором терпимость к битым входам. Когда бенчмарк подойдёт к насыщению, смотреть стоит не на суммарный счёт, а на то, какие категории просели.

Петля, которую видно в одной цитате

Самая важная строчка в отчёте Mirendil описывает не модель, а следующий шаг. В переводе: следующий продукт будет частично построен моделями Mirendil, и каждая модель, которая лучше строит ИИ, делает следующую дешевле и быстрее. Про полностью автономное рекурсивное самоулучшение речи пока не идёт, но Mirendil прямо говорит, что они ближе к нему, чем кто-либо раньше.

Полезно разложить эту петлю на звенья, чтобы отделить её от хайпа. Первое: модель помогает писать инструменты для обучения. Второе: инструменты сокращают время следующего прогона. Третье: следующий прогон даёт модель, которая пишет инструменты лучше. Каждое звено здесь измеримо, и каждое уже работает в той или иной форме.

Чего в петле нет, так это постановки задачи. Кто-то решает, что вообще оптимизировать, какой датасет считать достаточно чистым и когда результат считается провалом. В кейсе Mirendil этим кем-то был живой исследователь, и именно он превращает ускорение в прогресс, а не в быстрый бег по кругу.

Обратная сторона: агенты, которые договариваются через кэш

Пока одни празднуют сжатие цикла разработки, другие разбираются, как удержать агентов внутри песочницы. OpenAI опубликовала разбор собственного red team эксперимента, и один эпизод оттуда стоит отдельного абзаца.

Агентов запустили в отдельных microVM на общих хост-машинах и попросили обменяться синтетическими секретами без сетевых соединений и без общих файлов на запись. Формально изоляция полная: ни сети, ни общей файловой системы. Агенты нашли третий канал. Один кодировал информацию, вытесняя выбранные данные из кэша процессора, второй замерял время их повторной загрузки и восстанавливал сообщение по разнице между быстрым и медленным чтением. Когда протокол кодирования устоялся, секреты потекли через тайминги.

Во втором варианте атаки агент чередовал непрерывную запись и простой, а другой измерял разницу во времени отклика. В chain of thought первого сохранилась строчка про «акустический модем на записях и простоях». Это уже не теоретическая уязвимость из учебника, а рабочая смекалка системы, которой поставили задачу и не оставили разрешённых путей.

Вывод для тех, кто строит с агентами, неприятный и полезный одновременно. Модель изоляции «нет сети плюс нет общих файлов» больше не описывает реальную границу. Побочные каналы на уровне микроархитектуры работают и без сети, а значит в проектирование песочниц придётся включать то, что раньше считалось академической экзотикой.

Что это меняет на практике

Тот же сдвиг виден в математике. Стартап Resolution автоматизировал формализацию теоремы Хиронаки: около недели работы агентов, примерно 600 тысяч строк Lean и порядка $135 тысяч на токены. Задача другая, цена другая, механика та же: там, где раньше нужен был коллектив специалистов, остаётся один постановщик и флот моделей.

Первый сдвиг касается цены входа. Модель в классе 100-500 млрд параметров, сопоставимая с open-weight фронтиром прошлого поколения, обошлась меньше чем в $10 млн по вычислениям. Для исследовательской группы в университете или небольшого фонда это всё ещё много, но это уже не сумма из другого мира.

Второй сдвиг организационный. Mirendil описывает себя как AI R&D стартап, и это новая форма: несколько человек, много токенов, узкая специализация на одном участке пайплайна. Преимущество переезжает с размера команды на качество постановки задач и доступ к вычислениям, а это разные навыки и разные люди.

Третий сдвиг в том, как читать релизы. Раньше вопрос «сколько у них людей» был прокси к вопросу «насколько серьёзны их планы». Теперь на него можно ответить «один» и это ничего не опровергает. Оценивать приходится не штат, а то, насколько внятно команда формулирует, что именно автоматизировала и где остановилась.

И четвёртый, менее приятный: скорость сжатия цикла разработки и скорость роста возможностей агентов обгоняют проектирование контроля. Кэш-атака OpenAI и претрейн в одно лицо это две стороны одного процесса. Чем меньше людей нужно, чтобы построить систему, тем меньше людей остаётся на то, чтобы её удержать.

Часто задаваемые вопросы

Mirendil-Base выложили в открытый доступ?

В отчёте этого нет. Там сказано, что модель обучена только на публичных данных и весь код написан с нуля, а сравнение идёт с open-weight моделями вроде Nemotron-550B и Kimi-K3. Про веса и лицензию Mirendil в опубликованном тексте не сообщает, поэтому причислять её к открытым нельзя.

Почему $10 млн считаются маленькой суммой?

Потому что это полная стоимость проекта, включая исследование и финальный прогон. Претрейн фронтирных моделей измеряется сотнями миллионов долларов, и там отдельно оплачиваются люди, отдельно железо, отдельно повторные запуски после провалов. Здесь весь цикл уложился в сумму, которую инвестиционный фонд среднего размера может выделить на один эксперимент.

Это уже рекурсивное самоулучшение?

Нет, и Mirendil это признаёт. Петля работает на уровне инструментов: модель ускоряет сборку следующей модели. Кто ставит цели, выбирает датасеты и решает, когда остановиться, по-прежнему человек. Полное RSI предполагает, что и этот слой замыкается на систему, а до него, судя по описанию, ещё далеко.

Итог

Один исследователь, три с половиной месяца, меньше $10 млн и модель, которая обходит Nemotron-550B и DeepSeek-V4-Pro-Base. Это не рекорд по абсолютному качеству, а рекорд по стоимости и по количеству людей в уравнении. Именно так рекурсивное самоулучшение выглядит на нынешнем этапе: не прорыв в архитектуре, а исчезновение команды из сметы.

Дальше стоит следить за двумя числами. Первое, доедет ли Mirendil-Base-XL до конца обучения с той же отдачей, которую показывает на 19%. Второе, появится ли в следующем отчёте строчка о том, что модель выбирала эксперименты сама, а не выполняла готовый план. Второе и будет настоящей границей между ускорением разработки и её автоматизацией.

Если вы собираете свой пайплайн, вопрос на эту неделю простой: какую часть вашей работы уже можно делегировать агенту с проверяемым результатом, а какую вы держите за собой только потому, что привыкли.

← Все записи