Бывший директор по AI в Tesla и один из основателей OpenAI Анджей Карпати опубликовал открытый проект autoresearch — минималистичный, но рабочий фреймворк, в котором автономный AIагент круглосуточно и самостоятельно проводит эксперименты по улучшению моделей.

Проект взорвал сообщество: репозиторий уже собрал десятки тысяч звёзд и тысячи наблюдателей, а первые результаты заставляют поновому смотреть на роль человека в научной работе.

Что такое autoresearch и как он устроен

Autoresearch — это компактный Pythonрепозиторий (~630 строк кода), спроектированный так, чтобы AIагент мог:

модифицировать единственный файл train.py (архитектура модели, гиперпараметры, оптимизатор и тренировочный цикл);

запускать короткие тренировки фиксированной продолжительности (по умолчанию 5 минут);

автоматически оценивать изменения по метрике val_bpb (валидационный битнабайт);

сохранять улучшения и откатывать неудачные варианты.

Важные компоненты:

prepare.py — неизменяемая часть: загрузка данных, подготовка токенизатора, утилиты и функции оценки;

train.py — единственный файл, доступный агенту для правок;

program.md — человек пишет контекст и инструкции в Markdown, агент исполняет их как «исследовательскую задачу».

Фиксированное время тренировки (5 минут) обеспечивает прямую сравнимость экспериментов: около 12 запусков в час, ~100 запусков за ночь. Это позволяет агенту быстро пробовать большое число модификаций и выявлять действительно работающие идеи на конкретном оборудовании (пока поддерживается одна NVIDIA GPU).

Первые результаты — двухдневный эксперимент и прирост эффективности

В опубликованном примере Karpathy запустил autoresearch на упрощённой модели nanoChat (глубина 12) и дал агенту поработать около двух суток. Итоги:

проведено 276 экспериментов;

отобрано 29 рабочих улучшений;

совокупное улучшение эффективности тренировки — примерно +11% (время «достичь уровня GPT2» сократилось с ~2.02 ч до ~1.80 ч).

Позже Карпати упомянул, что агент в сумме сделал порядка 700 попыток изменений, а сообщество уже расширило опыт — в фанатских ветках запустили ~3000 экспериментов и зафиксировали ≈82 полезные правки.

Исходный репозиторий: karpathy/autoresearch. Карпати также публиковал итерации и наблюдения в своих постах в X (Twitter): пост 1, пост 2.

Почему это важно — от «наблюдения за процессом» к «освобождению исследователя»

Karpathy описывает цель проекта предельно просто: создать агента, который сможет непрерывно продвигать исследование без человеческого вмешательства. В его словах — и вызов, и обещание: если агент может самостоятельно придумывать, тестировать и валидировать улучшения, то базовая рутина (запуск сотен экспериментов, мелкие гиперпараметрические правки) может быть полностью автоматизирована. Это меняет привычные роли в лаборатории:

аспиранты и инженеры смогут меньше времени тратить на «присмотр за тренировками» и больше — на формулировку идей, анализ и концептуальную работу;

ускоряются итерации и обнаружение локально эффективных решений для конкретного железа.

Karpathy идёт дальше и предлагает видение «агрегированного научного сообщества из агентов» — множество автономных агентов, действующих асинхронно, обменивающихся результатами и совместно генерирующих идеи, подобно распределённой сети исследователей.

Autoresearch — не замена учёному, а мощный инструмент: «помощникскорострел», способный в короткое время перебрать сотни гипотез. Следующие шаги, по замыслу автора и сообщества, — сделать агенты более кооперативными, добавлять асинхронную многомашинную координацию, расширять набор метрик и обеспечить надёжность/контроль качества предложений агента.

В перспективе такие инструменты могут стать стандартной частью лабораторного пайплайна: агент ищет быстрые эмпирические выигрыши на малых моделях, люди переводят лучшие идеи на большие модели и формируют научные обоснования.