Hacker News · 28.07.2026 ·Обучение и дообучение

Дообучение модели 9B с RL превзошло топовые LLM в задачах обзора каталогов

Команда FermiSense продемонстрировала, что специализированное дообучение компактной модели с 9 миллиардами параметров с использованием обучения с подкреплением (RL) позволяет превзойти проприетарные модели уровня GPT-4 в узкоспециализированных задачах. Бюджет эксперимента составил всего 500 долларов, что доказывает высокую эффективность дообучения открытых архитектур для автоматизации бизнес-процессов, требующих глубокой экспертизы в анализе товарных каталогов.

В основе подхода лежит использование метода RL для настройки модели на специфические критерии оценки качества контента. В отличие от стандартных моделей общего назначения, которые часто ошибаются при работе с узкими отраслевыми данными, дообученная система показала более высокую точность в выявлении несоответствий в описаниях товаров и проверке атрибутов. Это позволяет компаниям снизить зависимость от дорогостоящих API и внедрять локальные решения с предсказуемым поведением.

Результаты исследования подчеркивают сдвиг в сторону использования небольших, но узкоспециализированных моделей. Вместо попыток адаптировать огромные языковые модели под все задачи бизнеса, разработчики могут достигать лучших метрик качества, фокусируясь на качественных наборах данных и эффективных методах дообучения, что значительно сокращает операционные расходы на инференс.

Ключевые факты

Использовалась открытая модель с 9 миллиардами параметров (9B).
Стоимость процесса дообучения с применением RL составила 500 долларов.
Модель показала превосходство над frontier-моделями в задачах review товарных каталогов.
Метод позволяет значительно снизить затраты на автоматизацию процессов контроля качества данных в ритейле.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Автоматизация обучения моделей с помощью RL-агента Разработчик представил проект, в котором агент, обученный с помощью обучения с подкреплением (RL), берет на себя процесс настройки и тренировки других нейросетевых моделей. Эксперимент направлен на автоматизацию выбора гиперпараметров и стратегий обучения, что позволило сократить ручное вмешательство в процесс подготовки моделей, несмотря на затраты в 1300 долларов на вычислительные ресурсы. Hacker News · Инференс и железо Обучение моделей методом RL на распределенной сети из 14 компьютеров Mac Команда Pluralis продемонстрировала возможность проведения пост-тренировки языковых моделей с использованием обучения с подкреплением (RL) на распределенной инфраструктуре из 14 компьютеров Mac, расположенных в четырех странах. Эксперимент доказал эффективность использования потребительского оборудования Apple Silicon для решения сложных задач дообучения, которые традиционно требуют мощных серверных кластеров с GPU. The Decoder · ИИ в бизнесе Специализированные модели превзошли GPT и Claude в анализе финансовых документов Хедж-фонд Bridgewater совместно с Thinking Machines Lab выяснил, что дообученные open-weight модели значительно эффективнее универсальных LLM при анализе закрытых финансовых данных. В ходе тестирования топовые проприетарные модели показали низкую точность, так как их обучение базировалось на публичных источниках, не содержащих специфической финансовой экспертизы, необходимой для принятия инвестиционных решений. arXiv · Исследования и наука Цена рассуждений: баланс стоимости и качества в RL-обучении для машинного перевода Исследование анализирует эффективность метода обучения с подкреплением на основе проверяемых наград (RLVR) применительно к задачам нейронного машинного перевода. Авторы оценивают, как внедрение механизмов логического вывода в модели влияет на итоговую стоимость инференса и качество перевода специализированных юридических текстов, выявляя критический компромисс между вычислительными затратами и точностью генерации в сложных лингвистических задачах. Hacker News · Машинное обучение Эксперимент по обучению LLM с 30 млн параметров опровергает теорию «пола масштабирования» Разработчик обучил с нуля языковую модель объемом 30 миллионов параметров, чтобы проверить гипотезу о существовании «пола масштабирования» (scaling floor) — теоретического предела, ниже которого модели перестают эффективно обучаться. Результаты эксперимента показали, что даже при столь малом количестве параметров модель продолжает демонстрировать стабильное снижение функции потерь, опровергая предположения о необходимости огромных вычислительных мощностей для достижения прогресса. Hacker News · Оценка и бенчмарки Сравнение стоимости и эффективности LLM в задачах SWE-bench Эксперимент по решению задач из бенчмарка SWE-bench-Live показал значительный разрыв в эффективности современных языковых моделей. Использование дорогостоящих решений, таких как Claude 3 Opus, не гарантирует успеха в сложных инженерных задачах, в то время как более экономичные модели демонстрируют высокую точность при кратно меньших затратах на инференс, меняя представление о целесообразности выбора моделей для автоматизации разработки. Hacker News · Исследования и наука Вычислительный арбитраж в рынках ИИ-моделей через роутинг и дообучение Исследователи представили концепцию вычислительного арбитража, позволяющую оптимизировать затраты на инференс при работе с гетерогенными рынками ИИ-моделей. Метод использует динамический роутинг запросов между моделями разного размера и специализированное дообучение, что позволяет достичь производительности топовых LLM при значительно меньших вычислительных расходах, эффективно перераспределяя нагрузку в зависимости от сложности конкретной задачи. Hacker News · ИИ в бизнесе Как Airbnb ускорила оценку LLM в десятки раз Инженеры Airbnb оптимизировали процесс оценки больших языковых моделей, сократив время цикла итерации с нескольких недель до одного дня. Команда внедрила масштабируемую систему автоматизированного тестирования, которая позволяет быстро проверять изменения в промптах и архитектуре, обеспечивая стабильное качество работы ИИ-сервисов в условиях высокой нагрузки и необходимости частых обновлений. Hacker News · ИИ в бизнесе Анализ 1 млн API-запросов показал неэффективное использование LLM Исследование 1 миллиона API-запросов к LLM выявило, что 62% компаний используют модели, избыточные для их текущих задач. Разработчики часто выбирают самые мощные и дорогие решения, такие как GPT-4, для простых операций, где достаточно менее производительных и дешевых аналогов. Это приводит к неоправданному росту расходов на инфраструктуру при отсутствии прироста качества ответов. arXiv · Обучение и дообучение Использование RL-обучения для улучшения агентных способностей LLM Исследователи обнаружили, что стандартное обучение с подкреплением (RL) при дообучении моделей уже содержит скрытый потенциал для улучшения агентных навыков. Авторы работы доказывают, что этот процесс позволяет эффективно оценивать пошаговые действия моделей без необходимости в сложных внешних системах вознаграждения, что критически важно для решения долгосрочных задач в стохастических средах, где традиционные методы аннотирования данных практически не работают.

← Все материалы