MarkTechPost · 06.07.2026 ·Обучение и дообучение

Обучение Gemma-3 математическому мышлению через GRPO и LoRA

Исследователи представили рабочий процесс дообучения модели Gemma-3 для решения сложных математических задач из набора GSM8K. Методология опирается на алгоритм GRPO (Group Relative Policy Optimization) в сочетании с адаптерами LoRA, что позволяет эффективно оптимизировать модель для структурированного логического вывода, сохраняя при этом низкие требования к вычислительным ресурсам в процессе тренировки.

Процесс обучения включает подготовку среды и интеграцию с платформой Hugging Face, где модель обучается генерировать ответы через цепочку рассуждений. Ключевым элементом выступает система функций вознаграждения, которая оценивает как строгое соблюдение формата вывода, так и математическую точность итогового результата. Использование LoRA-адаптеров позволяет проводить дообучение без необходимости полной перенастройки весов основной модели.

Данный подход демонстрирует практический метод адаптации предобученных LLM для узкоспециализированных задач, требующих высокой точности вычислений. Внедрение GRPO позволяет модели лучше справляться с многошаговыми логическими цепочками, что критически важно для автоматизации аналитических процессов и работы с данными, требующими верифицируемых ответов.

Ключевые факты

Использована архитектура Gemma-3 в качестве базовой модели для дообучения.
Применен алгоритм GRPO для оптимизации стратегии генерации ответов.
Интегрированы LoRA-адаптеры для минимизации затрат на обучение и сохранения весов.
В качестве основного бенчмарка для оценки навыков рассуждения выбран датасет GSM8K.
Система вознаграждений настроена на проверку формата вывода и корректности численного результата.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Обучение и дообучение Альтернативы LoRA в дообучении языковых моделей Метод низкоранговой адаптации (LoRA) стал стандартом в индустрии благодаря своей эффективности и низким требованиям к вычислительным ресурсам. Однако развитие области привело к появлению новых подходов, которые позволяют достигать более высоких результатов при дообучении больших языковых моделей. Исследователи анализируют альтернативные методы, такие как DoRA, QLoRA и другие техники адаптации, сравнивая их с классическим LoRA по качеству итоговых весов и стабильности обучения. Hacker News · Исследования и наука HRM-Text: новый подход к эффективному дообучению языковых моделей Исследователи представили HRM-Text — метод повышения эффективности предобучения языковых моделей, который выходит за рамки простого увеличения вычислительных мощностей. Авторы предлагают оптимизированный подход к обработке данных и архитектурным изменениям, позволяющий достичь высокой производительности при меньших затратах ресурсов. Это значимый шаг в сторону оптимизации обучения LLM, делающий создание мощных моделей более доступным и экономически оправданным. Hacker News · Обучение и дообучение Дообучение LLM на потребительском железе: практический гайд Разработчик успешно провел дообучение языковой модели на базе Apple Silicon, используя минимальные вычислительные ресурсы. Процесс занял около 15 минут и обошелся менее чем в один цент в пересчете на затраты электроэнергии. Этот кейс демонстрирует доступность локального дообучения моделей с использованием современных методов оптимизации, таких как QLoRA, на обычном персональном компьютере без необходимости аренды облачных GPU. arXiv · Машинное обучение Новый метод Process Advantage Signal Shaping для обучения LLM с рассуждениями Исследователи представили метод Process Advantage Signal Shaping (PASS), направленный на оптимизацию обучения LLM с использованием подкрепления (RL). Новый подход решает проблему нестабильности сигналов при использовании GRPO, позволяя более эффективно интегрировать пошаговые награды (PRM) в процесс обучения моделей, склонных к сложным логическим рассуждениям, что повышает точность итоговых ответов. Hugging Face - Blog · Инференс и железо Hugging Face и Cerebras ускорили работу Gemma 2 для голосовых ИИ-систем Hugging Face совместно с Cerebras оптимизировали работу модели Gemma 2 для задач голосового взаимодействия в реальном времени. Благодаря использованию специализированных вычислительных систем Cerebras Inference, удалось добиться сверхнизкой задержки генерации токенов. Это решение позволяет создавать отзывчивые голосовые интерфейсы, работающие со скоростью человеческой речи, что критически важно для агентных систем и интерактивных сервисов. Google DeepMind News · Модели и релизы Gemma 4: открытые модели для сложных агентских сценариев DeepMind представила Gemma 4 — новую версию своих открытых моделей, позиционируемых как самые мощные на сегодняшний день. Эти модели специально оптимизированы для сложных задач, включая рассуждения и агентские workflows. Gemma 4 предлагает улучшенные возможности в обработке естественного языка, что делает её перспективной для интеграции в ИИ-агентов, требующих высокого уровня интеллектуальных способностей. arXiv · Обучение и дообучение Метод Neuron-Aware для самообучения LLM без участия человека Исследователи представили метод Neuron-Aware Data Selection, позволяющий дообучать большие языковые модели без использования человеческой разметки или внешних экспертных данных. Технология опирается на самодистилляцию, где модель использует собственные выходы в качестве обучающих сигналов. Подход фокусируется на отборе наиболее информативных данных через анализ активации нейронов, что значительно повышает качество генерации в специализированных областях при отсутствии дорогостоящих аннотаций. arXiv · Машинное обучение Новый подход к обучению агентов пониманию и генерации движений Исследователи представили метод адаптации моделей для непрерывного обучения агентов, работающих с человеческими движениями. Решение использует модификации LoRA для последовательного освоения новых концепций — от спортивных стилей до специфических жестов — без потери ранее накопленных знаний. Это позволяет ИИ-агентам эффективно адаптироваться к динамическим средам, сохраняя двунаправленную способность к преобразованию текста в движение и обратно. Hacker News · Инференс и железо Особенности дообучения и запуска LLM на мобильных устройствах Запуск больших языковых моделей непосредственно на смартфонах требует значительной оптимизации вычислительных ресурсов и управления памятью. Основные сложности связаны с ограниченным объемом оперативной памяти и необходимостью поддержания высокой энергоэффективности при выполнении операций инференса. Для адаптации моделей под мобильное железо применяются методы квантования, позволяющие снизить точность весов без критической потери качества генерации, что критически важно для работы на чипсетах с ограниченной пропускной способностью. Hacker News · Инференс и железо Запуск модели Gemma на устройствах с Coral Board Компания Google продемонстрировала возможность запуска модели Gemma на устройствах с Coral Board. Это решение позволяет выполнять инференс на краю сети, что особенно актуально для задач, требующих низкой задержки и автономной работы.

← Все материалы