Разработчики представили Apertus 1.5 — новую версию большой языковой модели, выпущенную под полностью открытой лицензией. Релиз включает не только веса модели, но и полные наборы обучающих данных, а также подробную документацию по пайплайну подготовки датасетов. Проект ориентирован на обеспечение прозрачности в обучении ИИ и предоставление инструментов для воспроизводимых исследований в области больших моделей.
Основное внимание в версии 1.5 уделено повышению эффективности логического вывода и точности ответов в задачах программирования и анализа данных. Разработчики пересмотрели архитектуру токенизатора и оптимизировали процесс пре-трейнинга, что позволило модели лучше справляться с длинным контекстом по сравнению с предыдущей итерацией. Открытость всех этапов создания модели делает её важным ресурсом для тех, кто занимается дообучением собственных решений на специфических корпоративных данных.
Публикация полного стека данных для обучения — редкий шаг для индустрии, где большинство компаний ограничиваются выпуском только весов. Такой подход позволяет сообществу проводить независимый аудит качества данных, выявлять возможные предвзятости и лучше понимать, как именно модель усваивает знания. Это упрощает интеграцию Apertus в специализированные пайплайны, где критически важна чистота обучающей выборки и отсутствие «черных ящиков» в инфраструктуре.
Ключевые факты
- Apertus 1.5 распространяется с полным доступом к обучающим датасетам, что обеспечивает прозрачность процесса подготовки модели.
- Релиз включает обновленный токенизатор, оптимизированный для работы с кодом и сложными техническими текстами.
- Модель демонстрирует улучшенные показатели в задачах с длинным контекстом по сравнению с версией 1.0.
- Все материалы проекта, включая документацию по пайплайну обучения, доступны для свободного использования и анализа в исследовательских целях.