Hacker News · 02.07.2026 ·Обучение и дообучение

Обучение LLM с нуля за 315 долларов: опыт создания модели Tessera-1B

Разработчик представил Tessera-1B — языковую модель с 1 миллиардом параметров, обученную с нуля с бюджетом всего 315 долларов. Автор опубликовал веса модели, полный набор данных и код обучения на платформе Hugging Face. Этот проект демонстрирует доступность создания компактных моделей для задач, где критически важна эффективность ресурсов и низкая стоимость инференса.

Процесс обучения модели был сфокусирован на оптимизации затрат без потери качества архитектуры. Использование доступных облачных мощностей и эффективных методов подготовки данных позволило завершить цикл обучения в сжатые сроки. Автор предоставил прозрачную документацию, что делает проект полезным кейсом для исследователей, стремящихся воспроизвести обучение LLM на ограниченном бюджете.

Публикация весов и датасета открывает возможности для дальнейшего дообучения модели под узкоспециализированные задачи. Компактный размер Tessera-1B делает её подходящим решением для развертывания на периферийных устройствах или в средах с ограниченными вычислительными ресурсами, где использование тяжелых моделей экономически нецелесообразно.

Ключевые факты

Модель Tessera-1B содержит 1 миллиард параметров.
Итоговая стоимость обучения составила 315 долларов США.
Веса модели, обучающая выборка и код полностью открыты на Hugging Face.
Проект нацелен на демонстрацию доступности обучения LLM для независимых разработчиков и небольших команд.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Обучение и дообучение Дообучение LLM на потребительском железе: практический гайд Разработчик успешно провел дообучение языковой модели на базе Apple Silicon, используя минимальные вычислительные ресурсы. Процесс занял около 15 минут и обошелся менее чем в один цент в пересчете на затраты электроэнергии. Этот кейс демонстрирует доступность локального дообучения моделей с использованием современных методов оптимизации, таких как QLoRA, на обычном персональном компьютере без необходимости аренды облачных GPU. Hacker News · Прогнозы и тренды Почему текущая модель затрат на LLM становится неустойчивой Текущие расходы на эксплуатацию больших языковых моделей в облачной инфраструктуре достигли критической точки, угрожая рентабельности бизнеса. Основная проблема заключается в неэффективном использовании вычислительных мощностей и высокой стоимости инференса, которые не масштабируются пропорционально доходам. Компании вынуждены пересматривать архитектуру своих решений, чтобы избежать финансового истощения при попытке внедрения генеративного ИИ в массовые продукты. Hacker News · Исследования и наука Законы масштабирования LLM применимы к данным с датчиков Исследователи Empirical Health подтвердили, что эмпирические законы масштабирования, характерные для больших языковых моделей, работают и для данных с носимых устройств. Увеличение вычислительных мощностей, объема обучающей выборки и количества параметров модели приводит к предсказуемому росту точности при анализе биометрических показателей, что открывает новые возможности для предиктивной медицины и анализа временных рядов. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Обучение и дообучение Масштабируемые законы дистилляции LLM для узкоспециализированных задач Исследователи вывели эмпирические законы масштабирования для дистилляции LLM, позволяющие прогнозировать качество сжатых моделей в зависимости от объема данных и коэффициента компрессии. Работа решает проблему высокой стоимости и задержек при развертывании крупных моделей, предлагая математически обоснованный подход к созданию компактных и эффективных версий нейросетей для специфических доменов без потери критических знаний. Hacker News · Обучение и дообучение IEEE запускает образовательный курс по обучению больших языковых моделей Инженерная организация IEEE представила комплексный учебный курс, посвященный методологии обучения больших языковых моделей (LLM). Программа охватывает полный цикл разработки: от подготовки наборов данных и выбора архитектуры нейронных сетей до тонкой настройки моделей и оценки их производительности. Курс ориентирован на инженеров и специалистов, стремящихся систематизировать знания в области современного машинного обучения. Hacker News · Исследования и наука Tapered Language Models: новый подход к оптимизации архитектуры LLM Исследователи представили концепцию Tapered Language Models — архитектурный подход, при котором ширина слоев нейросети постепенно уменьшается по мере углубления модели. Такой метод позволяет значительно снизить вычислительные затраты на инференс и объем используемой памяти, сохраняя при этом производительность, сопоставимую с традиционными трансформерами фиксированной ширины, что критически важно для эффективного развертывания моделей. Hacker News · Машинное обучение Методы повышения эффективности LLM: обзор лекций Columbia ML Summer School Лекционный курс в рамках Columbia Machine Learning Summer School 2026 посвящен фундаментальным подходам к оптимизации больших языковых моделей. Эксперты разбирают методы снижения вычислительных затрат при сохранении качества генерации, включая техники квантования, прунинга и оптимизации архитектурных решений, которые позволяют запускать сложные модели на ограниченных аппаратных ресурсах без существенной потери точности. Hacker News · Обучение и дообучение Опыт обучения компактных высокопроизводительных моделей Максим Лабонн из Liquid AI представил подробный разбор процесса создания «малых» моделей (Small Language Models), которые по своим характеристикам приближаются к крупным языковым системам. В основе подхода лежит оптимизация архитектуры и качества данных, позволяющая достичь высокой эффективности при ограниченных вычислительных ресурсах. Основное внимание уделяется этапам подготовки датасетов, выбору стратегий токенизации и настройке гиперпараметров, которые критически влияют на итоговую производительность модели. Hacker News · Обучение и дообучение Оптимизация локального обучения и инференса LLM с Unsloth Библиотека Unsloth позволяет значительно ускорить процесс дообучения и запуска популярных языковых моделей на локальном оборудовании. Инструмент оптимизирует использование видеопамяти и повышает скорость вычислений при работе с архитектурами Llama, Mistral и Phi. За счет переработки алгоритмов градиентного спуска и использования специализированных ядер CUDA, разработчики добиваются снижения потребления ресурсов до 70% при сохранении точности весов.

← Все материалы