Hacker News · 24.07.2026 ·Машинное обучение

Torchwright: компиляция вычислительных графов в веса трансформеров без обучения

Проект Torchwright предлагает новый подход к работе с нейросетями, позволяя преобразовывать произвольные вычислительные графы непосредственно в веса трансформера. Метод исключает необходимость классического обучения модели, используя математическое отображение структуры вычислений в параметры архитектуры. Это открывает возможности для создания специализированных вычислительных систем, работающих на базе стандартных трансформерных инференс-движков без этапа градиентного спуска.

Технология опирается на концепцию функциональной эквивалентности, где логика алгоритма «зашивается» в веса модели. Вместо того чтобы обучать нейросеть аппроксимировать функцию через множество итераций на данных, Torchwright напрямую кодирует операции графа в тензорные представления. Такой подход позволяет использовать существующую инфраструктуру для запуска LLM для выполнения произвольных алгоритмических задач, которые ранее требовали написания классического кода или обучения отдельных моделей.

Реализация ориентирована на интеграцию с библиотекой PyTorch, что упрощает перенос существующих вычислительных пайплайнов в формат трансформерных весов. Инструмент позволяет обходить ограничения, связанные с нехваткой данных для обучения или вычислительными затратами на дообучение моделей под специфические задачи, предлагая детерминированный способ получения весов, соответствующих заданному алгоритму.

Ключевые факты

Метод позволяет превращать вычислительные графы в веса трансформеров без использования обратного распространения ошибки.
Проект реализован как расширение для экосистемы PyTorch, обеспечивая совместимость с текущими инструментами разработки.
Технология позволяет исполнять алгоритмическую логику на стандартных архитектурах трансформеров, используя их как вычислительные движки.
Подход исключает этап обучения, сокращая время подготовки модели до времени компиляции графа.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Torchwright: компиляция вычислительных графов в веса трансформеров Torchwright представляет новый подход к работе с нейросетями, позволяя компилировать произвольные вычислительные графы непосредственно в веса стандартных трансформерных моделей. Вместо классического исполнения кода через интерпретатор, система преобразует логику вычислений в формат, который может быть обработан стандартными архитектурами LLM, что открывает возможности для создания самомодифицирующихся агентов и динамических систем. Hacker News · Машинное обучение Создание трансформера на 350 млн параметров с нуля на PyTorch Автор опубликовал подробное руководство по обучению трансформерной модели с нуля, используя библиотеку PyTorch. В материале разбирается архитектура модели объемом 350 миллионов параметров, процесс подготовки данных, настройка гиперпараметров и технические аспекты реализации слоев внимания. Это практический разбор, который помогает понять внутреннюю механику современных LLM через написание чистого кода. Hacker News · Исследования и наука Исследование внутренней архитектуры Transformer: анализ точности весов Работа «A Transformer Is All You Need PT 2L: Precision Brain Surgery» представляет глубокий анализ механизмов работы трансформеров через призму высокоточной настройки параметров. Авторы исследуют, как изменение конкретных весов внутри нейронной сети влияет на итоговую производительность модели, предлагая методы «хирургического» вмешательства в структуру для оптимизации вычислений и повышения точности без необходимости полного переобучения. arXiv · Разработка и инструменты Program-as-Weights: новый подход к программированию нечетких функций Исследователи представили парадигму «Program-as-Weights», позволяющую компилировать функции из спецификаций на естественном языке в веса нейронных сетей. Метод заменяет вызовы внешних LLM-API на локальные, воспроизводимые и предсказуемые компоненты. Это решение оптимизирует задачи, которые сложно описать жесткими правилами, такие как парсинг поврежденных данных, фильтрация логов или ранжирование результатов поиска, обеспечивая при этом высокую скорость работы и контроль над затратами. arXiv · Исследования и наука Новое теоретическое исследование архитектуры Transformer через C-RASP Исследователи представили теоретическую модель C-RASP для анализа выразительности и сложности обучения трансформеров. Работа фокусируется на концепции «узких учителей» (narrow teachers), позволяющих понять, какие задачи могут эффективно решать LLM при ограниченных вычислительных ресурсах. Авторы доказывают, что выбор архитектурных весов напрямую влияет на способность моделей аппроксимировать сложные алгоритмические функции и минимизировать ошибку выборки. Hacker News · Инференс и железо Tensordyne ускоряет ИИ-инференс через переход к логарифмическим вычислениям Стартап Tensordyne представил технологию, которая радикально ускоряет инференс нейросетей за счет замены традиционных матричных умножений на операции в логарифмическом пространстве. Этот подход позволяет упростить аппаратную реализацию вычислений, снижая энергопотребление и требования к пропускной способности памяти, что критически важно для эффективного развертывания крупных языковых моделей на специализированном оборудовании. arXiv · Обучение и дообучение Новый метод PEFT: Manifold-Constrained Hyper-Connections для дообучения LLM Исследователи представили метод Manifold-Constrained Hyper-Connections (mHC), который предлагает новый подход к эффективному дообучению (PEFT) нейросетей. Вместо модификации весов или активаций, метод фокусируется на оптимизации остаточных связей (residual connections) в архитектуре Transformer. В экспериментах с моделью OLMo-2 подход mHC продемонстрировал высокую эффективность при сохранении замороженных весов основной архитектуры, открывая новые возможности для адаптации моделей. Hacker News · Исследования и наука Tree Transformers: новый подход к архитектуре нейросетей Исследователи представили архитектуру Tree Transformers, которая меняет способ обработки иерархических данных в нейронных сетях. В отличие от стандартных трансформеров, работающих с линейными последовательностями токенов через механизмы внимания, новая модель опирается на древовидную структуру данных. Это позволяет эффективнее моделировать зависимости в задачах, где важна вложенность и иерархия, например, при анализе синтаксиса языков программирования или сложных математических выражений. Hacker News · Обучение и дообучение Bitbop: новый метод обучения тернарных LLM без латентных переменных Исследователи представили Bitbop — метод обучения тернарных языковых моделей, который исключает использование латентных переменных. Подход позволяет эффективно переводить веса нейросетей в трехзначный формат (-1, 0, 1), что значительно снижает требования к памяти и вычислительным мощностям при инференсе, сохраняя при этом высокую точность работы модели по сравнению с полноразмерными аналогами. Hacker News · Исследования и наука Трансформеры как решатели задачи оптимального транспорта Исследователи обнаружили математическую связь между архитектурой трансформеров и задачей оптимального транспорта (Entropic Optimal Transport, EOT). Оказалось, что процесс внимания (attention) в моделях по сути является итеративным алгоритмом поиска оптимального плана перемещения вероятностных масс. Это открытие дает теоретическое обоснование того, почему трансформеры эффективно обучаются на сложных распределениях данных и как именно они структурируют информацию в скрытых пространствах.

← Все материалы