arXiv · 15.06.2026 ·Исследования в области ИИ

Как изменились практики документирования в AI за десятилетие

Новое исследование, опубликованное на arXiv, анализирует тенденции в документировании AI-исследований за последние десять лет. Авторы проанализировали 56 800 конференционных статей, чтобы понять, как изменились практики документирования в ответ на кризис воспроизводимости результатов.

Кризис воспроизводимости в AI привел к тому, что ведущие конференции и журналы начали требовать от авторов заполнять специальные чек-листы, которые помогают оценить качество и полноту предоставленных данных. Исследование показывает, что с введением таких чек-листов в 2015 году количество статей, содержащих достаточную информацию для воспроизведения, значительно увеличилось.

Авторы отмечают, что наиболее значимые изменения произошли в области машинного обучения и компьютерного зрения. В этих областях доля статей с полным описанием методов и данных выросла на 30% по сравнению с 2015 годом. Однако, несмотря на прогресс, многие статьи все еще содержат недостаточно информации для полного воспроизведения экспериментов.

Исследование подчеркивает важность продолжающих усилий по улучшению практик документирования. Это особенно актуально для разработчиков ИИ-агентов, так как воспроизводимость результатов является ключевым фактором для создания надежных и эффективных систем. Понимание текущих тенденций в документировании помогает улучшать процессы разработки и внедрения ИИ-технологий.

Источник: arXiv

Похожие материалы

Hacker News · Влияние ИИ на рынок труда Как ИИ меняет карьеры и бюджеты разработчиков Согласно статье Wall Street Journal, ИИ продолжает оказывать значительное влияние на рынок труда, особенно в сфере разработки ПО. Многие инженеры сталкиваются с необходимостью переориентировать свои карьеры или сокращать расходы из-за автоматизации процессов, которую обеспечивают ИИ-инструменты. Это приводит к изменению спроса на определённые навыки и технологические компетенции. Hacker News · Развитие AI-разработки Как передовые команды меняют подходы к AI-разработке Передовые команды в области ИИ активно переосмысливают подходы к разработке, делая акцент на AI-native разработке. Это подход, при котором ИИ интегрируется на всех этапах создания программного обеспечения, от проектирования до тестирования и развертывания. В отличие от традиционных методов, где ИИ используется как дополнительный инструмент, AI-native разработка предполагает, что ИИ является неотъемлемой частью процесса. arXiv · Ошибки в ИИ-агентах Исследование скрытых ошибок в работе ИИ-агентов Исследователи из Arxiv представили longitudinal study о скрытых ошибках в работе ИИ-агентов, которые работают как долгосрочные автономные системы. В исследовании анализируется система личного ассистента, работающая с марта 2026 года. Система включает в себя около 40 запланированных задач, 8 поставщиков LLM, инструментальный прокси и базу знаний. Hacker News · ИИ и рынок труда Как ИИ меняет работу людей в сфере обслуживания Исследование, опубликованное на платформе Hacker News, поднимает важный вопрос о том, как внедрение ИИ влияет на традиционные профессии, особенно в сфере обслуживания. Автор статьи рассматривает примеры, когда ИИ-агенты начинают выполнять задачи, которые ранее были доступны только людям, и как это меняет рынок труда. Hacker News · Развитие ИИ и инженерия ИИ требует больше инженерной дисциплины В статье на Substack автор поднимает важный вопрос о том, что развитие ИИ требует не меньшей, а большей инженерной дисциплины. Это связано с тем, что ИИ-системы становятся всё более сложными и требуют тщательного управления, тестирования и оптимизации. Автор отмечает, что в условиях быстрого развития технологий и высокой конкуренции, компании часто склонны жертвовать качеством ради скорости. Однако, как показывает практика, именно дисциплинированный подход к разработке позволяет создавать более надёжные и эффективные системы. Simon Willison's Weblog · ИИ и будущее разработки ПО Как ИИ меняет спрос на программное обеспечение Андрей Карпати, известный исследователь в области ИИ, поделился своими наблюдениями о том, как ИИ меняет спрос на программное обеспечение. По его словам, с развитием ИИ-инструментов, способных создавать рабочее ПО по запросу, наблюдается эффект Джевонса: чем больше доступно возможностей, тем выше спрос на них. Карпати отмечает, что его собственная потребность в программном обеспечении существенно выросла, так как теперь можно запросить практически любые инструменты — от объяснений и визуализаций до специализированных приложений и оптимизации кода. Hacker News · ИИ и рынок труда Оценка продуктивности ИИ-инженера Компания Cognition AI опубликовала исследование, в котором оценила продуктивность автономного ИИ-инженера. По данным исследования, ИИ-инженер, работающий автономно, может быть в 5–10 раз продуктивнее обычного разработчика. Это связано с тем, что ИИ не нуждается в отдыхе, может работать круглосуточно и не подвержен человеческим ошибкам. Hacker News · AI-агенты и память Исследование: случайный прорыв в памяти ИИ-агентов Исследователи из Coder Company случайно достигли нового уровня в области памяти ИИ-агентов, используя подход, основанный на AI-компаньонах. В ходе эксперимента они обнаружили, что агенты, взаимодействующие друг с другом, способны сохранять и использовать информацию более эффективно, чем традиционные методы. arXiv · Оценка и аудит ИИ Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. arXiv · Синтетические данные в исследованиях Использование синтетических данных в научных исследованиях В последнее время наблюдается рост интереса к применению синтетических данных в научных исследованиях. Социальные науки, например, предлагают использовать "силиконовые образцы", сгенерированные языковыми моделями, для пилотных исследований. В области ИИ всё чаще применяются "судьи" на основе языковых моделей для оценки качества моделей. Даже в биоинформатике синтетические данные ускоряют исследования, например, в области протеомики.

← Все материалы