Данные и инжиниринг
Инструмент для анализа временных моделей в PySpark, SQL и dbt
Разработчики представили инструмент Bitemporal Debugger, который помогает анализировать и отлаживать временные модели в PySpark, SQL и dbt. Это особенно важно для компаний, работающих с большими объемами данных и нуждающихся в точном управлении временными данными.
Maven Central вводит ограничения на публикацию пакетов
Maven Central, крупнейший репозиторий для Java-библиотек, вводит новые ограничения на публикацию пакетов. Теперь разработчики могут публиковать не более 1000 артефактов в месяц, а также ограничены по количеству групп и имен пакетов.
Execution Memory как новый уровень инфраструктуры блокчейна
Разработчики блокчейнов активно исследуют концепцию Execution Memory как ключевого элемента инфраструктуры. Это направление может изменить подход к обработке данных в децентрализованных системах.
Linux ужесточает правила принятия новых файловых систем в ядро
Разработчики Linux обновили руководство по интеграции новых файловых систем в ядро операционной системы. Новые требования направлены на повышение стабильности и безопасности.
PostgreSQL 19 добавил поддержку графовых структур данных
В новой версии PostgreSQL 19 появилась поддержка графовых структур данных. Это позволяет хранить и обрабатывать данные в виде узлов и рёбер, что особенно полезно для анализа сложных взаимосвязей.
Amazon S3 Annotations: контекст для объектов в хранилище
Amazon представил S3 Annotations — функцию, позволяющую добавлять к объектам в S3 дополнительный контекст. Это упрощает работу с данными, делая их более структурированными и удобными для поиска.
Weaviate Cloud теперь бесплатен для старта
Weaviate, векторная база данных, объявила о запуске бесплатного тарифа для своей облачной платформы. Теперь пользователи могут бесплатно использовать весь функционал Weaviate Cloud, включая хранение, поиск и анализ векторных данных.
Datasette 1.0a34 добавил редактирование данных прямо в интерфейсе
В новой версии Datasette 1.0a34 появились инструменты для добавления, редактирования и удаления строк данных прямо в интерфейсе. Эти функции доступны на страницах таблиц, а также как действия на страницах строк. Разработчик Simon Willison отмечает, что идея этой функции, которая давно была на повестке дня, была вдохновлена Datasette Agent.
Сравнение FTS5 и ChromaDB на реальных сессиях
Компания Labyrinth Analytics Consulting провела сравнительный тест двух систем для работы с данными: FTS5 и ChromaDB. В ходе эксперимента было проанализировано 217 реальных сессий. Результаты показали, что FTS5 обработал 30% данных, тогда как ChromaDB справился со 100%.
Новый датасет для обучения LLM на финансовых отчётах
Исследователи из Стэнфорда представили новый датасет для обучения языковых моделей. Stanford EDGAR Filings Dataset (SEFD) содержит финансовые отчёты компаний США, собранные из системы EDGAR SEC. Это первый крупный датасет, который включает структурированные и длинные документы с сохранением оригинального форматирования.
Как Cloudflare нашёл скрытый узкий место в ClickHouse
Сотрудники Cloudflare столкнулись с внезапным замедлением в своей биллинговой системе. Причиной оказалось скрытое узкое место в ClickHouse — базе данных, обрабатывающей петабайты данных. Стандартные метрики не выявили очевидных ошибок, но команда обнаружила серьёзные проблемы с блокировками в планировщике запросов ClickHouse.
Создание систем семантического поиска по аудио на базе глубокого обучения
Команда Jina AI представила практическое руководство по созданию поисковых систем для аудиоданных, использующих нейросетевые эмбеддинги. Решение позволяет находить похожие аудиофрагменты в больших массивах данных, опираясь на их семантическое содержание, а не только на метаданные. Инструментарий демонстрирует процесс векторизации звука и интеграцию в поисковые пайплайны для обработки неструктурированного аудиоконтента.