Нативный интерфейс командной строки для операций с таблицами Delta Lake и Iceberg в Windows
Выполняйте нативный SQL запросы к таблицам Delta Lake и Apache Iceberg из терминала Windows, запуская легкий нативный процесс, который обходит JVM и кластеры Spark. DeltaForge, разработчик, позиционирует этот инструмент как утилиту для инженеров данных и команд DevOps, которым нужна локальная разработка и автоматизация CI/CD. Ключевые возможности включают чтение без копирования из S3, ADLS, GCS и локальных дисков, эволюцию схемы и временные путешествия, а также сервер MCP для интеграции с AI помощником.
Что на самом деле делает DeltaForge CLI?
Инструмент запускает нативный SQL-движок против форматов таблиц Delta Lake и Apache Iceberg без необходимости в JVM, Spark или Hadoop. Запросы без копирования читают данные напрямую из S3, ADLS, GCS или локальных файловых систем, а CLI предоставляет действия по управлению схемами, такие как эволюция, временные путешествия и восстановление метаданных (FSCK). Он также поддерживает запросы графов свойств в стиле Cypher по существующим таблицам Delta и включает встроенный сервер MCP для интеграции с ИИ.
Как это влияет на производительность системы во время операций с данными?
DeltaForge работает как нативный процесс на Windows, что, по словам разработчика, обеспечивает до 8-кратного увеличения скорости для стандартных чтений по сравнению с Apache Spark. Нативный бинарный файл снижает накладные расходы JVM и уменьшает сложность стека по сравнению с много-сервисным lakehouse на базе JVM, поэтому локальные запуски и CI-задачи избегают запуска кластерных сервисов и сред выполнения Java.
Безопасен ли он и подходит ли для задач, связанных с CI/CD и производством?
CLI предлагает явную поддержку интеграции CI/CD для автоматизированной проверки данных и развертывания конвейеров, а также включает инструменты для восстановления метаданных, такие как FSCK, для проверок согласованности. Для рабочих процессов, которые взаимодействуют с поставщиками хранилищ, инструмент выполняет операции чтения и управления против S3, ADLS, GCS и локальных дисков; эта операционная модель подразумевает, что администраторам необходимо предоставить те же разрешения на хранение, что и любому движку данных.
Нужны ли специальные знания для работы с инструментом?
Интерфейс ориентирован на командную строку и нацелен на инженеров по данным и специалистов DevOps, поэтому ожидается некоторая знакомство с SQL, концепциями Delta Lake или Iceberg и рабочими процессами терминала. Функции управления схемами и временными путешествиями инструмента подразумевают сложные операции; базовые запросы и чтения без копирования могут выполняться из локального терминала, в то время как интеграция CI предполагает знание сценариев конвейера.
Практичный, высокопроизводительный вариант для инженеров, которые управляют открытыми форматами таблиц
DeltaForge CLI предоставляет нативный, без JVM доступ к SQL для таблиц Delta Lake и Iceberg из терминала Windows, что делает локальную разработку и автоматизацию CI более прямыми. Компромисс заключается в рабочем процессе, ориентированном на инженеров, который требует знаний об открытых форматах таблиц и разрешениях на хранение. Для команд, готовых принять нативный бинарный файл в автоматизированных конвейерах, инструмент предлагает четкую операционную модель и измеренные приросты производительности.
