Datasetq: jq for Datasets; Polars-powered Parquet/JSON/CSV query lang/cli
2 months ago
- #data-processing
- #jq-syntax
- #Polars
- dsq是一款高性能数据处理工具，扩展了类jq语法以支持结构化数据格式
- 支持多种格式包括Parquet、Avro、CSV、JSON Lines、Arrow并具备自动检测功能
- 基于Polars构建，通过惰性求值和高效内存使用实现快速数据操作
- 提供熟悉的jq风格过滤语法，并扩展支持表格数据操作
- 具备正确的类型处理和清晰的错误提示
- 支持Linux、Mac和Windows系统，可通过Rust工具链安装
- 功能包括格式转换、数据聚合、过滤和变形处理
- 支持大数据集的惰性求值，并包含交互式REPL环境
- 提供数据检查、合并和自动补全生成等命令
- 详细文档涵盖架构设计、函数说明、格式支持、API接口和配置指南
- 欢迎贡献代码，重点关注兼容性、测试覆盖和文档完善