Dataframely: A polars-native data frame validation library
a year ago
- #polars
- #python
- #data-validation
- QuantCo将数据管道从pandas迁移到polars以获得性能提升。
- 遗留代码库在数据框不变量方面缺乏清晰度，导致效率低下。
- 现有验证库（如pandera和patito）对polars的支持存在局限性。
- dataframely的开发旨在通过原生支持polars来解决这些不足。
- 功能包括模式定义、验证、相互依赖的数据框检查以及测试数据生成。
- 软验证和故障内省改善了生产管道中的调试过程。
- dataframely增强了代码可读性、健壮性和静态类型检查。
- 已在多个团队中成功用于分析和生产管道。
- 开源以惠及更广泛的数据工程社区。