Apache Spark 4.0
a year ago
- #Open Source
- #Apache Spark
- #Big Data
- Apache Spark 4.0.0是4.x系列的首个版本，由390多位贡献者共同完成，解决了5100多个问题单。
- Spark Connect、Spark SQL、PySpark和Structured Streaming的关键改进提升了功能性和开发者体验。
- 新增特性包括VARIANT数据类型支持、SQL用户自定义函数、原生绘图API以及Arbitrary State API v2。
- 对依赖项和库进行了重大更新，包括升级Hadoop、Hive及多个Java库。
- 该版本包含大量API增强、错误修复以及所有模块的性能优化。