继 Spark 1.4.1 之后,青云增加了 Spark 最新版本 1.5.0 的支持

继 Spark 1.4.1 之后,青云增加了 Spark 最新版本 1.5.0 的支持。

对比1.4.1, 1.5.0 增加了 1400+ 个代码提交,主要的变化包括 DataFrame/SQL 执行后端优化,使得性能得到很大提高,详情请见 https://issues.apache.org/jira/browse/SPARK-7075。机器学习增加了更多的算法,对以前版本的算法做了改进,并且机器学习开始从library转向构建一个机器学习工作流 Pipeline 的系统。同时在 Streaming 和 Graphx 方面也有非常大的改进。详细说明见 http://spark.apache.org/releases/spark-release-1-5-0.html

青云 Spark 服务同时也支持现有用户从1.4.1版本升级到1.5.0,升级步骤见

https://docs.qingcloud.com/guide/spark.html#id7

upgrade_spark