Spark 是继 Hadoop 之后新一代的大数据分布式处理平台，是一个基于内存、容错型的分布式计算引擎，其卓越的用户体验以及统一的技术堆栈使其迅速成为当前最为热门的大数据基础平台。相比于Spark 1.0，Spark 2.0 在功能和性能等方面均有巨大改进，主要体现在标准 SQL 支持、DataFrame/Dateset API的统一、Structured Streaming API以及引擎性能的大幅提升。

本次青云提供的 Spark 2.0.1 版本，是 Spark 2.0 的一个修正版本，共处理了300多个Issue，涉及 Spark 稳定性和 Bug 等方面的修复。关于青云 Spark 的使用，请参考《用户指南》。