QingMR 支持NeonSAN、支持 BigDL深度学习框架

Posted on by

青云 QingCloud 大数据相关服务将会统一在 QingMR 下。 QingMR 目前已经集成了:分布式文件系统 HDFS、集群资源管理系统 YARN、数据处理框架 Hadoop MapReduce 和 Spark、数据仓库工具 Hive 、极速海量数据 OLAP 分析引擎 Kylin，为更好的满足用户对大数据产品更多的需求，本次对核心组件进行了版本升级，新增对基于 Spark 的分布式深度学习框架 BigDL 的支持，具体更新如下：：

QingMR 2.0 – Core：立即使用→

  • Hadoop 版本升级到 2.9.2 ；
  • Spark 版本升级到 2.2.3 ；
  • Hive 版本升级到 2.3.5 ；
  • 新增 Hadoop, Spark 和 Hive 对 lzo 压缩的支持；
  • 新增对基于 Spark 的分布式深度学习框架 BigDL 的支持；
  • 新增 NeonSAN 超高性能大容量存储的支持，单节点最高容量可达 50 TB。
  • 新增 Spark 作为 Hive 的默认执行引擎即 Hive on Spark，同时支持用户切换到传统的 MapReduce 引擎。
  • 新增多个 Hive 调优配置参数。
  • 新增 Hive 通过 beeline 执行 HQL 使用指南。
  • 新增 HiveServer2 WEB UI 使用指南。