大数据引擎 SparkMR on QingCloud 上线

Posted on by

SparkMR on QingCloud 将 Apache Hadoop 和 Spark 集成到同一个集群服务中，以AppCenter云应用的形式交付给用户使用。

1.0 版本功能

  • 当前版本支持的Hadoop和Spark分别是 Apache Hadoop 2.7.3 和 Apache Spark 2.2.0 ；
  • 支持Apache Hadoop的绝大部分功能以及Apache Spark的所有功能，并都可以与QingStor对象存储集成；
  • 支持Spark Standalone和Spark on YARN两种模式；
  • 支持Python及Anaconda发行版的数据科学包并可在Python2和Python3之间切换；
  • 支持设置Hadoop proxyuser；
  • 同时提供了Anaconda发行版的Python 2.7.13和Python 3.6.1及其对应的Anaconda发行版的数据科学包numpy, scikit-learn, scipy, Pandas, NLTK and Matplotlib等，并可在Python2和Python3之间进行切换；
  • 支持R语言；
  • 支持上传自定义的Spark应用内调度器和YARN调度器；
  • 配置参数增加到近60个，定制服务更方便；
  • 指定依赖服务，自动添加依赖服务中所有节点到hosts；
  • 此外还提供了服务级别的监控告警、健康检查与服务自动恢复；支持水平与垂直扩容。

产品使用地址为：https://appcenter.qingcloud.com/apps/app-6iuoe9qs