为更好的满足用户对 QingMR 大数据服务功能的需求, 本次升级包括的更新如下:
QingMR:立即使用→
- 新增对流式计算 Flink 1.9.0 的支持
- 集群节点支持企业型主机,单节点最高支持 32核CPU 和 128G内存配置
- 集群节点支持 SSD 企业型硬盘,单节点最高容量可达 2TB
至此,QingMR 大数据服务支持的功能如下:
- Hadoop 分布式文件系统 HDFS
- 集群资源管理系统 YARN
- 数据处理框架 Hadoop MapReduce, Spark 和 Flink
- 数据仓库工具 Hive
- 海量数据 OLAP 分析引擎 Kylin 的企业级产品 Kyligence Analytics Platform
- Hadoop MapReduce , Spark 和 Hive 与 QingStor 对象存储集成,无缝读写海量数据
- 支持设置 Hadoop proxyuser
- Spark 支持 Standalone 和 YARN 两种模式
- 支持上传自定义的 Spark 应用内调度器和 YARN 调度器
- 支持基于 Spark 的分布式深度学习框架 BigDL
- 支持 Flink YARN cluster 和 Standalone Flink job on YARN
- Hive 支持 MapReduce 和 Spark 两种执行引擎
- 支持 Python 及 Anaconda 发行版的数据科学包并可在 Python2 和 Python3 之间切换
- 支持 R 语言
更多详细使用指南请参考:QingMR 用户指南