QingMR 大数据服务全新升级,支持 Flink 流式计算

为更好的满足用户对 QingMR 大数据服务功能的需求, 本次升级包括的更新如下:

QingMR:立即使用→
  • 新增对流式计算 Flink 1.9.0 的支持
  • 集群节点支持企业型主机,单节点最高支持 32核CPU 和 128G内存配置
  • 集群节点支持 SSD 企业型硬盘,单节点最高容量可达 2TB

至此,QingMR 大数据服务支持的功能如下:

  • Hadoop 分布式文件系统 HDFS
  • 集群资源管理系统 YARN
  • 数据处理框架 Hadoop MapReduce, Spark 和 Flink
  • 数据仓库工具 Hive
  • 海量数据 OLAP 分析引擎 Kylin 的企业级产品 Kyligence Analytics Platform
  • Hadoop MapReduce , Spark 和 Hive 与 QingStor 对象存储集成,无缝读写海量数据
  • 支持设置 Hadoop proxyuser
  • Spark 支持 Standalone 和 YARN 两种模式
  • 支持上传自定义的 Spark 应用内调度器和 YARN 调度器
  • 支持基于 Spark 的分布式深度学习框架 BigDL
  • 支持 Flink YARN cluster 和 Standalone Flink job on YARN
  • Hive 支持 MapReduce 和 Spark 两种执行引擎
  • 支持 Python 及 Anaconda 发行版的数据科学包并可在 Python2 和 Python3 之间切换
  • 支持 R 语言

更多详细使用指南请参考:QingMR 用户指南