QingMR 支持NeonSAN、支持 BigDL深度学习框架

青云 QingCloud 大数据相关服务将会统一在 QingMR 下。 QingMR 目前已经集成了:分布式文件系统 HDFS、集群资源管理系统 YARN、数据处理框架 Hadoop MapReduceSpark、数据仓库工具 Hive 、极速海量数据 OLAP 分析引擎 Kylin,为更好的满足用户对大数据产品更多的需求,本次对核心组件进行了版本升级,新增对基于 Spark 的分布式深度学习框架 BigDL 的支持,具体更新如下::

QingMR 2.0 – Core立即使用→

  • Hadoop 版本升级到 2.9.2 ;
  • Spark 版本升级到 2.2.3 ;
  • Hive 版本升级到 2.3.5 ;
  • 新增 Hadoop, Spark 和 Hive 对 lzo 压缩的支持;
  • 新增对基于 Spark 的分布式深度学习框架 BigDL 的支持;
  • 新增 NeonSAN 超高性能大容量存储的支持,单节点最高容量可达 50 TB。
  • 新增 Spark 作为 Hive 的默认执行引擎即 Hive on Spark,同时支持用户切换到传统的 MapReduce 引擎。
  • 新增多个 Hive 调优配置参数。
  • 新增 Hive 通过 beeline 执行 HQL 使用指南。
  • 新增 HiveServer2 WEB UI 使用指南。

RabbitMQ on QingCloud 支持 Region 多可用区部署

为帮助用户便捷地构建高可用的业务架构,青云对 AppCenter上 RabbitMQ 进行了升级,用户可以在 Region 内实现跨可用区部署,实现系统架构的多可用区部署,构建多活及灾备业务架构。本次更新包括如下:

RabbitMQ on QingCloud:立即使用→
  • 新增 Region 跨区部署功能,实现同城多活,增强业务容灾能力;
  • 修复 VIP 偶尔丢失的问题;

PostgreSQL V1.0.10版本 Release Notes

PostgreSQL立即使用→)为了提高产品稳定性,同时增强用户体验,在 V1.0.10 版本中,修复了之前版本的一些bug,并新增了多项服务,具体情况如下:

PG9.6-高可用版-V1.0.10

  • 磁盘扩容最大支持2T

  • 增加zh_CN.UTF-8支持
  • 支持TimescaleDB
  • 修复从备份恢复集群从库启动失败问题
  • 增强自动化运维能力
  • 支持wal2json插件

PG10-高可用版-V1.0.10

  • 增强自动化运维能力
  • 支持wal2json插件

MySQL Plus 支持创建高级权限账户及开启更多调优参数等

MySQL Plus 为了增加用户体验,在 1.5.2 版本中,新增了多项服务,并同时提供标准版和对企业级分布式 SAN—NeonSAN 支持的两种版本,其中NeonSAN 版本中每个节点的硬盘容量可支持最高 50 TB,具体新增功能如下:

MySQL Plus立即使用→

  • 支持创建高级权限账户,并展示用户权限类型;

  • 支持指定同步日志月数

  • 控制台新增 MySQL 参数 binlog_cache_size、binlog_stmt_cache_size

  • MySQL 内核升级至 5.7.25-28

Harbor On QingCloud 升级至 1.7.4,并支持最高容量 50T 的 NeonSAN 存储节点

Harbor On QingCloud 发布新版 Harbor 1.7.4 – QingCloud 1.2.1,升级到 Harbor 最新稳定版 1.7.4 ,Harbor 1.7.4 包含多项修复,同时 app 存储节点支持 NeonSAN,最高可达 50T

Harbor 是一个开源的企业级私有 Docker 镜像仓库方案,用于存储和分发 Docker 镜像,并提供基于角色的权限控制、仓库间 Image 异步复制、LDAP/AD 支持、图形界面等功能。

Harbor on QingCloud 将 Harbor 制作成了 App,能直接在 AppCenter 进行一键部署,并提供了一个高可用、高安全、高性能的解决方案,具有如下特性:

  • 镜像存储集成 QingStor 对象存储—— 通用的海量非结构化数据存储服务,由青云QingCloud 提供,具有安全可靠、简单易用、高性能、低成本等特点
  • 镜像存储也可选择使用本地存储
  • 支持应用节点横向和纵向伸缩
  • 高可用
  • 一键部署

 

本次更新升级到 Harbor 最新稳定版 1.7.4 ,同时 app 支持 QingStor NeonSAN 并修复了集群健康检查在 dns 查询慢的情况下导致创建失败的问题。

NeonSAN 存储节点单盘最高可达 50T:

升级前请手动备份原有配置,详见官方文档

分布式数据库 RadonDB 支持可下推 Join 及全局自增 ID

青云 QingCloud RadonDB 是基于 MySQL 研发的新一代分布式关系型数据库,1.0.5 对版本进行升级,并修复若干 BUG ,具体新增功能如下:

RadonDB立即使用→

  • SQL节点radon版本升级到v1.0.5,修复若干bug
  • 增加 show table status 支持(Navicat)
  • 增加可下推 join 的功能支持
  • 增加全局自增 (auto-increment)ID 支持

MySQL Plus 支持 SSL 加密 & 磁盘自动扩容 & 开启更多调优参数等

MySQL Plus 为了增加用户体验,在 1.5.0 版本中,新增了多项服务,并同时提供标准版和对企业级分布式 SAN—NeonSAN 同时支持的两种版本,具体新增功能如下:

MySQL Plus立即使用→

  • 增加 SSL 传输加密服务,可选择是否开启 SSL 传输加密,默认关闭;

  • 增加 指定 Master 节点 服务,可指定任意节点作为集群主节点

  • 增加了在启用 VPC 下的 DNS 服务时提供数据库 DNS 服务,注意启动时刻服务会导致集群网络闪断

  • 开放参数:innodb_print_all_deadlocks、autocommit、transaction-isolation、innodb_log_buffer_size、innodb_log_file_size、innodb_log_files_in_group
  • 支持自动扩容磁盘容量

  • 标准版支持磁盘最大可用容量为 2TB

Kafka On QingCloud 支持节点和磁盘容量自动伸缩 & RabbitMQ 稳定性优化

为更好的满足用户对 Kafka & RabbitMQ 的需求,本次更新如下:

Kafka on QingCloud 立即使用→

  • Kafka 支持自动伸缩框架实现根据规则自动扩容磁盘和新增节点功能;
RabbitMQ on QingCloud 立即使用→
  • 修复 hipe compile 启动时间过长导致健康检查脚本不断重启服务的问题;
  • 修复关闭集群再开启后延迟队列插件失效的问题;

Redis & ZooKeeper & RocketMQ on QingCloud 支持 Region 多可用区部署

为帮助用户便捷地构建高可用的业务架构,青云对 AppCenter上 Redis & ZooKeeper 进行了升级,用户可以在 Region 内实现跨可用区部署,实现系统架构的多可用区部署,构建多活及灾备业务架构。本次更新包括如下:

Redis Cluster on QingCloud:立即使用→

 

  • 版本升级为 Redis Cluster v5.0.3;
  • 新增 Region 跨区部署功能,实现同城多活,增强业务容灾能力;
  • 修改正节点实时状态信息,监控状态更加精准;
  • 修复 Redis 内存使用率显示不准确问题;
  • 修复 FLUSHALL、FLUSHDB 命令的使用导致升级后的 Redis 无法启动的问题;

Redis Standalone on QingCloud:立即使用→

  • 版本升级为 Redis v5.0.3;
  • 新增 Region 跨区部署功能,实现同城多活,增强业务容灾能力;
  • 新增 2 节点部署模式;
  • 新增 2 节点支持主从切换功能;
  • 新增实时查看节点的主从关系功能;

ZooKeeper on QingCloud:立即使用→

  • 新增 Region 跨区部署功能,实现同城多活,增强业务容灾能力;

RocketMQ on QingCloud:立即使用→

  • 新增 Region 跨区部署功能,实现同城多活,增强业务容灾能力;

分布式消息及流数据平台 RocketMQ on QingCloud 上线

RocketMQ on QingCloud 是一个基于 Apache 2.0 协议开源的分布式消息和流数据平台,具有低延时、高吞吐、可审计、水平扩展等优点。立即使用→

 

RocketMQ on QingCloud的主要功能:

 

  • 基于RocketMQ 4.3.1版本;
  • 多种部署方式:单Master、多Master,单Master多Slave、多Master多Slave 等多种部署方式,满足广大用户的不同需求;
  • 支持 Region 跨区部署功能,实现同城多活,增强业务容灾能力;
  • 支持健康检查,宕机自动修复;
  • 支持横向与纵向在线伸缩;
  • 可通过网页控制台对集群进行可视化管理;查询消息