QingCloud MySQL Plus 1.0.3 版本发布——持续提升集群性能及管理便捷性

为了持续提高用户集群管理的便捷性以及集群的整体性能,在MySQL Plus 1.0.3 版本中,新增了多项相关功能及修复了若干集群自动化运维问题如下:

高可用版-1.0.3:

1. 支持在线迁移后交换预留IP功能

2. 采用性能更高的主机

3. 缩小集群扩容时主丢失的时间窗口

4. 默认关闭并行复制

5. 支持自动订正 proxy 节点账户

6. 在线迁移期间禁用部分干扰指令

7. 开放 innodb_flush_method 和 innodb_use_native_aio 参数

8. 修复某些情况下启动集群失败后无法自动拉起服务的问题

9. 修复读 VIP 与节点 IP 前缀不同时导致的启动失败问题

10. 修复 transaction_isolation 参数更新失败问题

11. 修复 ubuntu bug 导致的系统进程内存占用过大问题

 

金融版-1.0.3:

1. 支持在线迁移后交换预留IP功能

2. 缩小集群扩容时主丢失的时间窗口

3. 支持自动订正 proxy 节点账户

4. 自动检测处于 RECOVERING 状态的节点

5. 在线迁移期间禁用部分干扰指令

6. 开放 innodb_flush_method 和 innodb_use_native_aio 参数

7. 修复某些情况下启动集群失败后无法自动拉起服务的问题

8. 修复读 VIP 与节点 IP 前缀不同时导致的启动失败问题

9. 修复 transaction_isolation 参数更新失败问题

10. 修复 ubuntu bug 导致的系统进程内存占用过大问题

 

基础版-1.0.3:

1. 支持自动订正 root 账号

2. 在线迁移期间禁用部分干扰指令

3. 开放 innodb_flush_method 和 innodb_use_native_aio 参数

4. 修复某些情况下启动集群失败后无法自动拉起服务的问题

5. 修复 transaction_isolation 参数更新失败问题

6. 修复 ubuntu bug 导致的系统进程内存占用过大问题

 

MySQL Plus立即使用→

企业级分布式SAN (NeonSAN)硬盘全面升级,性能大幅提升

企业级分布式 SAN(NeonSAN)硬盘
采用全闪存架构和 RDMA 网络,具有高 IOPS、高吞吐量、低延迟、大容量等特性能,
日前,企业级分布式SAN (NeonSAN) 多区(北京3区B/C/D,上海1区A/B, 广东2区A/B)硬盘产品正式完成技术升级,性能大幅度提升,全方位满足不同区域用户对高性能,大容量存储的需求。
通过此次技术升级,产品性能提升幅度达67%,单盘IOPS最大可达50000,单盘吞吐最大可达350MB/s,单盘最大容量20TB,性价比更加突出。
企业级分布式 SAN(NeonSAN)是基于全闪存架构提供的分布式 SAN 服务,适用于对 IOPS、吞吐、容量和稳定性要求很高的业务,例如:企业核心数据库 Oracle RAC 、 SQL Server 故障转移集群、企业级分布式数据库 RadonDB、物理主机高可用架构、大数据分析计算,以及搭建高可用容器集群等。
企业级分布式SAN (NeonSAN) 不仅可以作为一种特定的硬盘类型(企业级分布式SAN)提供给主机使用,同时可以在公有云上为客户提供物理主机+共享存储的解决方(BM +NeonSAN)。另外,对于数据库类型的应用,比如MySQL Plus,NeonSAN也可以为其提供更高性能和更大容量的后端存储。

AppCenter 2.0 开发框架部分功能升级

AppCenter2.0 开发框架为更好支持各应用开发用户的需求,

新增功能:

1. 支持集群备份跨区迁移功能。

支持用户在当前区进行集群备份,并可将该备份迁移到目标区,实现集群备份跨区迁移。

2.支持修改集群节点主机类型的功能.

3. 支持 in-place 升级功能。

目前已支持滚动升级和并行升级,并行升级需要整体关闭再启动,滚动升级是一台一台节点重启。而 in-place 升级功能支持用户不需要重启服务的场景。
具体流程:开发者创建一个 备份,把需要修复的内容放入,升级的时候,平台会把备份恢复为硬盘并挂载到运行的主机上,执行修复操作。

4. 支持由 单可用区部署集群迁移到多可用区部署。

当用户部署某个集群时是用的单可用区,后面如业务有高可用性的需求,可支持用户将集群修改为多可用户区部署,通过该功能,可自动完成。

问题修复:

1.迁移 metadata 主机触发 repair 时,遇到 kernel panic 则重启主机

2.修复当 metadata 集群状态为 deleted 时集群切换私网失败的问题

3.修复 centos 系统获取 confd 启动 port 报错的问题

4.修复节点与主机 vxnet_id 不一致引起的报错

5.修复存储是 NeonSAN 类型的 cluster 增量备份失败问题

6.启动集群时检查依赖集群是否处于 transition 状态

QingCloud DNS 域名解析服务 V1.0 beta 版发布

关于 QingCloud DNS

域名系统(Domain Name System,缩写:DNS)是互联网的一项基础网络服务, 它的主要作用是将域名和 IP 地址相互解析映射,以辅助广大网民访问互联网。QingCloud DNS 作为一款权威域名解析服务,将以域名为入口整合 QingCloud 相关服务与资源,致力于为域名所有者打造一个更稳定、更安全、更快速、更精准、更便捷的云计算智能解析管理平台。

日前,青云 QingCloud DNS 服务 V1.0 Beta 版(qingcloud.com/products/dns/)正式开启免费公测。

本版已发布的功能列表

权威 DNS 服务核心功能

1. 支持主域名托管

我们支持的顶级域名 TLD 同步自 IANA 列表:https://www.iana.org/domains/root/db  在此基础上支持中文、韩文等非拉丁字符特殊域名,前端有做转换。

为提高域名监管措施建立黑名单机制,黑名单中的域名一经匹配则禁止添加。我们除同步工信部站点黑名单外,青云内部管理员还可通过管理后台添加和移除域名黑名单。

2. 支持拆分子域名托管

添加域名时,一些解析记录比较多的域名可以分拆为多个子域名分别让不同的人去管理。例如针对 qingcloud.com 主域,可以分别直接添加 www.qingcloud.com、console.qingcloud.com、appcenter.qingcloud.com 等子域解析。

限制最高支持 5 级子域直接管理,即:a.b.c.d.com.

更多关于子域托管的介绍及使用,可参见:https://docs.qingcloud.com/product/network/dns_rw/dns_subzone

3. 支持多级泛域名解析

泛域名限制全长最高支持 10 级,即:*.a.b.c.d.e.f.g.h.com.

4. 支持常见资源记录类型并扩展支持代理 HTTP 跳转类型

用户可在页面上配置 7 种标准 DNS 资源记录类型: A、AAAA、CNAME、MX、TXT、PTR、NS,以及 301 跳转、302 跳转和隐性跳转三种扩展 HTTP 跳转类型

下拉菜单出现显示灰色不可点击时是因为前端限制不符合填写标准。 NS 和 PTR 记录对 host 格式有严格标准,跳转服务仅支持已备案域名使用。

5. 同时支持 IPv4 和 IPv6 双栈网络

为了响应中国工信部网络管理号召,我们为权威 DNS 服务提供了 IPv6 接入解析。

当网民用户客户端切换到 IPv6 网络环境时(本地 IP 和本地 DNS 配置都使用 IPv6),该网民访问 QingCloud DNS 托管的域名将无缝使用 IPv6 服务能力解析。

6. 支持域名分平台解析及平台迁移

为了建立更稳定的解析服务,我们设计智能分平台的域名调度管理机制。在 Console 用户添加域名时,DNS 后台会根据一定规则选择将域名分配到不同的 NS 平台来提供解析服务。

不同的解析服务平台提供的 NS 地址不同,它将体现在用户域名的托管提示中:

权威 DNS 服务高级功能:智能分线解析及多种解析模式

1. 支持按地理位置及运营商配置解析

dnsserver 支持 edns-client-subnet,以根据 IP 段来划分访问来源。 目前我们可以做到国内精确到运营商,海外精确到国家及部分运营商:

当使用了分区域解析后,客户可随心所欲配置自己站点的目标访问地址。

例如下图配置表示来自中国电信的网民访问 www.ephen.me 解析到 1.1.1.1 ,其他网民全部访问到 ephen.me :

2. 支持 A 类型轮询模式解析以平衡负载

默认我们为所有的记录类型使用普通模式,即如下配置中网民每次访问 www.qingcloud.com 都将会按照记录值中的顺序返回。

这样会使得第一个解析结果(1.1.1.1)的访问压力远远大于后面的 2 个。

为了实现平衡负载,我们增加轮询模式:

切换到轮询模式后,每次解析查询时将下一个解析结果置为优先。即第一次查询结果为 1.1.1.1,2.2.2.2,3.3.3.3 ,第二次为 2.2.2.2,3.3.3.3,1.1.1.1 ,依此类推。

3. 支持 A 类型根据运营商和地理位置自动调度

此为 A 类型解析智能模式。

当客户在同一条线路上启用智能模式填写多个 A 记录值时,我们会根据网民所在位置和所属运营商,将这组记录值按其匹配优势重新排序。例如 www.qingstor.com 配置 A 记录智能解析:

尽管所选线路为“全网默认”,我们依然会让中国电信的网民访问 www.qingstor.com 时的自动解析顺序为 139.198.1.252,27.113.128.0 ,而中国联通网民则为 27.113.128.0,139.198.1.252 。

该模式主要针对较大型的站点不太方便维护较多细分线路解析的情况。

4. 支持 A 和 CNAME 灵活自定义权重以负载均衡

我们支持 A 和 CNAME 配置权重模式,让网民每次访问时根据客户设置的比例分组返回不同的解析结果,以达到完全自定义的负载均衡。例如 qingstor.com 配置 A 和 CNAME 记录权重解析:

中国电信的网民访问 qingstor.com 时,将解析到 www.qingcloud.com 或 www.qingstor.com ,经过反复多次解析后两者比例将趋近为 4:1 ; 其他地区的网民访问 qingstor.com 则解析到 139.198.1.252 或 139.198.1.252,139.198.13.59 ,经过反复多次解析后两者比例将趋近为 1:2 。

该模式将会更好的提高客户站点资源的利用效率:通过权重自定义让资源较好的主机承担更多的解析压力,而资源较差的主机也可以不用闲置,承担较少的解析压力即可。

更多关于解析模式的介绍及使用,可参见:https://docs.qingcloud.com/product/network/dns_rw/dns_mode

可视化页面用户体验功能

1. 域名状态及常见信息展示

– 实时更新显示域名解析状态和接管状态

– 自动获取域名备案信息,未备案域名可直接转到青云备案系统

– 自动获取域名注册商及到期时间

– 支持添加域名备注及手工刷新状态

2. 基于域名的线路视图配置

未配置域名可用线路时,可选择全网默认、中国电信、中国联通、中国移动和港澳台及海外。

同时可配置基于域名的可用线路,以避免每次都在大量线路中选择:

更多关于线路配置的介绍及使用,可参见:https://docs.qingcloud.com/product/network/dns_rw/dns_view

3. 解析记录的灵活编辑

– 新建、启用、暂停、删除

– 修改类型、修改线路、更换模式

– 添加 host 信息备注

4. 域名维度解析量统计展示

按日环比及同比、总解析量和最高解析量:

按月环比、总解析量和最高解析量:

开放 API 文档 V1.0

青云 QingCloud DNS 服务 V1.0 Beta 版为客户同步提供开放 API 操作,详情参见:https://docs.qingcloud.com/product/network/dns_rw/dns_api/

防火墙规则定时启用/禁用

对于云上业务系统运维人员来说,配置管理一直是一个较为头疼的问题。由于云计算给系统运维带来的敏捷性,配置变更几乎每时每刻都在发生,如何记录这些配置变更,并能够做到少出错、不遗忘,是一个较大的难题。

场景一:有时为了调试云上的业务系统,需要临时放开防火墙规则的限制,在问题调试完成后,再将临时启用的规则禁用。有时候防火墙的管理者和业务系统的调试者并不是同一个人,这就存在着防火墙临时规则管理的漏洞,往往调试已经完成,但是忘记通知防火墙的管理者,而防火墙的管理者也不记得该条规则为什么开放,该条临时规则就会变成一直开放的规则,将业务系统暴露于风险之下。

为了应对上述场景,我们推出了防火墙规则定时启用/禁用的功能,您可以在定时器中管理防火墙的规则,实现“临时启用规则,定时禁用规则”的效果。

首先,创建一个定时器,仅执行一次,时间设置为防火墙规则的禁用时间。

然后,创建定时器任务,选择防火墙,并选择要禁用的规则。

最后,点击“提交”,查看创建好的任务。

只需这么简单的几步操作,防火墙的管理者就可以放心的将临时规则启用,不用再担心自己会忘记将临时规则禁用了。

场景二:有一个业务系统需要每天凌晨3点定时上报业务数据,该上报数据服务采用固定的端口,数据上报批量大约需运行1个多小时,在非上报数据时间,该上报数据端口需要关闭以保证服务安全。您只需要设置两个定时器,无需闹钟与熬夜即可轻松完成该项工作。

每天凌晨3点,启用数据上报端口。

每天凌晨5点,再将数据上报端口禁用。

本功能还有诸多场景等待您的挖掘!

新增防火墙规则导出导入功能

QingCloud 防火墙可以加强位于基础网络中的主机或路由器的安全性,您可以为防火墙添加上行/下行规则,以实现云上资源的访问安全。QingCloud 防火墙因为简单易用、功能强大灵活,一直以来是云上使用最为广泛的产品之一。为了方便您管理防火墙规则,QingCloud 防火墙具备跨区复制、规则备份/回滚、规则模板、IP/端口集合等功能,可以适应多种场景下的防火墙规则管理。近期,防火墙又迎来了一次功能升级,新增了防火墙规则的导入导出功能,您可以将一个帐号下的防火墙规则导出,再导入到您另一个帐号里的防火墙里,实现防火墙规则的跨帐号快速复制。

具体的操作流程如下:

1、在要导出的防火墙规则页面点击“更多操作”,在下拉菜单中点击“导出规则”

2、页面会自动下载包含有防火墙规则的 csv 文件,以 防火墙名称_(防火墙ID).csv 命名。

3、在另外要导入规则的防火墙规则页面点击“导入规则”

4、在弹出的导入规则对话框中,点击“上传文件”,选择包含有防火墙规则的 csv 文件

系统会识别 csv 文件中防火墙规则的条数,并与当前防火墙的规则进行比对检查。

5、对于不符合导入规范的规则,您可以点击“查看”进行检查

点击规则前的小问号,可以查看该条规则不符合的原因。

6、确认无误后,点击“继续导入”,将防火墙规则导入。原有的IP/端口集合,会自动创建新的IP/端口集合,并添加到防火墙规则上

7、导入后,点击“应用修改”,将防火墙规则应用到资源

请注意:规则导入为非覆盖式导入,与现有规则冲突或者重复的规则将不会导入成功,超出数量或不符合 [格式要求] 的规则将被舍弃。数字越小优先级越高,优先级取值范围 [1-100]。

QingMR 大数据服务全新升级,支持 Flink 流式计算

为更好的满足用户对 QingMR 大数据服务功能的需求, 本次升级包括的更新如下:

QingMR:立即使用→
  • 新增对流式计算 Flink 1.9.0 的支持
  • 集群节点支持企业型主机,单节点最高支持 32核CPU 和 128G内存配置
  • 集群节点支持 SSD 企业型硬盘,单节点最高容量可达 2TB

至此,QingMR 大数据服务支持的功能如下:

  • Hadoop 分布式文件系统 HDFS
  • 集群资源管理系统 YARN
  • 数据处理框架 Hadoop MapReduce, Spark 和 Flink
  • 数据仓库工具 Hive
  • 海量数据 OLAP 分析引擎 Kylin 的企业级产品 Kyligence Analytics Platform
  • Hadoop MapReduce , Spark 和 Hive 与 QingStor 对象存储集成,无缝读写海量数据
  • 支持设置 Hadoop proxyuser
  • Spark 支持 Standalone 和 YARN 两种模式
  • 支持上传自定义的 Spark 应用内调度器和 YARN 调度器
  • 支持基于 Spark 的分布式深度学习框架 BigDL
  • 支持 Flink YARN cluster 和 Standalone Flink job on YARN
  • Hive 支持 MapReduce 和 Spark 两种执行引擎
  • 支持 Python 及 Anaconda 发行版的数据科学包并可在 Python2 和 Python3 之间切换
  • 支持 R 语言

更多详细使用指南请参考:QingMR 用户指南

AppCenter 支持新计费模式&新增主机类型等新功能上线

AppCenter2.0开发框架为更好支持各应用开发用户的需求,此次更新包含如下功能:

  • 支持数据库扩容与升级时可按照一定顺序进行扩容
  • 新增支持企业型e2新主机类型(202
  • 优化扩容时差价计算方式
  • 支持新计费模式,采用合约计费方式,支持选择1个月、3个月、6个月、1年、2年、3年、4年、5年合约有效期
  • 优化QingCloud MySQL Plus、深度学习新版本的 CPU/内存规格配置 

云平台推出「事件监控」全新功能

事件监控对云平台核心资源的部分关键操作行为进行了事件级定义,并按不同时间周期对其进行统一汇总统计与展示。除此之外,用户可对关注的事件进行告警策略的设置,在被监控事件触发后可通过云平台完整地监控告警服务,及时通知、定位并处理问题。

核心功能概述

(1)集中统计展示系统预置的云产品关键事件

(2)支持不同视图形式下的事件信息展示

(3)支持对用户关注的事件进行告警策略设置

操作指南:

1、查询方式

登录云平台,进入「运维与管理」- 「事件监控」,即可看到当前账号下的所有事件统计信息,如下图:

「事件监控」分别从多种统计时间周期、多类查看模式、快速绑定告警策略等功能上,为用户提供全面、直观地查看体验。以下为具体操作指南:

(1)按「时间周期」选择并查看各时间周期下的监控事件,如下图:

(2)按关联条件过滤查询所关注的事件内容,如下图:

(3)可选择任意柱状图,点击后即可按柱状图下钻细查,如下图:

2)  详情列表查看模式

(1)概要视图模式:概要模式以事件内容为统计单元,将同类事件汇总展示,可展开「操作」栏内,查看各具体事件的详细信息。

(2)详细视图模式:将所有事件全部展示出来,在触发平台预置事件较多的情况下,可能会出现列表信息过多的情况,建议您根据资源实际情况选择合适的模式查看事件信息。

2.   设置告警策略方式

(1)方式1: 基于列表详情页「操作」栏内提供的功能入口,直接创建事件监控告警策略,如下图:

点击事件记录列表详情页「操作」栏内的“创建告警策略”,即可在弹框内创建告警策略。

(2)方式2: 利用「监控告警」服务常规创建事件监控告警:

点击左侧菜单栏「运维与管理」- 「监控告警」服务,进入监控告警服务界面,如下图:

点击「创建」按钮,选择事件监控,可创建事件监控告警策略,如下图:

3.   绑定告警策略方式

方式1:「监控告警」服务

从上述两种路径下创建出的告警策略会统一展示在告警策略列表内,可点击需要绑定具体资源的策略id,如下图,进入策略详情页进行资源绑定。

方式2: 基于资源列表绑定告警规则

在资源详情列表上,右键资源id,选择「告警策略」 – 「绑定事件告警策略」,即可在弹框内选择需要绑定的具体策略,如下图:

4、查看告警信息

(1)方式1: 通知服务

满足告警策略规则的监控数据会按照策略内设置的通知形式发出告警通知信息,用户可及时查收并定位解决问题。

(2)方式2: 资源详情页查看告警信息

在资源详情页内,可查看到资源的两大类告警信息,如下图,选择「事件告警」即可查看相关告警信息: