青云 RDS 服务全面升级,支持 MySQL 5.6,一主多从,读写分离等

rdb

青云 QingCloud 全面升级 RDS 服务,并支持 MySQL 5.6,升级后的 RDS 服务主要有以下几方面更新:

主从结构:提供了一主多从的功能,一个主节点最多可以带4个从节点,主节点可读可写,从节点是只读实例,只支持读操作。

高可用:青云 RDS 服务默认开启了读写的高可用功能。新增了两个高可用的读写IP,分别对应于数据的读和写。 读IP可将请求在多个从节点之间进行负载分担,提高读取性能,消除单点故障。 写IP可以在主库发生故障时自动切换到新的备选主库上,减少故障时间。

读写分离:青云 RDS 服务新增了读写分离功能。 通过读写分离的代理节点访问数据库,能自动将读写请求分发到高可用的读写IP上。 读写分离支持事务操作,目前不支持自动分库分表的功能。

(关于 MySQL 5.6 本身的更多新特性请前往官方网站进行了解。)

除以上主要特性外,具体功能方面还有如下更新:

create_rdb_step1

create_rdb_step2

  1. 创建: 可以指定节点的数量,默认是2个节点,最多可以配置5个节点, 新建时可以选择是否开启读写分离功能,也可以后续有需要时添加读写分离节点来开启该功能。
  2. 扩容:可以手动设置高可用的读写IP。如果开启了读写分离功能,也可以手动设置读写分离节点的代理IP。
  3. 同步账号:如果创建时没有开启读写分离的功能,后续开启该功能时,需要将使用的数据库帐号信息同步更新到读写分离节点中。 如果数据库帐号信息有变化,也要同步更新到读写分离节点中。
  4. 主从切换:默认开启了主从的故障切换功能。高可用的写IP可以在主库发生故障时自动切换到新的备选主库上。 也可以根据自身需求选择关闭这个故障时自动切换的功能,等待主库恢复。

基准测试

在2核4G规格的数据库下,50个 TPC-C 仓库,暖机10分钟,运行测试1小时的结果是,性能型:10798.884 TpmC,超高性能型:12927.684 TpmC。 而8核32G规格的数据库,50个 TPC-C 仓库,同样暖机10分钟,运行测试1小时的结果是,性能型:18537.750 TpmC,超高性能型:26134.883 TpmC。 可以从 性能型c2m4 超高性能型c2m4 性能型c8m32 超高性能型c8m32 下载到这些测试的详细测试报告。

关于青云 QingCloud RDS服务的更多详情请参看用户指南

Hadoop 服务上线

Hadoop 服务

Hadoop 是一个在大数据领域应用最广泛的、稳定可靠的、可扩展的用于分布式并行计算的开源软件。Hadoop 使用简洁的 MapReduce 编程模型来分布式的处理跨集群的大型数据集,集群规模可以扩展到几千甚至几万。相比于依赖昂贵的 硬件来实现高可用性,Hadoop是在假设每台机器都会出错的情况下,从软件层面来实现错误的检测和处理。青云提供的 Hadoop 集群服务包含:HDFS 分布式文件系统、Yarn 任务调度和集群资源管理系统以及 MapReduce 并行 分析计算系统。关于Hadoop 更多的详细信息,可参阅 Hadoop 官方网站 。

create hadoop

系统部署架构

Hadoop 集群采用的是 master/slave 架构,青云提供的 Hadoop 集群服务还包括在线伸缩、监控和告警等功能,帮助您更好地管理集群。 如下图所示,青云的 Hadoop 集群分三种节点类型:主节点 (Yarn Resource Manager 和 HDFS Name Node),从节点 (Yarn Node Manager 和 HDFS Data Node) 和客户端节点 (Hadoop Client Node)。 用户在客户端节点发起Map Reduce 任务,通过与 HDFS 和 Yarn 集群中各节点的交互存取文件和执行 MapReduce 任务,获取结果。

hadoop

另外,为了让用户更好的管理集群服务,我们提供了在线伸缩和监控告警功能。其中,

在线伸缩:

  • 增加节点:可以对每个新增节点指定 IP 或选择自动分配。
  • 删除节点:对集成 HDFS 的 Hadoop,删除节点是一个比较危险的操作,要仔细阅读相关文档
  • 纵向伸缩:由于不同类节点压力并不同,所以青云 Hadoop 支持对 Yarn Resource Manager 主节点、HDFS Name Node 主节点 和 Hadoop 从节点分别进行纵向伸缩。

监控与告警:

Hadoop HDFS, Yarn 和 MapReduce 提供了丰富的监控信息。如果需要通过公网访问这些信息您需要先在路由器上设置端口转发,同时打开防火墙相应的下行端口。详情请参看文档

同时我们还提供了对每个节点资源的监控和告警服务,包括 CPU 使用率、内存使用率、硬盘使用率等,以帮助用户更好的管理和维护 Hadoop 集群。

关于 Hadoop 服务的更多详情请参看使用指南

防火墙支持备份、跨区复制;自动伸缩功能升级等

1. 防火墙备份

我们对青云平台上的防火墙规则进行了优化,提供了备份功能,用户可以在防火墙的详情页,随时根据当前的防火墙规则创建一个新的备份点,并且可以随时删除不需要的备份,防火墙备份是免费资源。

snapshot

用户可以随时用一个备份点来回滚防火墙的规则,在回滚之前,可以对比备份点和当前防火墙规则之间的差异,另外,防火墙回滚之后,您需要『应用修改』把规则应用到主机和路由器上才生效。

rollback

2. 防火墙与 SSH 密钥复制

我们提供了防火墙与 SSH 密钥的复制功能(跨区),您可以在防火墙或者 SSH 密钥的列表选中等待复制的项目,然后复制到目的区域,此项功能主要目的是为了方便用户做跨区资源的迁移。

copy

3. 消费记录导出

新提供了用户的消费记录和当前计费资源的导出功能,在控制台的右上-消费记录-查询-导出,填写您需要导出记录的月份和邮箱即可以导出相关数据(导出当前计费资源不需要填月份),数据导出之后会生成一个 csv 文件发送到您指定的邮箱,然后您可以用 Excel 等软件对自己的消费情况进行各种纬度的统计和分析,(如果您需要导出的消费数据比较多,我们会把数据拆分成几个文件分批发送到您的邮箱)。

export

4. 自动伸缩功能更新

自动伸缩策略除支持动态调整后端数量外,还新增支持了固定后端数量:

  • 动态浮动的后端数量:基于负载均衡器监听器的多种压力监控项,自动增加或减少其下的后端服务器。 并支持设置后端服务器集群的最大、最小数,在可控的范围内自动调节。
  • 固定的后端数量:基于负载均衡器监听器的健康检查机制,维持一个固定数量的后端集群。 当健康的后端数量不等于所设置的值时,会自动创建或删除后端服务器。

create as

路由器 OpenVPN 功能支持多种验证方式

路由器 OpenVPN 功能支持多种验证方式

为了更好的满足用户使用路由器 OpenVPN 功能的需求,我们在原有 “证书验证” 基础上,新增了 “用户名/密码” 和 “证书” + “用户名/密码” 组合等验证方式。
用户可以根据实际需求选择不同验证方式,更好地对登录授权进行管理。详情请参看 VPN 隧道指南

enable vpn open vpn accounts

Redis Cluster (集群)服务上线

Redis cluster

Redis Cluster (集群)

青云 Redis 集群提供原生的开源 Redis 3.x,除了继续支持以前的一主多从外,还支持多主多从,每个主所在分片 (shard) 平均分摊 16384 个 slots, 增加或删除主节点系统会自动平衡 slots。并且集群支持 HA, 即当某个主节点异常,它的从节点会自动切换成主节点。更多详情请参看用户指南

create_basic

在线伸缩 文档

在缓存服务运行过程中,会出现服务能力不足或者容量不够的情况,可以通过扩容来解决,或者服务能力过剩时可以删除节点。在纵向扩容中, 服务需要重启,所以这个时候业务需要停止。在横向伸缩中,数据会发生迁移,但并影响业务的正常运行。支持的伸缩操作包括以下几种:

  • 增加集群分片 (shard)
  • 增加集群从节点
  • 删除集群分片 (shard)
  • 删除集群从节点
  • 增加缓存容量

add_node_group

图形化操作 文档

用户可以在图形中进行以下操作:

  • 查看节点的监控信息
  • 查看节点的基本信息
  • 绑定节点的监控告警策略,并查看监控告警历史
  • 添加、删除从节点
  • 添加、删除节点组

graphnode_graph

迁移与升级

迁移数据既包括 Redis standalone 之间也包括从 Redis Standalone 到 Redis Cluster。具体步骤请参考 文档

监控
Redis 集群的监控提供与 Redis standalone 完全一样的监控信息,详情请见 文档

【安全公告】Redis Crackit 入侵事件通告

近日曝出大规模利用 Redis 漏洞进行入侵的事件,会给用户的 Redis 运行环境以及 Linux 主机造成安全风险,请可能被漏洞影响的用户仔细阅读本文,并做相应的处理。

容易遭受入侵的环境:

用户自建的运行了 Redis 服务的 Linux 主机,并在公网上开放了 Redis 端口,例如 6379

入侵现象:

  • Redis 可能被执行过 flushall 命令
  • Redis 内建了名为 crackit 的 key
  • Redis 的 dir 参数指向了 /root/.ssh
  • /root/.ssh/authorized_keys 被覆盖或者包含 Redis 相关的内容

修复办法:

  • 以非 root 权限启动 Redis
  • 增加 Redis 密码验证
  • 禁止公网开放 Redis 端口, 例如可以在青云防火墙上禁用 Redis 的端口,例如 6379
  • 检查 authorized_keys 是否非法

温馨提示:

青云提供的 Redis 服务是运行在私有网络中的,并且已经考虑了安全加固措施,同时提供密钥验证的配置,不会受到该漏洞的影响,请用户放心使用。

关于入侵事件的更多详情还可以参见: https://nosec.org/bobao/redis_crackit

另外,有任何其他问题可以工单与我们联系。

QingCloud 技术团队

用户注册流程升级并增加认证机制

注册流程

为了更好的服务用户,青云升级了用户注册流程,增加了“认证机制”,通过认证的用户可以获得更多的测试费用、资源配额以及更专业的咨询服务。具体流程如下:

1. 选择用户类型

青云用户在注册时可以根据自身情况及需求选择不同的注册类型,目前分为个人”企业”两种。

2. 提交认证资料及申请

注册完成后用户可以前往认证页面完善相关信息并提交认证申请。

3. 等待审核

审核需要1-2个工作日,审核完成后系统会将结果及时以邮件的形式通知到用户。若需要加紧审核可以提交工单。审核期间以及审核失败都不会影响用户的正常使用。

4. 审核通过

审核通过后系统会自动在资源配额以及测试费用上做追加,以满足不同类型用户的测试及使用需求。

注:青云用户可以自主选择是否提交认证申请及信息,没有通过认证的用户并不影响其使用青云服务,只是在资源配额上会有所限制。用户可以在使用青云过程中随时提交认证申请,也可以从个人用户升级为企业用户。

 

青云 NAS 共享存储服务上线

nas

青云的 NAS 服务是基于标准的 NFS 和 Samba(CIFS)网络协议实现数据的传输,通过创建一个 NAS 服务器,您可以在多个主机客户端以及不同的操作系统间进行数据共享,并为您提供权限组和账号配置功能,便于对主机客户端进行访问控制和管理配置,详情请参看 NAS 服务指南

create_nas

共享存储目标

用户可以为 NAS 服务创建多个共享存储目标,并为其加载硬盘以及权限组,实现多客户端通过网络进行数据共享。

create_nas_shared_target

访问权限控制与管理

用户可为共享存储目标绑定权限组,并指定权限组中各个帐号的读写权限。

  • 权限组:根据不同协议创建权限组。
  • 账户:指定帐户基本信息,如IP,用户名及密码。
  • 关联:帐户可以关联到权限组,并指定其读写权限;权限组与共享目标关联,实现帐户访问控制。

create_account_nfs

NAS 服务器扩容

目前 NAS 服务提供了小型、中型、大型三种类型,分别可支持不同数量客户端的同时读写。用户可根据自己的使用需求进行类型调整。

resize_nas

NAS 的 IO 性能

NFS 和 Samba(CIFS)网络共享存储的 IO 性能对当前网络状况有很大的依赖性,即使 NAS 服务器和客户端同在一个私有网络内部,可能因物理主机所处网络区域的不同,在 IO 性能上会有不同的表现,详情请参看文档

关于9月6日凌晨亚太1区网络故障说明

尊敬的用户:

9月6日凌晨2:05起,因亚太1区(AP1)的两台网关设备故障导致部分用户公网访问异常,经技术人员定位与排除,该故障已于6:23分彻底解决。现将故障详情通告如下:

2:05分起,两台网关设备先后发生故障,导致四个网段的用户公网访问受到影响:
207.XXX.142.0/24
209.XXX.107.0/24
207.XXX.141.0/24
209.XXX.106.0/24

因为这两台网关设备同时也部署了AP1的管理服务(两台互备的高可用架构),这两台网关的故障也影响了我们的管理信息通讯,导致研发人员没有及时收到告警通知。

3:50分研发人员定位到网关故障并开始尝试重启网关节点,同时手动配置新的管理服务。
5:48分,管理服务恢复,控制台可以访问。
5:50分,开始迁移受故障影响的公网IP段。

每个网段陆续恢复的时间为:
207.XXX.141.0/24   06:03
207.XXX.142.0/24   06:10
209.XXX.106.0/24   06:15
209.XXX.107.0/24   06:23

整个故障影响时间:
207.XXX.142.0/24  2:05 – 06:10
209.XXX.107.0/24  2:05 – 06:23
209.XXX.106.0/24  2:51 – 06:15
207.XXX.141.0/24  2:51 – 06:03

后经仔细排查,导致本次网关故障的原因为1:00左右完成的一次网络日常升级中的一个软件漏洞,该漏洞会导致某些小概率情况下网关设备故障。受该漏洞影响,AP1的两台网关设备发生故障。在故障发生后,QingCloud技术人员已经及时完成各个区网络版本回滚,并修复了该漏洞。

本次故障导致AP1部分用户公网访问异常,用户的资源和数据未受影响。我们对因本次故障业务受到影响的用户表示最真诚的歉意,随后会对受影响的用户进行赔偿。

针对本次故障,我们后期将采取下述改进措施:
1. 在软件上线之前进行更加苛刻的测试工作;
2. 所有管理服务将提升高可用的级别,部署更多的冗余节点,以避免因管理节点受影响造成的告警通讯不及时问题;
3. 完善公网IP故障切换的流程,加快故障恢复速度。

同时我们还会针对运营管理流程进行检讨和自查,进一步提高服务响应速度。我们深知作为基础云服务商,我们的服务对用户的业务至关重要,在未来我们会更加努力,不断提升服务水平。感谢您一直以来的信任与支持。

青云QingCloud

资源标签分类功能上线

在青云,随着用户使用的云资源越来越多,管理工作变得也越来越复杂,为了方便用户更加快捷的查找资源,给资源做分组归类,我们上线了标签(Tag)功能。

1.创建标签

您可以在资源列表的右上角,点击“新建标签”,即可创建一个用来分类资源的新标签。

create_tag

2.绑定标签

创建了新标签之后,在您的虚拟资源(主机,硬盘,公网IP,路由器等)右键菜单中可以选择绑定标签(或者多选资源,在工具栏选择绑定标签),即可给资源绑定标签。

attach_tag

3. 使用标签过滤资源

绑定标签之后,在资源列表名称下方会标明各项资源的标签,同时,您可以使用搜索框旁边的标签过滤器,来过滤查找某个标签下的资源。

tag_filter

4.管理标签

在左侧导航栏,“管理”-“标签” 下面您可以新增标签,修改或删除已有标签。在每个标签的详情页,还可以批量解绑已经绑定的资源。

detach_tag