Category Archives: ChangeLog

Storm 功能上线

Posted on by

Storm 是一个开源的分布式实时计算系统，通常被比作＂实时的 Hadoop＂。Storm 为实时计算提供了一些简单优美的原语，支持多种编程语言，并内建流式窗口 API 及分布式缓存 API，极大简化了流式数据处理过程。Storm 不仅高可靠、易扩展，而且处理速度极快，每个计算节点每秒能处理上百万条元组信息（Tuple），因此常被用于实时分析、在线机器学习、连续计算、分布式 RPC、ETL 等。 关于 Storm 更多的详细信息，请参阅 Storm 官方网站 。

青云的 Storm 集群包括如下五种节点类型：

  • 主节点：运行了 Nimbus、DRPC、UI 和 Logviewer 服务，负责接收客户端提交的计算拓扑，并协调分派计算任务。
  • 从节点：运行了 Supervisor 和 Logviewer 服务。其中，Supervisor 服务主要用于接收计算任务并按需启动或停止工作进程（Worker），而 Logviewer 服务方便用户查看运行日志。
  • RPC 节点：运行了 DRPC 和 Logviewer 服务，用于接收 RPC 请求，并将计算拓扑的处理结果返回给客户端。
  • 客户端节点：安装了 Python、JRE/JDK 和 Storm 软件，用于提交计算拓扑。
  • Zookeeper 集群：用于协调 Storm 集群。

storm_architecture

另外，青云的 Storm 服务还提供了在线伸缩和监控告警功能：

在线伸缩

增加节点：当您需要横向扩展集群规模时，您可以在 Storm 详细页点击“新增节点”按钮增加主节点、从节点或 RPC 节点，每个新增节点在私有网络中的 IP 可以手动指定或选择自动分配。

删除节点：当您不需要集群中的某些节点时，您可以在 Storm 详细页选中需要删除的节点，然后点“删除”按钮，以在线缩减集群规模。

纵向伸缩：由于不同类节点压力并不同，所以青云 Storm 支持对 主节点、从节点 和 RPC 节点分别进行纵向伸缩。通常情况下主节点和 RPC 节点的压力都不会太大，运行 worker 进程的从节点的配置一般更高些。

监控和告警

我们对 Storm 集群的每个节点提供了资源的监控和告警服务，包括 CPU 使用率、内存使用率、硬盘使用率等，以帮助用户更好的管理和维护 Storm 集群。 同时，Storm 主节点上运行的 Storm UI 服务提供了丰富的集群监控信息，默认端口为8080。 此外，青云提供的 Storm 集群还在各个节点上运行了 Logviewer 服务，该服务允许用户访问各个节点上的日志。拨入到 VPN 网络后，可以访问以下 URL 来浏览 Storm UI 及节点日志：

  • http://<Storm 主节点私有网络 IP>:8080
  • http://<Storm 任意节点私有网络 IP>:8080/daemonlog?file=<log file name>

例如：

配置

我们通过 Storm 配置组来管理 Storm 服务的配置。Storm 服务和 Storm 配置组是解耦的，您可以创建多个独立的配置组，并应用到不同的 Storm 服务。

更多详情请参看《Storm 用户指南》。

Elasticsearch 功能上线

Posted on by

Elasticsearch 是一个分布式的全文搜索引擎，提供 RESTful 接口，以及近实时的索引、搜索、分析功能，基于 Lucene 构建，主要以 Java 开发，以 Apache License 开源。 更多详细文档请参看 Elasticsearch 官方网站 。

在青云上，您可以很方便的创建和管理一个 Elasticsearch 集群。青云的 Elasticsearch 集群支持横向与纵向、完全意义上的在线伸缩，即 Elasticsearch 的在线伸缩对客户端是透明的，用户的业务连续性不会因此而中断。另外我们还提供了监控告警等功能来帮助您更好的管理集群。集群将运行于私有网络内，结合青云提供的高性能硬盘，在保障高性能的同时兼顾您的数据安全。

create_elasticsearch_1

在线伸缩

增加节点

当 Elasticsearch 需增加节点以应付数据以及客户端逐步增多带来的压力，您可以在 Elasticsearch 详细页点击“新增节点”按钮。 同样，您可以对每个新增节点指定 IP 或选择自动分配。

add_elasticsearch_node

删除节点

如果 Elasticsearch 集群的节点超过需求，您也可以在 Elasticsearch 详请页选中需要删除的节点，然后点“删除”按钮删除节点，以节省资源和费用。 删除节点的时候可能会触发数据迁移，所以一次只能删除一个节点。删除节点不影响集群服务。

纵向伸缩

由于 Elasticsearch 会充分利用内存来提升查询效率，所以当业务存放在 Elasticsearch 里的数据量增大到一定程度的时候，不可避免需要纵向扩容每个节点的内存。反之，如果节点的 CPU、内存使用并不大，可以降低配置。同时 Elasticsearch 的数据会落到磁盘上，如果磁盘空间不够也需要扩容，不过磁盘不支持缩小容量。 磁盘扩容的时候无需重启节点，不影响服务，但CPU、内存的伸缩需要重启节点，会逐台重启节点，不影响集群的整体功能，但也可能影响对某个节点的请求。

resize_elasticsearch

监控和告警

我们提供了监控和告警服务，以帮助用户更好的管理和维护运行中的 Elasticsearch 集群。

监控服务

对每个节点提供了资源监控，包括 CPU 使用率、内存使用率、硬盘使用率等。

告警服务

我们对每个节点 Elasticsearch 服务是否正常进行监控并设置告警策略，一旦某个节点 Elasticsearch 服务发生异常就进行告警，并发送短信和邮件通知给用户。

虽然单节点出现异常并不影响集群的正常服务，但越早发现问题并及时解决是维护整个集群长期正常运行的最佳实践。

更多使用文档及注意事项请参看“Elasticsearch指南”。

青云映像市场上线

Posted on by

imagemarket

青云QingCloud 提供了大部分常用的原生的操作系统映像，但对部分青云用户而言，原生也意味着更多地配置工作；与此同时，专业的服务提供商愿意提供定制化服务给青云用户。 这些要求强烈而迫切，于是我们开放了映像市场，旨在给青云用户提供更多地选择和便利，也希望帮助更多的青云合作伙伴开展业务。目前在青云的 北京2区 / 北京3区-A / 广东1区 已开放。详见：https://docs.qingcloud.com/image_app/common/overview.html

资源编排功能上线

Posted on by

资源编排（Resources Orchestration）功能用于生成一组彼此关联，即有拓扑关系的 QingCloud IaaS/PaaS 资源组合的模板。模板描述了资源的详细配置和关联关系，应用模板可以生成拥有该配置和关系的资源。通过该功能用户可以快速地复制一整套环境，规划和评估系统架构，并实现资源结构跨区域的复用。在控制台，用户可以通过丰富、自由的方式创建编排模板，用所见即所的方式规划资源组合，构建系统。

服务编排功能

快速的系统构建

使用资源编排，您可以在短短几分钟内迅速复制一套已存在的拥有复杂拓扑的系统；或者迅速规划您的系统架构并评估成本；还可以实现资源拓扑的跨区域复用。

服务编排丰富的模板创建方式

在控制台中，用户可以从无到有构建模板；也可以从系统推荐的常见模板入手创建，或基于已经创建的模板继续完善；还可以将已经存在的资源抽取出一套拓扑关系成为模板。

tutorial

开放式的图形化操作

模板的创建采用可视化的交互，用户可以选择左侧导航的资源图标，自由拖拽到中央绘图区域添加资源；并支持删除、复制资源的操作。

dragdrop

完整直观的资源配置

配置区可以看到选中资源的配置，并对它的各项配置进行编辑。资源之间的关联关系，如路由器端口转发、负载均衡器后端等，可以实时显示出映射线路。

提取信息

全生命周期的 API 支持

API 按实体视图、资源抽象视图返回模板配置，支持配置的实时校验以及包含建模、资源创建、修改、回收等整个资源编排生命周期的管理。

procedure更多详细介绍请参看用户指南。

RDS 读写分离代理节点支持同步多个账户

Posted on by

RDS 读写分离代理节点支持同步多个账户

当使用 RDS 代理时，可以将 MySQL 中不同权限的账户同步到代理节点中，通过代理节点即可实现账户的权限隔离功能。

系统默认会将创建数据库时指定账户和 root 帐户同步到代理节点中，最大支持同步20个账户.

rdb_proxy

add_users

关于 RDS 服务的更多功能介绍请参看《数据库服务指南》。

资源协作 Collaboration 服务上线

Posted on by

我们收到过很多用户各种各样的需求，有说，“希望主账号能管理子账号的资源”， 或者是“开发人员只能使用云桌面功能”，或者是“提供资源分组”等等。总结起来，用户希望能够在青云控制台上灵活地权限配置，达到不同部门以不同权限访问不同资源的效果。

Collaboration 正是这样一种功能。通过 Collaboration ，可以让青云用户通过更细粒度的权限控制，将资源授权给其他用户，实现管理和协作。

Collaboration 里相关的三个对象：

  • 资源组（Resource Group），以下简称 RG。
  • 用户组（User Group），以下简称 UG。
  • 角色（Group Role），以下简称 GR。

资源组

资源组是一堆资源的集合。我们推荐用户根据 功能模块 来划分资源组。功能模块根据用户的业务不同，常见的功能模块有：大数据平台、官网组、API 模块组等等。

用户组

用户组是一群用户的集合。用户组可以按照部门来进行划分，常见如：开发组、运维组。或者根据公司组织架构，细分为：大数据开发组、API功能模块开发组等。

角色

角色是一组权限的集合。一个用户组对一个资源组的操作权限是由角色来定义的。

授权与操作

仅仅创建这些对象是不够的，我们还需要通过授权将资源组和用户组关联起来。

  • 授权：可以在资源组中，将该资源组授权给用户组，同时指定该用户组在该资源组的角色；

  • 操作共享/授权的资源组：用户组成员 david#yunify.com 登录到控制台后，可以在导航栏看到，选择查看 自有资源组 或者是 共享资源组 。

取消授权

在资源组的“绑定的用户组和角色”里，能够看到该资源组绑定的所有用户组，以及该用户组在当前资源组的角色，可以在这里解绑关联关系。

更多关于“资源协作 Collaboration”服务的介绍请参看“用户指南”。

青云QingCloud 推出 Android 控制台，完善移动运维平台

Posted on by

apps

青云QingCloud 移动控制台（Mobile Console）正式推出 Android 1.0 版本，并升级 iOS 版本至 2.1 。您可以使用手机或者平板设备随时随地管理云端资源，不必局限于传统 Web 控制台。移动控制台 Android 1.0 和 iOS 2.1 版本采用了全新的交互设计，新增子账户切换、在线充值，以及独立手势或者指纹解锁等功能。

移动控制台是青云QingCloud 在 2015 年 6 月正式推出的移动端云资源管理平台，支持常用资源的启停删操作、资源总览和分区预览、多维度多周期资源监控查询、监控告警通知、工单提交和查询、用户余额和消费预览等功能。通过移动控制台，用户可以使用手机、平板电脑等移动设备随时随地、安全便捷地管理 QingCloud 云端资源。移动控制台针对移动设备的特点进行优化和调整，充分发挥移动端的优势，令资源管理更简单、更轻松。除移动控制台之外， QingCloud 还为用户提供了命令行和 APIs 等云端资源管理方式。

移动控制台 Android 1.0 采用全新的交互设计，能够更加直观地展现关联资源，并聚合了最新监控和告警信息，极大地简化了操作流程，进一步提升移动端的用户体验；支持 17 类资源的展现和常用操作，新增子账户切换、独立手势密码、丰富的充值方式（支付宝或者微信支付）等功能；同时支持公有云和私有云环境，实现多平台单账户登陆，能够更好地帮助用户管理混合云环境。

青云QingCloud 移动开发工程师陈洋钧表示，不管是移动控制台 Android 版本的推出，还是 iOS 版本的升级，都是青云QingCloud 对移动端产品线的进一步完善。移动控制台为用户提供了全新的工作方式，使其从枯燥繁重的运维工作中解脱出来，更专注于业务上的创新。未来，QingCloud 移动端计划支持更加全面的资源管理，更具深度的定制资源监控，以及更加完善的资源操作功能。

青云QingCloud Android 与 iOS 移动控制台均已开放，欢迎扫码下载试用：https://www.qingcloud.com/apps

RDS 服务支持 MySQL 5.7; 防火墙新增 IP/端口集合 功能。

Posted on by

RDS 服务支持 MySQL 5.7

MySQL 最新版本 5.7 提供了大量安全更新、高性能 Online DDL、多线程复制、内置 JSON 支持等新特性：

  • 大量安全更新,使数据库的安全性更上一层楼；
  • 性能更高且 Online 执行的 DDL 操作将更少的影响业务系统的运行；
  • 多线程复制使得 Slave 节点的数据延迟进一步降低，运行更高效更合理；
  • 内置的 JSON 支持让你的业务模型更灵活、更有想象力；
  • MySQLpump 等新颖高效的工具将再次提高你的生产力。

更多详情请参考官方介绍 https://dev.mysql.com/doc/refman/5.7/en/mysql-nutshell.html

结合青云 QingCloud RDS 服务原有的代理节点、高可用读写IP、一主多从架构等特性，为您提供更好更可靠的关系型数据库服务。更多详情请参看“用户指南”。

防火墙新增 IP/端口集合 功能

为了方便用户对防火墙规则进行配置和管理，我们增加了 “IP/端口集合” 功能。用户可以把具有相同特征的一组 IP 或者一组端口设置成为 “IP/端口集合”，并且在防火墙规则中进行添加，实现批量管理功能。

create_ipset

add_rules

20160313 ChangeLogs

Posted on by

1. 监控告警规则支持自定义生效时间

您可以根据自己的业务监控需求，为监控告警策略中的每一条规则设置一个起始和结束时间，告警规则默认的生效时间是全天（00:00 – 23:59)。

例如，可以根据不同时段的业务流量，给公网 IP 的外网进流量设置不同的告警规则：凌晨到早上10点，告警阀值为 20Mbps， 早上10点到晚10点之间，告警阀值为 40Mbps。

alarm_policy_rules alarm

2. 北京3区 VPC 网络隧道功能增加 IPsec 健康检查

健康检查“源IP”为 VPC 网络最后一个 IP 地址, 启用健康检查功能必须同时在对接青云的设备上加入此 IP 地址到感兴趣流，使之能与健康检查的“目的 IP ”正常通讯。

create_ipsecipsec

3. 路由器/VPC 网络的 OpenVPN 功能支持自定义配置

为了支持更加灵活的 OpenVPN 使用方式，OpenVPN 新增自定义配置支持，例如自定义路由或者 DNS 配置：
push “route 192.168.10.0 255.255.255.0”
push “dhcp-option DNS 10.8.0.1”

openvpn

4. Hadoop 服务支持配置组

Hadoop 配置组功能是用来管理 Hadoop 集群的参数配置，它和 Hadoop 集群之间是解耦的，您可以创建多个独立的配置组，并应用到不同的 Hadoop 集群，以满足各个集群不同的需求。

hadoop_pg5. 路由器支持重启操作

在关闭路由器时可以选择：关闭后重启。

reboot_router

6. 其他资源查询、显示优化

  • 操作日志支持显示资源名称；
  • 查询 EIP 时支持按 IP 地址排序；
  • 负载均衡器后端支持显示后端资源名称及链接；