Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎，与 Hadoop MapReduce 相比，计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题，使得 Spark 迅速成为当前最为热门的大数据基础平台。

除此之外，青云 QingCloud 提供的 Spark 还包括在线伸缩、监控和告警等功能，帮助您更好地管理集群。更多详情请参看“ Spark 服务指南”。

集成 HDFS

青云 QingCloud 既提供纯计算引擎的 Spark 集群，也提供和 Hadoop HDFS 集成的 Spark 集群。在创建 Spark 时可以选择是否集成 Hadoop HDFS。

在线伸缩

青云的 Spark 集群支持横向与纵向的在线伸缩， 而且横向伸缩时，用户的业务连续性不会中断。

实时监控

青云提供了 Spark 节点的主机的监控信息，服务、应用级别的监控由 Spark、Hadoop 提供。

对主机的监控包括如下监控项：

• CPU
• 内存
• 硬盘使用率
• 硬盘 IOPS
• 硬盘吞吐量

监控告警

Spark 的监控告警策略会监控 Spark 节点，包括如下监控项：

• CPU：CPU 使用百分比
• 内存：内存使用百分比
• 硬盘：硬盘使用百分比

测试

Spark 创建完成之后可以测试其可用性。具体测试方法请参看“文档”。

Mongo 服务

QingCloud Mongo 服务即 MongoDB replica set 集群， 默认情况下包括两个 replica set 节点(Primary, Priority0)，在此基础上， 你也可以添加多个 replica set 节点以满足更个性化的使用场景和业务需求。 同时，我们还提供了在线扩容、自动备份、灵活配置和监控告警等功能来帮助你更好地管理集群。 QingCloud Mongo 服务亦运行于你专属的私有网络下，最大限度地保证了你的数据安全。

自动备份

如果您开启了 MongoDB 的自动备份功能，数据库服务会每日备份，您的手工备份会连同每日备份一起最多保留 20 天。在数据库服务被彻底销毁前，您都可以选择从这些备份创建出全新的数据库服务。

在线扩容

你可以随时增加 replica set 节点数量和每个节点的存储容量。需要注意的是如果你的集群只有个默认的两个节点，那么在扩容期间，Mongo 服务会有一段时间处于只读状态；如果多于两个节点，扩容期间 MongoDB 集群会自动选主，因此 Primary 节点的 IP 地址可能会发生变化。

监控

提供丰富的历史及实时监控数据，包括：

• 插入操作数
• 查询操作数
• 更新操作数
• 删除操作数
• 复制插入操作数
• 复制查询操作数
• 复制更新操作数
• 复制删除操作数
• 连接数

监控告警

MongoDB 的监控告警策略针对 MongoDB 节点 ，包括如下监控项：

• CPU：CPU 使用百分比
• 内存：内存使用百分比
• 磁盘使用率：磁盘空间使用百分比
• 连接数：MongoDB 节点上的连接数

更多详情请参看 MongoDB 服务指南。

基于PCIe闪存卡的超高性能硬盘和主机

相对于青云已经提供的性能型硬盘和主机，基于PCIe闪存卡的主机和硬盘的随机读写能力和顺序读写能力都得到了明显的提升。随机写IOPS可以达到20000；顺序写也提高到了200MB/s。在保证性能的同时，依然拥有多份分布式实时副本，以确保在灾难情况下数据也能快速恢复，最大程度保障数据安全。

超高性能硬盘和主机适用于对IOPS和吞吐要求比较高的数据库服务、大数据服务以及其它关键性服务，而且可以和青云提供的性能型硬盘、容量型硬盘以及即将推出的对象存储服务构成一个完善的存储体系，为不同类型和要求的业务提供完整的存储服务。

*目前仅可在北京2区创建超高性能资源

MetaData Server

MetaData 是青云定义的一组关于主机运行参数的字段，主要包括主机 ID，主机 CPU 和内存配置，操作系统，挂载的硬盘，所在的子网等。为了方便用户获取 MetaData 信息，我们支持了另外一种方式：通过 Metadata Server 获取。

curl http://metadata.ks.qingcloud.com/i-xxxxxxxx/

Windows 主机支持硬盘使用率查询

基于 Windows 系统创建的主机可在详情页面查询硬盘使用率的历史及实时监控数据。

且在硬盘信息处可查看挂载盘符信息：

注意：

• 亚太1区暂不支持此功能
• Windows 2003 系统不支持此功能

自有映像及备份支持共享功能

自有映像及备份目前都支持共享给青云任一账号。共享时可输入用户ID或注册邮箱地址。

接收共享资源的用户可在同区使用自有映像来创建主机，也可以从备份直接创建映像或硬盘。但不可对共享的资源做其他写操作，比如回滚和删除等。

开放 Debian 8 映像

所有区域支持基于 Debian 8 系统创建主机，关于 Debian 8 映像介绍请参看官方文档：https://www.debian.org/releases/stable/amd64/release-notes/

1. 账号安全策略升级

注册青云新用户时，系统已要求使用强度更高的密码，以降低密码被破解的风险。除此以外，我们还建议用户根据自己的安全需求和使用习惯，在安全中心配置安全策略，强化账号的安全性。目前支持的账号安全属性包括：

• 修改登录密码;
• 开启除密码登录外的二次认证策略;
• 账号多次密码登录失败、二次认证口令失败时的短信通知;
• 关闭浏览器的会话保持，临时登录系统后退出浏览器，不记录登录状态。

除设置安全策略外，您可以在安全中心的 “登录历史” 查看最近 100 次登录青云系统 ( 包括青云网站、控制台 ) 的记录。

二次认证

除密码外，您可以开启二次认证的功能，以加强账号登录时的身份认证。二次认证采用双因子验证加密技术 ( 2 Factor Authenticaton )，开启该功能后，登录账号时除了验证您的密码，还需要经过动态口令的验证。使用方法如下：

• 第一步：在安全中心二次认证功能选项，点击 “启用” 并确认。
• 第二步：在您的手机或其他智能终端安装 Google Authenticator、洋葱等支持 2FA 动态口令的应用，可以在 Apple Store、安卓应用市场安装这些应用。
• 第三步：在二次认证页面，点击 “发送验证码” 按钮，向您账号的注册手机发送验证码，输入该验证码并提交。
• 第四步：进入您安装的 2FA 应用，通过扫描二维码或手动录入密钥方式，添加到应用中，即可为您的青云账号生成实时口令。

这里动态口令是6位的数字，每隔30秒刷新一次。可以多人、多终端绑定同一个密钥，以便共同管理账号。如果登录时绑定应用的手机不在身边，或者未通过 2FA 应用绑定密钥，您也可以点击上图的 “无法获取动态口令”，通过短信验证码的方式登录。

更多介绍请见青云文档：账号安全指南

2. 自动伸缩支持 UserData

自动伸缩功能创建的主机已支持设置 UserData ，这样便可在自动伸缩中制定更灵活、更细粒度的主机初始化策略。

3. 定时器增加路由器和负载均衡器的启停任务

定时器功能增加了路由器和负载均衡器的『启动』和『停止』任务类型，用户可以根据需要，在特定时间启动或关闭相关资源。与主机一样，上述任务都是支持资源的批量操作的。

4. 创建主机及修改主机配置时支持 cpu 指令集选择（westmere）

关于APP

青云QingCloud移动端控制台。QingCloud用户可通过该应用随时随地、安全便捷地管理云端资源。目前支持资源使用详情查询、历史监控数据查询、监控告警设置、工单提交和查询、余额提醒和欠费提醒等功能。

功能介绍

1. 全局总览：当前帐户余额、消费预估、工单管理、子账户管理、API密钥管理；
2. 分区总览：当前区域的消费预估明细，资源配额的使用情况，本区告警和欠费停机资源概况；
3. 资源列表：主要资源与服务信息列表，如主机、网络、路由器、负载均衡器、数据库、缓存等；
4. 资源详情：包括资源的基本属性、备份、告警；
5. 资源监控：资源监控的历史监控数据查询；
6. 工单系统：提交、查看和回复工单；
7. 通知系统：工单回复、余额不足、资源欠费停机、系统消息提醒；
8. 设置：用户反馈、关于Console。

扫码下载IOS应用

IPsec 隧道增加健康检查功能

IPsec 协议虽然包含了 keepalive 以及 Dead Peer Detection 的内容，但是由于其协议的复杂性以及隧道两端设备兼容性的问题，会在某些情况下导致连接异常断开不能及时恢复。

现在可以为每一条 IPsec 隧道指定一个或者多个用于健康检查的 IP 地址，青云路由器会根据这些地址是否可达来判断连接是否异常，如果出现异常，会重建连接以保证 IPsec 隧道的高可用。

Windows 映像升级

我们将Windows映像升级了到目前为止所有累积的重要更新，最新的版本如下：

• Windows Server 2003 R2 简体中文 企业版 32位 ID: win2k3r2eechsf
• Windows Server 2008 R2 简体中文 企业版 64位 ID: win2k8r2eechsg
• Windows Server 2012 R2 简体中文 标准版 64位 ID: winsrv2012r2chsf

另外，新的 Windows 主机都会加载 QingCloud Guest Agent 服务，这个服务主要的目的是获取 Windows 主机的内存监控信息以及虚机的健康检查。

负载均衡器后端支持直接填入 IP 地址

为了支持负载均衡器的多种应用场景需求，负载均衡器后端支持直接填入 IP 地址，该 IP 地址可以是任意合法的公网或者私网 IP。

可以满足的常见需求如：

1. 对于公网负载均衡器，后端可以填入任意外网 IP 地址，为外部的后端服务提供负载均衡能力。
2. 对于私网负载均衡器，后端可以填入任意私网 IP 地址，例如私网内的缓存节点 IP，为缓存服务提供负载均衡能力。

监控告警服务支持在通知列表中添加 Webhook 地址

Webhook 可以让你的系统直接收到青云的通知。当监控告警发生时，青云系统会以 HTTP POST 的方式将通知信息发送到指定 URL ，你可以在这个 URL 的接收逻辑中自行处理通知信息。

每加入一条新的 Webhook URL 都需要先进行验证。验证方法是在 URL Response 中返回指定的 token ，一旦通过验证就无需再在 Response 中保留这个 token 。 每个 URL 对于同一个用户只需验证一次。更多详情请参见相关文档。

其他 Web 控制台细节优化

1. 资源创建依赖管理：在创建关系型数据库、缓存和 ZooKeeper 等服务前会自动检测当前是否有符合需求的网络环境：私有网络、路由器等。用户可以按照步骤提示创建好相关资源，无需跳转至其他页面一一创建。

2. 资源列表支持更多属性排序查看：主要资源均支持ID、名称、创建时间、端口号等重要属性的排序功能，方便用户快速定位资源及配置。

消息队列与集群管理服务

在青云，你可以快速创建基于 ZooKeeper 协调管理的消息系统（Kafka）以处理大量活跃流式数据。

ZooKeeper

ZooKeeper 是一个高可用的分布式数据管理与系统协调软件，它可以为分布式应用提供状态同步、配置管理、名称服务、群组服务、分布式锁及队列、以及 Leader 选举等服务。主要支持以下特性：

• 在线伸缩：ZooKeeper 支持横向、纵向的在线伸缩，既可以在线增加、删除节点，也可以在线更改资源配置。
• 监控服务：ZooKeeper 提供了详细的监控信息，既有对每个节点的资源监控，如内存使用率等；也对每个节点提供了 ZooKeeper 服务监控，包括节点角色、响应延迟时间等。
• 告警服务：我们对每个节点 ZooKeeper 服务是否正常进行监控并设置告警策略，一旦某个节点 ZooKeeper 服务发生异常就进行告警，并发送短信和邮件通知给用户。
• 自我诊断与自我修复：当系统发现某节点坏死时会自我修复，无需人为干预。
• 更多详情请参看《ZooKeeper服务指南》。

消息队列 Message Queue

消息队列（Message Queue）服务是为了缓解消息生产者与消息消费者之间不同步问题，从而在两者之间加了一层缓冲区的一项服务。青云目前支持的 Kafka 是一个分布式、可分区、多副本的消息系统，具有高吞吐量、低延迟等优点。主要支持以下特性：

• 在线伸缩：消息队列服务支持横向、纵向的在线伸缩，既可以在线增加、删除节点，也可以在线更改资源配置。
• 监控服务：消息队列服务提供了详细的监控信息。以 Kafka 为例，既有对每个节点的资源监控，如内存使用率、 CPU 使用率等；也对每个节点提供了 Kafka 服务监控，包括 Java 虚拟机堆内存使用率、消息吞吐率、数据吞吐率等。
• 告警服务：我们支持对每个节点配置监控告警策略，当发生异常时，会触发用户设定的告警阈值，并发送短信和邮件通知给用户。除了资源如CPU、内存、硬盘告警外， Kafka 还支持“存在异常分区”的监控告警。
• 灵活组网：青云提供灵活的网络配置来支持 Kafka 的 broker, producer 和 consumer 都不在一个网段中的情况，可以通过修改 broker 的 Advertised 主机名 与 Advertised 端口来实现。
• 配置修改：我们通过消息队列配置组来管理消息队列服务的配置。消息队列服务和消息队列配置组是解耦的，您可以创建多个独立的配置组，并应用到不同的消息队列服务。 消息队列服务在运行过程中，也可以随时变更配置组。
• 更多详情请参看《消息队列服务指南》。

隧道服务支持通过域名进行联通

对于不支持固定IP访问的路由器，我们的隧道服务支持在”远端路由器”处直接填入远端路由器域名，通过域名进行路由器间的隧道联通。