就6月6日广东1区（GD1）因雷暴引发的电力故障技术细节，我们同IDC运营商睿江科技进行了进一步沟通，并获得对方关于事故的补充说明。

根据补充说明，本次事故是由于“雷电击中楼体引发强地网电位，浪涌保护器未生效、UPS 受强干扰故障，多个因素叠加而成。 ”针对本次事故，睿江科技将采取以下整改措施：

1. 整个机房重新进行防雷的技术评估，推进所需的防雷改造，防雷器的检查和增补。
2. 重做 UPS 设备内部防雷器的检查与防雷评估。
3. 抓紧和推进 UPS 故障应急维护机制，应急响应制度和措施的制定与执行，培训维护人员的应急处理规范和行为。 管理是主要的安全保障之一。

QingCloud会积极参与和监督机房的整改工作，全力提升基础设施服务水平。保障用户业务是我们高于一切的目标，我们会尽最大可能从故障中吸取教训，提供更好的服务。

青云QingCloud

附：睿江科技补充说明

因广东1区（GD1）所在IDC遭遇雷暴天气引发电力故障，6月6日下午QingCloud广东1区全部硬件设备意外关机重启，造成QingCloud官网及控制台短时无法访问、部署于GD1的用户业务暂时不可用，对此我们深表歉意。现将事故完整过程报告给您：

13:48  我们收到GD1硬件及网络告警，并发现官网及控制台无法访问；工程师马上进行系统状态检查，发现GD1所有硬件设备出现重启；随即我们与GD1所在的IDC运营商沟通询问机房情况，同时排查其他可能导致设备重启的原因，并着手恢复管理服务（KS）；其间，我们收到大量用户反映GD1业务中断；

14:08  操作切换DNS以恢复官网及控制台；

14:23  我们从IDC运营商处获知由于机房所在地区出现雷暴天气，机房因雷击引起UPS异常，机柜瞬时断电再加电，从而导致了青云的全部物理设备异常关机与重启；

14:38  GD1的管理服务恢复，Bots系统恢复，开始恢复用户主机；用户可以访问GD1资源；DNS完全生效，官网及控制台访问恢复；

15:15  内网DNS Server恢复；系统持续检查环境和帮助用户恢复业务；

16:19  GD1业务完全恢复，进一步检查后，于16:30分发布恢复公告。

本次严重故障从设备重启到用户业务恢复共耗时2小时31分钟，系统数据和用户的业务数据未出现任何丢失。

故障发生后，我们同IDC运营商“睿江科技”就事故原因和技术细节进行了持续沟通，并责成睿江科技出具真实、严谨的故障报告，力求全面了解机房电力系统和防雷系统发生故障的真实原因，以便在未来规避类似事件的再次发生。

截止目前，我们已经获取睿江科技提供的《关于20150606XX机房故障说明-青云》报告一份（附后），其中就雷击引起的电力故障进行了初步说明。通过报告，我们可以了解到的信息如下：

1. 电力系统：直击雷导致电力系统出现瞬时浪涌，UPS启动自我保护（报告中提到的“UPS瞬时波动”），从而释放电流导致瞬间断电。
2. 防雷系统：机房配备了强电、弱电、UPS及列头柜四级防雷，雷击主要是直击雷和感应雷两种，本次发生的是直击雷，现有防雷设施很难防护，从而导致雷电直接影响到电力系统，导致UPS断电保护。

但我们对其中的细节披露和专业解释仍存在以下疑问：

1. 目前建筑防雷系统已相当成熟，可以防感应雷、直击雷和侧击雷。专业的IT基础设施中的四级防雷系统更应该是如此，本次事故中机房的防雷系统为何未能成功防护直击雷？
2. 专业的IT设施防雷系统同民用防雷系统相比防护标准更加严格，本次事故的发生究竟是因为防雷系统失效还是因为防雷标准达不到专业IT设施标准？
3. 防雷系统中包含浪涌保护器，在正常情况下，防雷系统和浪涌保护器会释放掉因雷击产生的瞬时脉冲，从而保证UPS不会产生瞬断。那么昨天的事故中是否存在浪涌保护器失效，未能释放掉因雷击产生的瞬时脉冲，进而导致UPS的断电保护？

就上述疑问，我们正在同睿江科技进行持续沟通以获得真实可信的故障原因分析，也会向您完整、透明地披露相关信息。后续我们也会给出相应的赔偿方案，青云QingCloud团队再次对此事故对您造成的影响深表歉意，也感谢大家对我们的理解与支持。

针对本次恶劣天气导致的事故，我们通过重新审视了故障发生和排除的全过程，认为我们的技术能力和服务能力还有以下些可以进一步改进的地方：

1. 故障信息和故障排除进展的通告要更加及时。在昨天的事故中，我们首先将精力更多地投入到故障定位和排除上，在14:20才给出第一个故障通告，导致很多用户因缺乏信息产生焦虑。我们充分认识到及时、透明的信息通告的重要性，因此需要检讨在本次故障通告方面做的不够及时。为此我们制定了未来紧急情况下保障信息通知更加及时、准确的方案。我们会在第一时间通过网站、控制台及“青云QingCloud服务健康状态监控”网站（http://status.qingcloud.com）发布和更新系统异常及故障排除进展的通告，也会更及时地通过短信和邮件等形式向受影响的用户推送相关信息，以保证用户能更及时和准确地了解服务状态。我们非常理解在出现故障时用户面临着巨大的业务端压力，因此由衷地感谢用户们在了解故障信息后对我们给予的理解和支持；
2. 在任何故障情况下，保障官网及控制台正常访问。目前我们的官网及控制台是通过DNS切换的方式确保在所在区出现网络不可达或系统故障的情况下尽快恢复访问。未来我们会制定更快速有效的办法进一步确保官网及控制台的正常访问；
3. 在出现全部设备重启等极端故障情况下，更快地恢复管理服务和业务系统。本次在设备重启后，我们是通过Bots系统和人工操作结合的方式恢复了GD1的管理服务和用户业务，未来我们会编写更加智能的软件脚本，保障在极端情况下，业务系统能够更快速地恢复，将可能造成的损失降到更低；
4. 提高IDC服务保障水平。我们会同目前公有云四个区所在机房分别就电力、暖通、网络等各个专业系统的基础设施水平、运营管理流程规范等方面进行更加严格和全面的检查，并同IDC运营商一同定期进行灾难演练，最大程度避免基础设施故障的发生；同时进一步加强同IDC运营商之间的信息沟通效率，确保第一时间了解任何异常情况；
5. 容灾保护能力提升。将实现关键业务的容灾能力作为长期努力的目标，通过连接各个区的环网的建设和运营等手段实现更好的容灾能力。

综上，我们会全面审查故障处理流程，以应对机房断电等最极端的事故为标准进一步提升QingCloud系统的可用性，让信息传递更加及时和透明，通过自动化手段提高切换和业务恢复速度，让曾经发生的故障成为我们不断进步的和提高服务能力的源泉。

青云QingCloud

北京，2015年5月25日——

企业级基础云服务青云QingCloud日前宣布推出ZooKeeper集群管理服务和消息队列（Message Queue）服务。ZooKeeper是分布式系统中最基本的组件，能够协调管理分布式应用；消息队列服务是为了缓解消息的生产和消费之间的不对等，而在两者之间加的一层缓冲区，目前支持Kafka。这两项服务的推出能够最大限度的降低分布式系统的运维难度，帮助企业用户降低部署大数据业务的技术门槛。

青云QingCloud是全球首家将ZooKeeper作为单独服务提供给用户的云服务商。通过ZooKeeper，分布式应用能够获得状态同步、配置管理、名称服务、群组服务、分布式锁及队列、以及Leader选举等服务。ZooKeeper是分布式系统的大脑，用户通过它能够协调和管理Hadoop、Spark、Storm、Kafka以及自主开发的分布式应用。将ZooKeeper作为一项单独的服务提供给用户，而不是捆绑在某一应用上对外提供服务，有助于用户发挥想象力，灵活使用ZooKeeper，实现业务层面的创新。

QingCloud提供的ZooKeeper服务有如下优势：

·在线伸缩：青云QingCloud提供的ZooKeeper集群具有真正意义上的横向、纵向在线伸缩能力，即ZooKeeper的在线伸缩对客户端是透明的，用户业务的连续性不会因此而中断。后续还会配合AutoScaling，达到ZooKeeper集群自动伸缩的效果。

·自我诊断和自我修复：系统会自动监测ZooKeeper集群的可用性，一旦发现故障就会启动自动修复功能，集群可在秒级内自动恢复，无需人为干预。

·监控告警：QingCloud ZooKeeper集群提供了丰富的监控服务，既包括CPU使用率、内存使用率、硬盘使用率、硬盘IOPS、硬盘吞吐量等资源监控，又包括针对ZooKeeper服务的特定监控项。除此之外，ZooKeeper服务还可以设置告警策略，超出阈值时发出告警，并向用户发送短信和邮件通知。

·安全性：ZooKeeper集群运行于QingCloud私有网络中，结合高性能硬盘，在保障高性能的同时兼顾用户的数据安全。

此外，最新推出的Kafka消息队列服务具有分布式、可分区、多副本的特性，主要用于处理活跃的流式数据，比如网页的访问量、日志等，能够实时或离线处理大量数据。跟传统的消息队列系统如RabbitMQ、ActiveMQ相比，Kafka具有高吞吐、低延迟等优势，已成为大数据处理平台中的常用组件。

与ZooKeeper集群管理服务类似，QingCloud Kafka消息队列服务同样具有在线伸缩的能力，且消息的发送和消费不会因为伸缩过程而中断；以及丰富的监控告警功能，减轻运维压力；Kafka各组件之间能够部署灵活的网络拓扑，即消息的Producer、Broker、Consumer以及ZooKeeper可以在不同的网络里。另外，QingCloud还提供了灵活的配置管理，允许用户自行定制Kafka集群。

青云QingCloud首席架构师林源表示，此次发布的ZooKeeper集群管理服务和消息队列服务是大数据平台的基础，为QingCloud即将推出的大数据服务提供支持。QingCloud预计在7月份会推出Hadoop服务，包括HDFS、MapReduce和HBase等基础组件，未来还会推出Spark和Storm等实时大数据服务。