消息队列与集群管理服务

在青云，你可以快速创建基于 ZooKeeper 协调管理的消息系统（Kafka）以处理大量活跃流式数据。

ZooKeeper

ZooKeeper 是一个高可用的分布式数据管理与系统协调软件，它可以为分布式应用提供状态同步、配置管理、名称服务、群组服务、分布式锁及队列、以及 Leader 选举等服务。主要支持以下特性：

• 在线伸缩：ZooKeeper 支持横向、纵向的在线伸缩，既可以在线增加、删除节点，也可以在线更改资源配置。
• 监控服务：ZooKeeper 提供了详细的监控信息，既有对每个节点的资源监控，如内存使用率等；也对每个节点提供了 ZooKeeper 服务监控，包括节点角色、响应延迟时间等。
• 告警服务：我们对每个节点 ZooKeeper 服务是否正常进行监控并设置告警策略，一旦某个节点 ZooKeeper 服务发生异常就进行告警，并发送短信和邮件通知给用户。
• 自我诊断与自我修复：当系统发现某节点坏死时会自我修复，无需人为干预。
• 更多详情请参看《ZooKeeper服务指南》。

消息队列 Message Queue

消息队列（Message Queue）服务是为了缓解消息生产者与消息消费者之间不同步问题，从而在两者之间加了一层缓冲区的一项服务。青云目前支持的 Kafka 是一个分布式、可分区、多副本的消息系统，具有高吞吐量、低延迟等优点。主要支持以下特性：

• 在线伸缩：消息队列服务支持横向、纵向的在线伸缩，既可以在线增加、删除节点，也可以在线更改资源配置。
• 监控服务：消息队列服务提供了详细的监控信息。以 Kafka 为例，既有对每个节点的资源监控，如内存使用率、 CPU 使用率等；也对每个节点提供了 Kafka 服务监控，包括 Java 虚拟机堆内存使用率、消息吞吐率、数据吞吐率等。
• 告警服务：我们支持对每个节点配置监控告警策略，当发生异常时，会触发用户设定的告警阈值，并发送短信和邮件通知给用户。除了资源如CPU、内存、硬盘告警外， Kafka 还支持“存在异常分区”的监控告警。
• 灵活组网：青云提供灵活的网络配置来支持 Kafka 的 broker, producer 和 consumer 都不在一个网段中的情况，可以通过修改 broker 的 Advertised 主机名 与 Advertised 端口来实现。
• 配置修改：我们通过消息队列配置组来管理消息队列服务的配置。消息队列服务和消息队列配置组是解耦的，您可以创建多个独立的配置组，并应用到不同的消息队列服务。 消息队列服务在运行过程中，也可以随时变更配置组。
• 更多详情请参看《消息队列服务指南》。