青云QingCloud助力MARS创新创业大赛

北京,2016年8月18日——

近日,2016MARS创新创业大赛在北京世贸天阶宣布正式启动,青云QingCloud作为独家云平台服务商全程助力此次比赛,为创业者提供全面专业的云计算服务与整体解决方案。

图片 1 本次大赛由多牛传媒和玛斯投资主办,截止目前,已经召集上百家投资机构、合作机构和品牌商深度参与。大赛通过组建专业评审团,创建立体式传播矩阵,从品牌、咨询、营销、技术等多个方面,切实为创业者解决需求痛点以及提供全方位服务。

为解决创业初期缺乏专业技术团队、数据安全及系统稳定性等技术难题,创业者们需要一个简单易用、安全稳定可靠的云服务平台。青云QingCloud作为一家专业的云服务商,曾为招商银行极客马拉松挑战赛、2015甲骨文杯全国Java程序设计大赛、“TechCrunch Disrupt” 北京黑客马拉松大赛等技术竞赛均提供运行环境和技术支持。此次大赛,QingCloud将一如既往提供全程的技术支持,为创业保驾护航。

据了解,MARS创新创业大赛已成功举办三届,累计有高达几千个有效报名项目。其中诞生的行业新星如“春雨医生”、“足记”、 “彩球”等。青云QingCloud作为底层支持云平台,持续为这些行业新星提供灵活高效、稳定可靠的底层资源环境。

青云QingCloud推出HBase集群服务 支持SQL等高级功能

北京,2016年8月22日——

为了更好地满足用户对大数据基础平台的需求,企业级基础云服务商青云QingCloud(qingcloud.com)日前宣布正式推出HBase集群服务,包含HBase数据库服务、HDFS分布式文件系统、Phoenix查询引擎三大组件。在原生HBase的基础上,QingCloud在配置的易用性、监控告警、在线伸缩等方面进行全面优化,并支持二级索引、SQL和JDBC API,以及完全ACID事务等高级功能,用户能够在2-3分钟内创建一个HBase集群,并能够在控制台直接修改配置文件并应用,极大地减轻了HBase集群的运维难度。

青云QingCloud推出HBase集群服务

青云QingCloud推出HBase集群服务

作为Hadoop生态圈的重要成员,HBase是一个具有高可靠性、高性能、可伸缩性、列式存储的分布式NoSQL数据库。与关系型数据库相比,HBase能够支持PB级的数据量和每秒百万次的吞吐量。通常情况下,HBase应用于建立互联网索引、推荐系统后台、浏览历史及监控数据的存储和查询等场景。依托Hadoop的分布式文件系统HDFS作为底层存储,HBase能够为数十亿行、数百万列的海量数据表提供随机、实时的读写访问。

与Hadoop一样,HBase集群采用的是Master/Slave架构,如下图所示,青云QingCloud的HBase集群分三种节点类型:主节点(HBase Master和HDFS NameNode)、从节点(HBase RegionServer和HDFS DataNode)和客户端节点(HBase Client)。用户在HBase客户端可通过HBase Shell、Java API(本地或MapReduce)、Rest API或其他工具来访问HBase。若需要使用除Java外的其他语言时,可在客户端节点(HBase Client)自行启动Thrift Server以供支持。

青云QingCloud HBase集群服务架构图

青云QingCloud HBase集群服务架构图

青云QingCloud提供的HBase集群服务有以下亮点:

  • 高级功能:在原生HBase的基础上,QingCloud通过增加对Phoenix组件的支持,提供多种高级功能,如低延时OLTP、二级索引、标准SQL和JDBC API,以及完全的ACID事务能力。
  • 在线伸缩:大数据平台包括HBase的运维是非常繁琐的,而在QingCloud上,用户可以在2-3分钟创建一个HBase集群,集群支持横向与纵向在线伸缩。
  • 配置优化:用户可以在控制台直接修改和应用HBase的配置文件,省去大量繁琐的配置过程。此外,QingCloud还针对配置文件进行一定经验配置,并支持定时Major Compact,为HBase的运维提供最佳实践和技术支持。
  • 监控告警:QingCloud对HBase集群的每个节点提供了资源的监控和告警服务,包括CPU使用率、内存使用率、硬盘使用率等。同时,HBase和HDFS提供了丰富的监控信息。

青云QingCloud CTO 甘泉(Reno Gan)表示,在IaaS平台的基础上,QingCloud正在构建一个以关系型数据库、缓存服务、大数据服务,以及对象存储服务为组件的数据服务平台,它们彼此关联、相互补充,并逐渐成为超高性能、灵活搭配、完整生命周期的数据解决方案。

HBase 服务上线

HBase 是一个开源的、分布式的、数据多版本的,列式存储的 nosql数据库。依托 Hadoop 的分布式文件系统 HDFS 作为底层存储, 能够为数十亿行数百万列的海量数据表提供随机、实时的读写访问。 青云提供的 HBase 集群服务包含:HBase 数据库服务、HDFS 分布式文件系统、Phoenix 查询引擎。压缩格式方面支持 GZIP、BZIP2、LZO、SNAPPY,可自行在应用中指定。 关于 HBase 更多的详细信息,可参阅HBase 官方文档,关于 Phoenix 查询引擎的详细信息,可参阅 Phoenix 官方网站 。

系统部署架构

与 Hadoop 一样,HBase 集群采用的是 master/slave 架构,青云提供的 HBase 集群服务还包括在线伸缩、监控告警、配置修改等功能,帮助您更好地管理集群。 如下图所示,青云的 HBase 集群分三种节点类型:主节点 (HBase Master 和 HDFS NameNode),从节点 (HBase RegionServer 和 HDFS DataNode) 和客户端节点 (HBase Client)。 用户在HBase 客户端可通过HBase Shell、Java API(本地或MapReduce)、Rest API 或其他工具来访问HBase。 若需要使用除java外的其他语言时,可在客户端节点 (HBase Client)自行启动 Thrift Server 以供支持。

hbase_architecture

create_hbase_1

另外,QingCloud 的 HBase 服务还提供:

在线伸缩

增加节点:您可以在 HBase 详情页点击“新增节点”按钮增加从节点,可以对每个新增节点指定 IP 或选择自动分配。

删除节点:您可以在 HBase 详情页选中需要删除的从节点,然后点击“删除”按钮,只能一次删除一个,并且必须等到上个节点删除后且 decommission 结束才能删除下一个节点,否则数据会丢失。 青云 HBase 集群在此操作时会先迁移 region 再复制数据,确保用户业务不受影响。

纵向伸缩:由于不同类节点压力并不同,所以青云 HBase 支持对 HBase Master Node 主节点、HDFS Name Node 主节点 和 HBase 从节点分别进行纵向伸缩。

监控和告警

我们对 HBase 集群的每个节点提供了资源的监控和告警服务,包括 CPU 使用率、内存使用率、硬盘使用率等。 同时,HBase 和 HDFS 提供了丰富的监控信息。如果需要通过公网访问这些信息您需要先申请一个公网 IP 绑定在路由器上,在路由器上设置端口转发,同时打开防火墙相应的下行端口。 HBase Master 默认端口16010,HDFS Name Node 默认端口是50070。为方便查看HBase UI,请参考 VPN 隧道指南 配置VPN,VPN 建立后可查看下述界面。

  • http://<HBase Master Node private IP>:16010
  • http://<HDFS Name Node private IP>:50070

hdfs_monitor yarn_monitor

为了帮助用户更好的管理和维护 HBase 集群,我们提供了部分针对 HBase 服务的监控,包括:

  • 集群Region 迁移监控: 集群中 Region 处于迁移状态的数量
  • RegionServer 读、写QPS监控: RegionServer 每秒读、写操作数
  • RegionServer BlockCache 命中数监控: RegionServer BlockCache 命中数
  • RegionServer BlockCache 命中率监控: RegionServer BlockCache 命中率
  • RegionServer 慢操作数监控: RegionSever 慢 Delete,Increment,Get,Append,Put 数量
  • RegionServer CMS GC 时间监控: RegionSever CMS GC 消耗 ms 数

配置

我们通过 HBase 配置组来管理 HBase 服务的配置。HBase 服务和 HBase 配置组是解耦的,您可以创建多个独立的配置组,并应用到不同的 HBase 服务。

测试 HBase 集群

关于集群服务的可用性测试请参看《HBase 使用指南》HBase 集群测试部分。

Changelogs 20160801

负载均衡器提供更多的附加选项

  • 当所有后端不可用时直接拒绝 TCP 连接请求: (仅TCP) 当所有后端不可用时,不再接受连接,而是直接拒绝 TCP 连接请求。

tcp_options

  • 禁用 HTTP 头字段 Proxy: (仅HTTP/HTTPS) 为了安全起见,某些后端为 CGI 的 Web 应用需要在用户请求中禁用该字段来防止注入攻击。

lb_listener_options

优化性能型硬盘绑定速度

当性能型硬盘从一台主机解绑并绑定到另一台主机时,可能会触发数据迁移导致绑定时间很长。我们对这个绑定速度进行了优化,现在解绑并重新绑定的时间能缩短到秒级,同时不随数据量大小而变化。

青云QingCloud 再度入选Gartner Hype Cycle IaaS中国代表厂商

北京,2016年7月30日——

日前,全球权威的IT研究和顾问咨询企业Gartner发布的”Hype Cycle for ICT in China, 2016”(简称“Hype Cycle”,意为技术成熟度曲线)中,青云QingCloud被列为IaaS的代表厂商。这是继“Hype Cycle for ICT in China, 2015”后,QingCloud再次被Gartner列入IaaS中国代表厂商。

Hype Cycle是Gartner的技术研究报告,根据各项IT技术在中国的发展阶段、创新程度、企业对其的接受程度以及相应的风险保障机制,将23种新型技术列入不同的技术发展时期,包括雏形期、期望值膨胀期、幻想破碎期、复苏期以及成熟期。

在Gartner 2015和2016的两份Hype Cycle报告均显示,IaaS在中国处于幻想破碎期,这意味着IaaS在国内不再是火热的概念,已经进入了落地阶段。青云QingCloud作为一家企业级云服务商,两度被Gartner列为IaaS代表厂商,在IaaS领域取得了卓越的成就:

首先,青云QingCloud云计算平台是一套纯自主研发,面向新一代云数据中心架构,软件定义的 IT 资源交付与管理平台。它面向严肃企业,提供稳定可靠、集成统一、弹性伸缩、智能高效并自主可控的云基础架构及服务,为客户带来积极而深远的价值。

其次,青云QingCloud已帮助多家企业逐步将业务系统在云平台部署,从而帮助其获得更为灵活、弹性、可扩展的IT服务,支撑业务的快速发展及互联化,包括中国银行、招商银行、泰康人寿、阳光保险、九州证券等大中型企事业单位,及领英赤兔、蘑菇街、人民网、环球网、极客公园、春雨医生等大量新兴行业及互联网企业。

QingCloud Insight 2016:诠释云计算未来图景

北京,2016年7月28日——

7月28日,QingCloud Insight 2016在北京国际饭店举行,向来自全国各地超过1500名企业用户、生态合作伙伴、开发者、技术爱好者以及媒体展示了青云QingCloud云计算领域的最新研发成果。大会以“科技,洞见未来”为主题,围绕着云计算生态与技术等话题,与参会者分享了最新的技术趋势与实践经验。泰康人寿、国家气象局、国家核电、北京农商行、徽商银行、首都公路发展集团、三一集团、借贷宝、多点Dmall、中科软、华成峰等用户及合作伙伴前来助阵,共同探讨科技与创新的前沿话题,洞悉技术与商业的未来。

图片 9

青云QingCloud CEO 黄允松

从互联网短短二十年发展历程可以看出,信息技术对商业和经济的发展所起到的作用越来越大、影响越来越深远。科技在一定程度上定义着人类的未来、经济和社会发展。作为专业的企业级基础云服务商,青云QingCloud借此大会向参会者诠释科技所带来的未来图景。

最近一年以来,云计算行业有一个非常明显的变化,一些企业的IT云化几乎达到了100%。企业IT架构的可靠性更高,可维护性更强,IT总拥有成本也大幅降低。通过这一轮云化的深入发展,企业级应用正逐渐变得标准化和市场化。

图片 10

QingCloud Insight 2016

今年是QingCloud正式商用三周年, 青云QingCloud CEO 黄允松(Richard Huang)为与会者盘点了QingCloud三年来的发展历程,并发布了“以应用为中心”的新战略。他表示:“‘生态’一直是QingCloud发展过程中最重要的关键字。我们过去的商业模式是典型的以资源为中心,为了更好地服务云生态合作伙伴,并最终服务于企业级IT消费者,我们正在完成“以应用为中心”的转型。 并推出了AppCenter 2.0全新云生态应用平台,相较于AppCenter 1.0,它可以接驳多样化的PaaS组件实现和集群管理框架,使得PaaS成为一个非闭环的开放生态,同时也提供了丰富的工具及服务,能够帮助合作伙伴及开发者更加简便地构建集群应用,用户也可以获得更加完善的企业级应用和服务。”

为了更好的支撑“以应用为中心”的战略转型,QingCloud在过去一年中加大对IaaS和PaaS的研发投入,大幅提升了云服务的功能及性能。青云QingCloud CTO 甘泉(Reno Gan)在会上发布了SDS 2.0、SAN 2.0、NAS 2.0、Container Instance、Native PaaS等一系列重量级新品和技术,并宣布对IaaS进行扩展,在支持Virtualization的基础上,新增对Container、Unikernel技术的支持。

同时,QingCloud不仅在技术上引领了行业的发展,在商业上也收获了超过6万家企业级用户。在人们的固有印象中,传统行业比较保守,对新兴技术的接受度不高。但事实证明,传统行业对云计算技术只是谨慎,并非保守。一旦真正接受云计算技术后,他们的转型步伐甚至超越了互联网企业。近两年,云计算已经在金融、能源、零售、地产、政府等传统行业中落地,并完成了云化的深入改革。在本届大会的“对话·洞见”行业领袖高峰论坛中,IT Value 发起理事、钛媒体联合创始人万宁担任主持人,与泰康人寿助理总裁、首席信息官刘大为、国家气象局信息中心副总工程师沈文海、北京农商行数据中心总经理肖国彬,以及中科软科技股份有限公司总裁左春共同就传统企业在云时代如何转型进行了深入探讨。

QingCloud正在从一个基础云服务供应商,逐步转型为综合的、多维的企业级IT服务解决方案提供商。青云QingCloud 解决方案与架构部总经理沈鸥在大会上详细介绍了QingCloud全维度企业级IT解决方案。目前,QingCloud已为中国银行、招行银行、泰康人寿、九州证券、顺丰集团、SOHO中国、伊莱克斯、华润万家、剑南春、京客隆等众多大型企事业客户提供专业的IT服务。

此外,QingCloud Insight还邀请了众多知名嘉宾和行业领袖倾力打造《数据时代的技术与应用》、《新IT,新商业》、《乘云而起的互联网经济》、《多维共生的云计算生态》、《We,Developers》、《云时代的运维与安全》六大专题论坛,内容遍及云计算技术、生态、运维、安全、开发、应用、企业业务创新和战略转型等时下热门话题,为观众带来最真实的云计算应用实战经验。

深化合作伙伴战略 青云QingCloud构建多维共生的云生态

北京,2016年7月28日——

7月28日,QingCloud Insight 2016大会今天在北京国际饭店举行,来自全国各地超过1500名企业用户、生态合作伙伴、开发者、技术爱好者以及媒体等云计算相关人士参加了本次大会。青云QingCloud 携手众多合作伙伴,向业界展示了QingCloud 全维度生态合作政策,以及“X Partners”云生态合作成果。

图片 5
QingCloud Insight 2016 :对话 • 洞见

“云计算天然具有生态属性,只有构建起功能丰富、具备专业的行业解决方案、覆盖不同规模/地域/类型的业务的多维生态系统,才能真正以应用为核心,为企业业务创造更大的价值。”青云QingCloud合作伙伴和生态系统部总经理田华在会上表示:“生态一直是QingCloud发展过程中最为重要的关键字,在QingCloud所构建的生态系统中,我们和合作伙伴之间的层次会越来越分明,分工也会越来越明确,最终将为共同的企业客户构建一个以业务应用为核心的平台、框架、资源和服务体系。”

青云QingCloud在大会上重点阐述了“功能联盟”、“行业联盟”、“区域联盟”三大联盟,这将成为QingCloud生态系统的重要战略方向,未来QingCloud会在生态建设方面围绕三个联盟不断提升服务能力和影响力:

  • 功能联盟:作为技术驱动的基础云服务商,QingCloud是国内最早开放全功能API的云厂商,陆续推出了应用中心(AppCenter)和映像市场。功能联盟主要通过AppCenter和映像市场实现落地,使得QingCloud逐渐成为全方位集成的企业级IT综合服务平台;
  • 区域联盟:QingCloud与地方政府合作开拓地域性的云计算服务平台。如今年5月份与福建省政府合作建设中小企业云平台,为福建地区的用户提供云计算服务。通过区域联盟,当地用户可以享受到QingCloud领先的云计算服务;
  •  行业联盟:QingCloud去年发布“X Partners”合作伙伴计划后,开拓了众多行业合作伙伴,很多用户也相继加入“X Partners”,与QingCloud共同携手为行业用户提供专业服务。

为了鼓励更多服务商加入功能联盟,田华在大会上宣布将针对AppCenter推出三重大礼包——AppCenter入驻欢迎礼包、创业扶持礼包和战略合作支持礼包。其中入驻欢迎礼包含最高5000元QingCloud公有云平台资源使用费,适用于所有新入驻的非SaaS类型服务商,无需申请,入驻即可获得。

图片 6

创业扶持礼包包含最高20,000元QingCloud公有云平台资源使用费,适用于成立不超过5年的非上市公司、已获得天使投资/Pre-A/A轮投资、年收入不高于500万人民币、产品会入驻AppCenter的初创企业。

图片 7

战略合作支持礼包包含最高50,000元QingCloud公有云平台资源使用费,适用于成立超过3年、产品在所在领域有一定影响力/知名度、产品会入驻AppCenter的企业。

图片 8

青云QingCloud在今年4月份还推出了合作伙伴线上培训平台,所有合作伙伴都可以通过该平台学习和了解QingCloud解决方案、产品、技术及新策略。截止目前已经有将近500名合作伙伴售前技术人员和销售通过了线上认证,获得了QingCloud发布的技术和销售认证的证书。平台上线后,QingCloud举办了“合作伙伴技术精英赛”,得到了合作伙伴非常热烈的反响。经过三个多月的角逐,最终的获奖选手出席了“X Partners”精英挑战赛颁奖典礼。

此外,在本次大会上,来自戴尔、宝存、青藤云安全、极光推送、PingCAP、HashData、FIT2CLOUD、HGST、SuperMicro、Electric Cloud、互联港湾、绿盟云、中科软、博智信息、Mellanox、华成峰、云南彩立方、微吼直播、星云视频等合作伙伴前来助阵,与QingCloud共同展示了云生态合作成果及对新型生态体系的畅想。

 

青云QingCloud发布IaaS、PaaS重量级产品 推进“以应用为中心”战略

北京,2016年7月28日——

7月28日,企业级基础云服务商青云QingCloud(qingcloud.com)在北京国际饭店举行QingCloud Insight 2016大会,来自全国各地超过1500名企业用户、生态合作伙伴、开发者、技术爱好者以及媒体等云计算相关人士参加了本次大会。会上,QingCloud发布了SDS 2.0、SAN 2.0、NAS 2.0、AppCenter 2.0、Container Instance等一系列重量级新品和技术,覆盖IaaS、PaaS、生态等多个领域,引领了云计算未来的发展趋势。

图片 4

青云QingCloud CTO 甘泉

“随着青云QingCloud从‘以资源为中心’向‘以应用为中心’转型,我们做的产品越来越深入。以前推出的很多功能都是从无到有,现在则需要在已有产品的基础上更上一层楼,更快、更全面、更具性价比。”青云QingCloud CTO 甘泉(Reno Gan)在发言中表示:“为了更好的支撑‘以应用为中心’的战略转型,QingCloud在过去一年中加大了对IaaS和PaaS的研发投入。今年,我们已经陆续发布了SDN/NFV 2.0、Hadoop、资源协作、资源编排、映像市场、ElasticSearch 、Hive、 Storm等众多IaaS和PaaS新功能,不断完善云平台的各类产品和服务,降低用户使用新技术的门槛。”

作为本次大会最重要的发布之一,青云QingCloud推出了AppCenter 2.0全新云生态应用平台,相较于AppCenter 1.0,它可以接驳多样化的PaaS组件实现和集群管理框架,使得PaaS成为一个非闭环的开放生态,同时也提供了丰富的工具及服务,能够帮助合作伙伴及开发者更加简单地构建集群应用,用户也可以获得更加完善的企业级应用和服务。

此次发布的SDS 2.0功能更强、性能更高、规模更大,可以支持自定义的副本个数和位置,这对于企业级应用是非常关键的属性。随着用户规模和个性化需求越来越高, SDS 1.0的性能与功能都出现了瓶颈。SDS 2.0可同时支持虚拟化和非虚拟化硬盘,允许以硬盘为粒度进行动态副本配置,还能够以全闪存代替物理硬盘。

NAS 2.0和SAN 2.0可以为用户提供更大规模的存储能力。其中,NAS 2.0支持PB级别存储空间,SAN 2.0支持的单块硬盘容量大于100TB。并且SAN 2.0可以支持全闪存阵列,这意味着用户在获得一块超大硬盘的同时,还能获得极高的存储性能。

青云QingCloud IaaS一直引领着云技术发展趋势,本届大会上,QingCloud宣布IaaS平台可以同时支持Virtualization、Container、Unikernel三种架构。在此之前, IaaS平台只能运行基于Virtualization的Instance(实例),虚拟化必然会伴随有性能损耗;而基于Container的Instance虽然性能几乎无损耗,但又依赖物理机内核,不能运行Windows或对内核有特殊要求的软件,隔离性和安全性较差。QingCloud新增的基于容器的全功能主机实例(Container Instance)可以在同一个平台上实现Virtualization的Instance与Container Instance共存,共享一套网络和调度,用户可以自己决定使用哪种Instance,同时两种Instance的功能和用法几乎一致,对用户而言使用界面几乎没有区别。

此外,青云QingCloud还新增了对Power小型机和VMware虚拟化的支持,今后在 QingCloud 云平台上既可以管理基于KVM的Instance,也可以管理基于Power小型机和VMware虚拟化的Instance,给予用户更多选择。

让大数据分析更轻松 青云QingCloud新增Storm/Hive服务

北京,2016年7月26日——

为了进一步完善大数据平台,企业级基础云服务商青云QingCloud(qingcloud.com)日前宣布新增分布式实时计算系统Storm和基于Hadoop的数据仓库工具Hive,这是继月初推出Elasticsearch全文搜索引擎服务后QingCloud推出的又一重要功能。随着数据在企业商业决策和产品功能中起到的作用越来越重要,大数据技术正在越来越多的企业中发挥出更大价值。QingCloud正在不断完善大数据平台,帮助用户降低技术门槛。目前,两个新功能已经分别在QingCloud控制台的大数据平台和映像市场上线。

 图片 2

QingCloud Storm功能上线

Storm是一个开源的分布式实时计算系统,通常被比作"实时的Hadoop"。Storm为实时计算提供了一些简单优美的原语,支持多种编程语言,并内建流式窗口API及分布式缓存API,极大简化了流式数据处理过程。Storm不仅高可靠、易扩展,而且处理速度极快,每个计算节点每秒能处理上百万条元组信息(Tuple),因此常被用于实时分析、在线机器学习、连续计算、分布式RPC、ETL等。QingCloud提供的Storm 集群采用Master/Slave 架构,提供了在线伸缩、监控告警等功能,帮助用户更好地管理集群。

 图片 3

QingCloud Storm集群架构图

通常包括Storm在内的大数据平台的运维都是非常繁琐的,但在QingCloud上,用户可以在2到3分钟创建一个Storm集群。集群支持横向与纵向在线伸缩,还提供了监控告警等功能,使得管理集群异常方便。集群运行于100%二层隔离的私有网络内,结合QingCloud提供的高性能硬盘,在保障高性能的同时兼顾用户的数据安全。

 图片 架构

QingCloud Hive服务架构图

Hive是基于Hadoop的一个主流的针对海量数据做离线分析的数据仓库,可以将结构化的数据文件映射为数据库表,并提供简洁的类SQL(称为HQL)查询功能,将HQL语句转换为MapReduce任务后运行。 其优点是学习成本低,可通过HQL语句快速实现简单的MapReduce统计,大部分场景不必开发专门的MapReduce应用,十分适合基于数据仓库的统计分析。另外,也可通过MapReduce开发扩展新功能函数。

QingCloud提供的Hive映像包含了Hive Client和Hive Server的所有功能。用户在Hive Client端发起HQL任务,通过Hive Server实现HQL到MapReduce任务的转换,然后调用Hadoop集群执行。在QingCloud上,用户可以在2到3分钟内创建一个Hive服务,并完成与其他大数据集群连接的配置。Hive服务支持纵向在线伸缩, 提供了监控告警等功能,使得服务管理非常方便。

青云QingCloud CTO甘泉(Reno Gan)表示:“Storm、Hive服务的推出标志着QingCloud大数据基础平台的进一步完善,结合已经推出的Spark、Hadoop、ZooKeeper、消息队列(Kafka)、Elasticsearch等服务,QingCloud的大数据平台服务已经能够满足用户的各种需求。很快我们还将会上线HBase存储集群服务,提升整个大数据生命周期使用效率的各类平台管理服务——包括但不限于日志服务、计算引擎灵活切换、对象存储集成、服务编排等,以及基于主流机器学习平台的智能分析服务。此外,全新的容器技术将会大幅度提升大数据平台的整体性能。”

Storm 功能上线

Storm 是一个开源的分布式实时计算系统,通常被比作"实时的 Hadoop"。Storm 为实时计算提供了一些简单优美的原语,支持多种编程语言,并内建流式窗口 API 及分布式缓存 API,极大简化了流式数据处理过程。Storm 不仅高可靠、易扩展,而且处理速度极快,每个计算节点每秒能处理上百万条元组信息(Tuple),因此常被用于实时分析、在线机器学习、连续计算、分布式 RPC、ETL 等。 关于 Storm 更多的详细信息,请参阅 Storm 官方网站 。

青云的 Storm 集群包括如下五种节点类型:

  • 主节点:运行了 Nimbus、DRPC、UI 和 Logviewer 服务,负责接收客户端提交的计算拓扑,并协调分派计算任务。
  • 从节点:运行了 Supervisor 和 Logviewer 服务。其中,Supervisor 服务主要用于接收计算任务并按需启动或停止工作进程(Worker),而 Logviewer 服务方便用户查看运行日志。
  • RPC 节点:运行了 DRPC 和 Logviewer 服务,用于接收 RPC 请求,并将计算拓扑的处理结果返回给客户端。
  • 客户端节点:安装了 Python、JRE/JDK 和 Storm 软件,用于提交计算拓扑。
  • Zookeeper 集群:用于协调 Storm 集群。

storm_architecture

另外,青云的 Storm 服务还提供了在线伸缩和监控告警功能:

在线伸缩

增加节点:当您需要横向扩展集群规模时,您可以在 Storm 详细页点击“新增节点”按钮增加主节点、从节点或 RPC 节点,每个新增节点在私有网络中的 IP 可以手动指定或选择自动分配。

删除节点:当您不需要集群中的某些节点时,您可以在 Storm 详细页选中需要删除的节点,然后点“删除”按钮,以在线缩减集群规模。

纵向伸缩:由于不同类节点压力并不同,所以青云 Storm 支持对 主节点、从节点 和 RPC 节点分别进行纵向伸缩。通常情况下主节点和 RPC 节点的压力都不会太大,运行 worker 进程的从节点的配置一般更高些。

监控和告警

我们对 Storm 集群的每个节点提供了资源的监控和告警服务,包括 CPU 使用率、内存使用率、硬盘使用率等,以帮助用户更好的管理和维护 Storm 集群。 同时,Storm 主节点上运行的 Storm UI 服务提供了丰富的集群监控信息,默认端口为8080。 此外,青云提供的 Storm 集群还在各个节点上运行了 Logviewer 服务,该服务允许用户访问各个节点上的日志。拨入到 VPN 网络后,可以访问以下 URL 来浏览 Storm UI 及节点日志:

  • http://<Storm 主节点私有网络 IP>:8080
  • http://<Storm 任意节点私有网络 IP>:8080/daemonlog?file=<log file name>

例如:

配置

我们通过 Storm 配置组来管理 Storm 服务的配置。Storm 服务和 Storm 配置组是解耦的,您可以创建多个独立的配置组,并应用到不同的 Storm 服务。

更多详情请参看《Storm 用户指南》