QingMR 大数据服务全新升级,支持 Flink 流式计算

为更好的满足用户对 QingMR 大数据服务功能的需求, 本次升级包括的更新如下:

QingMR:立即使用→
  • 新增对流式计算 Flink 1.9.0 的支持
  • 集群节点支持企业型主机,单节点最高支持 32核CPU 和 128G内存配置
  • 集群节点支持 SSD 企业型硬盘,单节点最高容量可达 2TB

至此,QingMR 大数据服务支持的功能如下:

  • Hadoop 分布式文件系统 HDFS
  • 集群资源管理系统 YARN
  • 数据处理框架 Hadoop MapReduce, Spark 和 Flink
  • 数据仓库工具 Hive
  • 海量数据 OLAP 分析引擎 Kylin 的企业级产品 Kyligence Analytics Platform
  • Hadoop MapReduce , Spark 和 Hive 与 QingStor 对象存储集成,无缝读写海量数据
  • 支持设置 Hadoop proxyuser
  • Spark 支持 Standalone 和 YARN 两种模式
  • 支持上传自定义的 Spark 应用内调度器和 YARN 调度器
  • 支持基于 Spark 的分布式深度学习框架 BigDL
  • 支持 Flink YARN cluster 和 Standalone Flink job on YARN
  • Hive 支持 MapReduce 和 Spark 两种执行引擎
  • 支持 Python 及 Anaconda 发行版的数据科学包并可在 Python2 和 Python3 之间切换
  • 支持 R 语言

更多详细使用指南请参考:QingMR 用户指南

Redis Standalone 新增 Region 多可用区部署,支持同城多活等功能

为更好的满足用户对 Redis Standalone 缓存服务功能的需求, 本次升级包括的更新如下:

Redis  Standalone:立即使用→
  • 升级到 Redis 5.0.5
  • 新增支持自助查看和下载日志文件
  • 支持 Region 多可用区部署,同城多活
  • 关闭 OpenSSH Server 服务以提高安全性
  • 提升三节点集群主从切换稳定性
  • 优化日志轮转,节省硬盘空间
  • 增加新主机类型供用户选择
  • 增加切换单双核 CPU 的选项

更多详细使用指南请参考:Redis Standalone on QingCloud 用户指南

上海 1 Region 全新升级,上海 1 区-B 可用区正式开放运营

       青云QingCloud 上海 1 Region 全新升级,正式开放运营上海 1 区-B 可用区,标志着青云QingCloud 公有云服务能力的再次升级。此次开放运营的上海 1 区-B 采用 QingCloud 成熟稳定的云网一体化基础设施架构,并通过专线接入QingCloud 运营的智能广域网,与上海 1 区-A 高速互联互通,助力用户轻松构建同城多活/灾备业务架构,满足企业用户部署跨可用区多节点集群应用的需求。

基础设施升级
· 运营商级核心数据中心保障,提升数据中心可靠性;
· 多线自主动态 BGP 网络,智能调度保障最有连接质量;
· 一站式混合云接入,全方位支持用户业务发展。
 
Region 架构升级
· 上海 1 区-B 正式开放,上海 1 区升级为区域(Region);
· 增强上海 1 区(SH1 Region)多活架构的可靠性与高可用性,轻松实现系统架构的多可用区部署;
· 通过开启多可用区部署的网络服务,可支持企业用户部署跨可用区多节点集群应用,进一步提升应用的可用性(如 MySQL Plus、MongoDB )。

网络架构升级
· 数据中心网络架构升级为叶脊(Spine Leaf)拓扑网络架构;
· 全面采用 25/100G 网络,传输多线,带宽更高;
· 数据中心内任意节点故障或升级对网络全局无影响;
· 使用 BGP 协议构建全三层网络,流量将会均衡转发到多条链路;

SDN 4.0 技术升级

VPC 控制平面升级
控制平面私有协议升级为 BGP IPV4 + EVPN
· 缩短转发路径,网络性能进一步提高
· 多活设计,可靠性提升

VPC 数据平面升级
增加智能网卡硬件加速,大幅增强网络性能
· 转发效率提升 4 倍
· CPU 用量下降 80%

VPC边界路由器+ SD-WAN
轻松构建多活及灾备业务系统,VPC 内部的设备可以通过边界路由器以内部网络的形式连通到其他网络(物理主机网络、其他 VPC 网络、其他 Region 的边界路由器、 SD-WAN 盒子)。
· Region 内 VPC 互联,轻松实现同城多活;
· Region 之间 VPC 互联,方便用户搭建异地灾备系统 ;
· 打通公有云、私有云,实现多网络互联。

新增专业网络组件
· NAT网关:分布式网络地址转换服务,用户的多个私有网络可通过一个统一的 IP 访问外网,共用公网带宽,分布式的设计具备优秀的可扩展性,可大幅提升网络出带宽,适用于高并发大流量公网业务;
· 路由表:用于根据目标网络指定不同的下一跳地址,支持对实现网络流量进行策略引流;
· 私有网络(Vxnet) ACL:支持自定义创建和配置 ACL 规则,以控制私有网络全部进出流量;
· 负载均衡器集群同时支持公网和私有网络,负载均衡器支持公网IP做后端。

IPv6 就绪,支持IPv4/IPv6双栈网络
· 提供海量 IPv6 地址;
· 支持IPv6 弹性IP绑定负载均衡器;
· 支持IPv6 弹性IP绑定主机,使用更便捷。

容量盘升级
容量型硬盘升级为 QingStor® NeonSAN 架构,支持更大的单块硬盘容积,单盘容量最高可达 10TB,适用于对容量要求较高的应用,例如视频、音频、文档等离线业务。

ELK 全新升级,支持热温冷数据分级存储 & 滚动升级 & 自动扩容等高级特性

ELK 是 Elasticsearch 、 Kibana 和 Logstash 这三个软件集合的简称, Elasticsearch 是一个实时分布式搜索和分析引擎, Kibana 则为 Elasticsearch提供了强大的可视化界面, Logstash 为用户提供数据采集、转换、优化和输出的能力。 ELK 目前被广泛应用于实时日志处理、全文搜索和数据分析等领域。

ELK on QingCloud 将 Elasticsearch 、Kibana 和 Logstash 集成到同一个集群服务中,以AppCenter 云应用的形式交付给用户使用。为帮助用户更高效便捷的使用 ELK 服务,本次升级包括更新如下:

ELK on QingCloud:立即使用→
  • 支持 Elasticsearch 5.6.16 及 6.8.0 版本
  • 支持 Region 跨多可用区部署同城多活架构
  • 支持 Elasticsearch 多主节点架构,保障集群高可用
  • 支持 Elasticsearch VIP
  • 支持自动感知多可用区并分配副本
  • 支持数据节点热温冷(Hot-Warm-Cold)架构
  • 支持单节点最大 50T 硬盘容量
  • 支持硬盘容量自动扩容
  • 可删除 Elasticsearch 热节点,硬盘容量重新分配
  • Elasticsearch 数据节点支持同时挂载三块硬盘,提升读写吞吐
  • 支持 Elasticsearch 节点滚动升级,最小化对业务的影响
  • 支持自助生成和清理 Heap Dump 文件

更多详细使用指南请参考:ELK on QingCloud 用户指南

Kafka on QingCloud 支持 Region 跨可用区多活

为帮助用户便捷地构建高可用的业务架构,青云对 AppCenter上 Kafka 进行了升级,用户可以在 Region 内实现跨可用区部署,实现系统架构的多可用区部署,构建多活及灾备业务架构。本次更新包括如下:

Kafka on QingCloud:立即使用→
  • 新增支持 Region 多可用区,同城多活
  • 优化健康检查,防止 JVM 假阴性
  • 优化数据清理参数,节省硬盘空间
  • 加强集群操作稳定性
  • 关闭 OpenSSH 服务提高安全性
  • 最大文件打开数 Max Open Files 增加到 500000
  • 开启 JVM Heap Dump 及新增日志文件查看器以更高效定位问题

更多详细使用指南请参考:Kafka on QingCloud 用户指南

【安全公告】Linux 内核 TCP SACK 漏洞风险通告

近日,业内发布安全公告,Linux 内核在处理 TCP SACK(Selective Acknowledgement)时存在三个漏洞(CVE-2019-11477、CVE-2019-11478、CVE-2019-11479),攻击者可通过该漏洞远程发送攻击包造成拒绝服务攻击,影响程度严重。

影响范围:
该漏洞目前已知影响使用 Linux 内核 2.6.29 及以上版本的发行版,包括(但不限于)如下系统:
CentOS 5/CentOS 6/CentOS 7
Ubuntu 16.04 LTS/Ubuntu 18.04 LTS
Debian jessie/stretch/buster

修复办法:
1. 禁用 TCP SACK 及 mtu_probing 机制功能,执行如下命令:
echo 0 > /proc/sys/net/ipv4/tcp_sack
sysctl -w net.ipv4.tcp_sack=0
echo 0 > /proc/sys/net/ipv4/tcp_mtu_probing
sysctl net.ipv4.tcp_mtu_probing
iptables -A INPUT -p tcp -m tcpmss –mss 1:500 -j DROP

2. 升级 Linux 安全补丁(需要重启服务器)
Centos:yum update kernel
Ubuntu:apt-get update && sudo apt-get install linux-image-generic

注意:
以上修复方式,请在操作前评估对业务可用性的影响

参考资料:
[Netflix 通告] (https://github.com/Netflix/security-bulletins/blob/master/advisories/third-party/2019-001.md)
[RedHat 通告] (https://access.redhat.com/security/vulnerabilities/tcpsack)
[Canonical 通告] (https://wiki.ubuntu.com/SecurityTeam/KnowledgeBase/SACKPanic)

MongoDB 升级至 4.0.3 版本并支持超大容量 NeonSAN 型存储

MongoDB 是一个开源的文档型数据库,具有高性能、高可用等优点。MongoDB on QingCloud 提供的是原生 MongoDB Replication 云服务,提供冗余并增加了数据的高可用性。此次升级包含内容如下:

  • 采用 MongoDB 4.0.3 版本构建
  • 基于 WiredTiger 引擎
  • 默认三个节点,最大支持七个节点
  • 支持集群节点的横向伸缩和纵向扩容
  • 支持数据备份– 支持版本升级
  • 支持 NeonSAN 型存储,单盘最高可达 50 TB
  • 修改 FTP 服务为 Caddy 服务,支持用户名和密码
  • 添加配置参数项

MongoDB on QingCloud:立即使用→

更多详细使用指南请参考:MongoDB 用户指南

【安全公告】Windows 远程桌面服务(RDP)漏洞风险通告

近日,微软官方发布安全补丁,修复了 Windows 远程桌面服务(RDP)的远程代码执行漏洞 CVE-2019-0708,此漏洞是预身份验证且无需用户交互(无需验证系统账户密码)下即可远程触发,这就意味着这个漏洞可以通过网络蠕虫的方式被利用,影响极大。

影响范围:
该漏洞影响了如下 Windows Server 系统:
Windows Server 2008 R2
Windows Server 2008
Windows Server 2003

注意事项:
1. 请勿在公网开放 Windows 远程桌面服务(RDP),即 3389 端口。如必须开放,请升级之后再开放,并增加必要的防火墙安全策略。
2. 青云会定期给客户发送高危端口开放的风险提示,请大家关注并根据邮件指引采取相应措施。

修复办法:
微软官方已经推出安全更新请参考以下官方安全通告下载并安装最新补丁:
https://support.microsoft.com/zh-cn/help/4500705/customer-guidance-for-cve-2019-0708
https://portal.msrc.microsoft.com/en-US/security-guidance/advisory/CVE-2019-0708

参考资料:
[CVE-2019-0708]
(https://portal.msrc.microsoft.com/en-US/security-guidance/advisory/CVE-2019-0708)

【安全提示】关于对象存储 Bucket 权限设置的安全提示

尊敬的用户:

今天某云计算企业用户被披露因误操作将存储有保密信息的对象存储 Bucket 设置为公众可访问权限,导致保密数据遭泄露。

默认情况下,QingCloud 对象存储服务的 Bucket 权限都是私有的,不会存在类似安全风险。但为避免配置有误,可能遭受类似损失,我们建议您对在 QingCloud 对象存储服务上创建的 Bucket 进行权限检查。如果您的保密数据所在 Bucket 权限为对所有用户可读、可写或可读写状态,建议您确认是否为误操作。如非必要公开,我们建议您将权限修改为私有,防止通过该途径造成数据泄露。

具体操作如下:

1、在控制台左侧导航栏选择对象存储服务,查看你所创建的 Bucket 权限:

2、点击您所创建的 Bucket名称 ,进入设置选项卡,选择访问控制,修改用户权限:

以上信息,请您了解。

青云QingCloud

QingStor 对象存储发布 WordPress 插件

QingStor 对象存储的 WordPress 插件为首届 QingStor Satellites 活动中成功孵化出的项目,在 QingStor Satellites 活动中,QingStor 团队会选择一些有意义的开源项目为课题,并作为导师指导高校学生逐步完成项目。

QingStor 对象存储的 WordPress 插件的开发者为 yungkc,来自兰州大学信息科学与工程学院二年级的同学 杨壬 (下图即为杨壬同学近照)。

QingStor 对象存储的 WordPress 插件已经过 QingStor 官方审核,后续将由 QingStor 官方与杨壬同学一起进行维护。

下文为功能简要介绍及使用文档。更多详细信息请参见 https://github.com/yunify/wp-qingstor

主要功能

  • 手动或定时备份 WordPress 全站到 Bucket 指定前缀,并发送邮件通知
  • 添加文件到媒体库时,自动上传文件至 Bucket 的指定前缀
  • 支持在文章渲染时自动替换本地媒体文件的 URL 为相应 Bucket URL
  • 可以一键同步媒体库(一般为 wp-content/uploads)文件夹内的所有文件,方便网站迁移

安装方式

可选以下三种安装方式中的任意一种

  • 通过 WordPress 控制台 FTP 安装
  • WordPress 仓库下载 zip 包,然后解压至 wordpress/wp-content/plugins 目录即可
  • 通过 Github 的安装略有不同,因为 Github 的版本没有包含 QingStor SDK,所以安装后,要进入 QingStor 插件目录并运行以下命令:
$ composer install

使用方式

  • QingStor 设置

首先要填写 ACCESS KEY ID SECRET ACCESS KEY,以及 Bucket 名称,这三项需要在 QingCloud 控制台 手动创建。

选项 “自动设置存储空间策略” 会使插件自动设置所填 Bucket ACL “公开只读”,以及设置存储空间策略为禁止对备份文件所在前缀进行任何操作。通常该选项可以保证媒体文件的可读和备份文件的安全,如非必要,无需修改。

  • 上传设置

设置要自动上传到 Bucket 的文件后缀名以及指定 Bucket 前缀,该前缀应该与备份文件的前缀严格区分,否则会影响存储空间策略的设置。如果有多个 WordPress 站点使用了同一个 Bucket,建议为每个站点设置不同的前缀。

自动替换文件 URL:打开该选项之后,插件就会在文章渲染时自动替换本地媒体文件的 URL Bucket 上对应的文件 URL

  • 备份设置

这部分的功能很容易使用,根据需要设置好时间保存即可。指定前缀和上传设置的基本要求一样。

致谢

最后对 WordPress plugin 的作者 yungkc (杨壬同学) 表示感谢,同时我们也欢迎更多高校学生或第三方开发者参与到我们的开源项目中来。