QingStor 对象存储新增六种语言 SDK

QingStor 对象存储作为海量通用的非结构化数据存储系统,自上线以来只提供了 Python 语言的 SDK。为了让更多的用户能够快速便捷的使用 QingStor 对象存储服务,我们新发布了包括 Go、Ruby、Swift、Java、JavaScript、PHP 在内的六种语言的 SDK。目前 QingStor 对象存储服务的 SDK 已覆盖主流编程语言和开发平台,极大降低了用户使用 QingStor 对象存储服务的成本。

与此同时,我们开源了 QingStor 对象存储的 API Specifications (OpenAPI 格式,亦称 Swagger 2.0 格式),及 SDK 生成工具 Snips。在 Snips 的帮助下,能够在短时间内开发出另一种语言的 SDK。我们欢迎第三方开发者参与到 Snips 项目中,贡献其它语言的 SDK。

QingStor SDKs

下面以 Go SDK 为例,演示如何使用 SDK 接入 QingStor。

1. 安装

可以直接使用 go get 安装:

$ go get -u github.com/yunify/qingstor-sdk-go

2. 初始化服务

发起请求前需要初始化服务

import (
    "github.com/yunify/qingstor-sdk-go/config"
    "github.com/yunify/qingstor-sdk-go/service"
)

configuration, err := config.New("ACCESS_KEY_ID", "SECRET_ACCESS_KEY")
qsService, err := service.Init(configuration)

 3. 创建 Bucket

初始化并创建 Bucket, 需要指定 Bucket 名称和所在 Zone

bucket, err := qsService.Bucket("test-bucket", "pek3a")
putBucketOutput, err := bucket.Put()

4. 上传一个 Object

// Open file
file, err := os.Open("~/Desktop/Screenshot.jpg")
defer file.Close()

// Put object
output, err := bucket.PutObject(
    "Screenshot.jpg",
    &service.PutObjectInput{
        Body: file,
    },
)

// Print the HTTP status code.
// Example: 201
fmt.Println(output.StatusCode)

 5. 删除一个 Object

output, err := bucket.DeleteObject("Screenshot.jpg")

// Print the HTTP status code.
// Example: 204
fmt.Println(output.StatusCode)

 

有关 SDK 的具体使用方法,请参考文档 https://docs.qingcloud.com/qingstor/sdk/

QingCloud 大数据平台与 QingStor 对象存储无缝集成

QingStor 对象存储为用户提供可无限扩展的通用数据存储服务,具有安全可靠、简单易用、高性能、低成本等特点。用户可将数据上传至 QingStor 对象存储中,以供数据分析。 由于 QingStor 对象存储兼容 AWS S3 API,因此 Hadoop 平台可以通过 AWS S3 协议与 QingStor 对象存储高效集成,依靠 QingStor 独特的索引层设计,可有效的应对海量小文件的存储场景,无论是数据存储在 HDFS 中还是 QingStor中,计算都可以随意执行,数据都可以自由流动,以满足更多的大数据计算和存储场景,帮助企业用户提升数据的价值。

bigdata_qingstor

有关集成的更多内容,请参考 https://docs.qingcloud.com/guide/hadoop.html#qingstor

DDoS 攻击防护服务上线

为保障用户部署在青云QingCloud 上的各项业务安全平稳运行,青云QingCloud 推出 DDoS 攻击防护服务。用户可以通过 QingCloud 控制台(Console),自助完成服务的定购与配置,快速构建高可用高承载的 DDoS 攻击防护服务。

create1

700G 防护能力 防御多种攻击类型

QingCloud DDoS 攻击防护服务为用户提供超 700Gb/s 的防护能力,支持 HTTP/TCP 协议,及 HTTPS 加密。无需软硬件部署,无需人工维护。可防御多种攻击类型,提供无缝实时扩容、超额流量防御、实时监控、流量告警等多种功能。

双节点防护线路

QingCloud DDoS 攻击防护服务提供双节点防护线路,以提高防护服务的高可用性。相比单节点线路,双节点线路将通过防护服务集群备份的方式,使防护服务的整体可用性大幅提升,同时通过 DNS 负载均衡,优化服务效率。

固定 + 弹性的双重计费

DDoS 攻击可能发生在任何时间,并在很短的时间内到达极高的攻击带宽。这种突发性,一方面考验防护服务的承载能力和可用性,另一方面也对用户的使用成本提出挑战。

为帮助用户在一定范围内有效控制防护服务成本,又能应对一定幅度内的大规模突发性攻击,QingCloud DDoS 攻击防护服务采用了固定 + 弹性的双重计费模式。

用户可根据日常所受攻击的规模,选择基础固定防护能力,并按月支持服务费用。同时,在整个防护服务周期内,如果用户遭遇突发性大规模攻击,攻击带宽超过基础防护能力,计费系统将自动触发弹性计费模式,按此次突发攻击所需的实际防护能力,按天收取相应费用。用户可以通过设置弹性防护上限来控制弹性模式下的成本。当攻击规模突破弹性防护上限时,防护服务将自动安排流量回源,并进行相应的安全处理。

DDoS 攻击防护服务被广泛应用于门户、游戏、电商、社交媒体等具有大规模线上用户访问需求的网站。为应对频率和规模都日益增长的 DDoS 攻击,越来越多的线上应用开始使用专业的云端 DDoS 攻击防护服务。在获得高性能大承载的防护服务同时,在服务快速灵活部署,和成本灵活定价等方面也将获得更多优势。

更多详情请参看《DDoS 攻击防护指南》

MySQL 错误日志支持同步下载功能

在关系型数据库详情页面的“日志”标签下可以选择同步 MySQL 的错误日志,将其同步到FTP 目录中,然后下载进行查看。

rdb error log

 

专属宿主机功能上线

专属宿主机功能为用户提供了专属物理服务器,用户可以通过申请专属宿主机的方式来独占物理服务器资源,从而将实例定向部署到宿主机上。 专属宿主机通过专属宿主机组的方式来进行申请和管理。

此外,专属宿主机支持【预留模式】,对于规划长期部署的 IT 需求,更加优惠。

create_dhg

migrate_in_2

主要支持以下功能:

更多详情请参看《专属宿主机指南》

QingStor 支持存储空间外部镜像

QingStor 已支持存储空间外部镜像。对于设置了外部镜像源站的 Bucket,当请求的对象在 Bucket 中不存在时,系统将自动从源站获取(回源), 并写入到 Bucket 当中。在回源过程中,请求这个对象的客户端,有可能会下载到源站文件,也有可能收到重定向到源站相应路径的 302 请求。在回源完成后,客户端能够直接从 Bucket 中获取这个对象。

外部镜像属性

  • 源站点:  外部镜像回源的源站,形式为 “<protocol>://<host><:port>/<path>”。 protocol 的值可为 “http” 或 “https”,默认为 “http”。port 默认为 protocol 对应的端口。path 可为空。如果存储空间多次设置不同的源站,该存储空间的源站采用最后一次设置的值。

操作流程

  1. 示例源站是网易开源镜像站的 ubuntu 源(http://mirrors.163.com/ubuntu/)。要通过外部镜像功能回源的文件是 ls-lR.gz。external-mirror-1
  2. 设置外部镜像源站: 在 Bucket 页面点击设置 -> 外部镜像  ->  源站点external-mirror-2
  3. 示例 Bucket 的默认域名是 http://external-mirror.pek3a.qingstor.com。在浏览器内访问 http://external-mirror.pek3a.qingstor.com/ls-lR.gz (默认域名/要回源的文件),QingStor 将从 http://mirrors.163.com/ubuntu/ls-lR.gz 回源 。从下面的下载对话框可以看出,此次回源客户端可以直接下载源站文件。external-mirror-3external-mirror-4
  4. 在回源完毕后,可以在 Bucket 文件列表看到该对象。external-mirror-5
  5. 设置外部镜像的源站点之后,可以编辑源站并应用修改,或者关闭镜像功能。external-mirror-6

Spark 2.0.1 上线

Spark 是继 Hadoop 之后新一代的大数据分布式处理平台,是一个基于内存、容错型的分布式计算引擎,其卓越的用户体验以及统一的技术堆栈使其迅速成为当前最为热门的大数据基础平台。相比于Spark 1.0,Spark 2.0 在功能和性能等方面均有巨大改进,主要体现在标准 SQL 支持、DataFrame/Dateset API的统一、Structured Streaming API以及引擎性能的大幅提升。

spark2.0.1

本次青云提供的 Spark 2.0.1 版本,是 Spark 2.0 的一个修正版本,共处理了300多个Issue,涉及 Spark 稳定性和 Bug 等方面的修复。关于青云 Spark 的使用,请参考《用户指南》

Sqoop 服务映像上线

Sqoop 是一个将数据在关系数据库(如 MySQL/Oracle 等)和大数据产品(如 Hadoop/Hive/HBase等)之间导入/导出的有效工具,是大数据生命周期中重要的一环,现在 Sqoop 服务已经在映像市场上线,欢迎大家使用。

sqoop

基于 BigData Client 映像的主机已安装(JDK/MySQL/Hadoop/Hive/HBase/Sqoop )等软件及客户端以供用户使用。另外,青云的主机支持纵向在线伸缩,还提供了监控告警等功能,并且青云也提供了 Sqoop 常用场景的使用方法,使得 Sqoop 服务的使用和管理更加方便,具体可参看《用户指南》

VPN 服务支持 L2TP-IPSec

除 Open VPN 和 PPTP 之外,VPN 服务现新增了对于 L2TP-IPSec 的支持。开启方式如下:

登录 WEB 控制台,点击左边导航条中的“网络”,在右边主显示区域 “路由器” 项下点击您的路由器,进入其详情页,切换至“VPN 服务”页签, 然后点击“打开 L2TP 服务”。

webconsole_open_l2tp

确认无误后,点击“提交”,然后点击页面上方的“应用修改”(有个黄色箭头在闪烁), 以更新路由器的配置。在弹出的对话框里,需要配置 VPN 用户名、密码、PSK, 您也可以点开高级选项复查一下各项配置,尤其是 VPN 网络地址不能跟您的本地网络存在冲突。

另外,还需要配置路由器对应防火墙规则,允许 L2TP 服务运行端口通过, 如果您使用的是 L2TP-IPsec 连接方式(IPhone 默认名字为 L2TP),请放行 UDP 下行 500 和 4500 端口以及 ESP 协议。 如果您使用的是 L2TP 连接方式,请放行 UDP 下行 1701 端口。 并记得 应用更改 。

对于各个系统客户端的配置方法请参看《VPN 服务用户指南》

 

QingStor 支持为存储空间绑定自定义域名

QingStor 已支持为存储空间绑定自定义域名。单个存储空间可绑定多个自定义域名。绑定后,存储空间既可通过默认的域名 (Virtual-host Style, e.g. mybucket.pek3a.qingstor.com)或URL (Path Style, e.g. pek3a.qingstor.com/mybucket) 来访问,也可以通过自定义域名来访问。

自定义域名属性

  • domain 要绑定到存储空间的域名。该域名必须已完成备案,并且该域名到存储空间域名的CNAME记录必须已于域名服务商处注册且生效。

操作流程

  1. 在 Bucket 页面点击设置 -> 自定义域名 -> 绑定自定义域名user-defined-domain-0
  2. 配置绑定自定义域名user-defined-domain-1
  3. 配置完成。右键点击自定义域名,可以进行修改和删除操作。user-defined-domain-2