QingStor 对象存储支持跨区域复制

 

为了让用户更好的对内容进行管理,同时满足多场景下的使用需求。QingStor 对象存储现已支持跨区域复制服务。

一、功能概述

跨区域复制 (Bucket Cross-Region Replication) 提供跨不同 QingStor 对象存储区域(数据中心)的 Bucket 对象自动异步复制功能。开启此功能后,源 Bucket 中对象的新建、更新和删除等操作会同步到目标 Bucket。目标 Bucket 中的对象是源 Bucket 中对象的精确副本,它们具有相同的对象名、元数据及数据实体,比如创建时间、所有者、自定义元数据等。

 

二、核心使用场景

数据备份与容灾:用户对数据的安全性和可用性有极高要求,当某个可用区数据中心因不可抗因素(如地震、海啸等)损毁时,另一个可用区的数据中心仍然可以提供副本数据和对应的服务。

最大限度减少延迟:如果客户处于两个不同的地理位置,可以在地理位置与用户较近的 QingStor 对象存储区域中维护对象副本,从而最大限度缩短访问对象时的延迟。

合规性要求:QingStor对象存储默认为存储的对象数据保存多个副本,但某些行业的合规性要求规定数据需要在不同存储地域间保存多份副本。通过跨区域复制,可以实现在不同存储地域间自动复制数据以满足行业合规性要求。

数据迁移:因业务需要,需将数据从一个数据中心迁移到异地的数据中心内。

提高操作效率:在异地的不同数据中心具有分析同一组对象的计算集群,可能选择在这些区域中维护对象副本。

 

三、操作步骤

1、添加规则

登录 QingCloud 控制台,进入「对象存储」-「对应Bucket」-「设置」,点击“开启跨区域复制”按钮,在弹出的页面中输入跨区域复制的具体规则。

    • 源Bucket:当前所在的Bucket。
    • 目标Bucket:选择目标 Bucket 所在的地域和对应的 Bucket。源和目的 Bucket 必须分属两个不同地域。
    • 复制范围:可选择 Bucket 内所有对象,也可选择指定前缀的对象数据。
    • 存储级别:可选择复制到目标 Bucket 中所使用的存储级别,标准存储或者低频存储。
    • 同步删除操作:如果选择”是“,用户在删除源 Bucket 中的数据时,目标 Bucket 中对应的的数据也会被删除。
    • 同步历史数据:用户可以选择是否将创建跨区域复制规则之前源 Bucket 中已有的数据进行复制。

2、修改规则

点击现有规则中相应的参数项,选择需要修改的内容。如下图:

3、删除规则

点击现有规则中的「全局状态」参数项,选择「删除」并确认,即可删除当前的跨区域复制规则。如下图:

 

北京3区-D 容量盘升级

北京3区-D 容量盘升级 容量型硬盘升级为 QingStor® NeonSAN 架构,支持更大的单块硬盘容积,单盘容量目前最高可达 10TB,适用于对容量要求较高的应用,例如视频、音频、文档等离线业务。

NeonSAN 架构先进,是由软件定义存储技术实现的新一代分布式超大容量块存储系统,具备企业级存储的高可靠特、性以及极强的扩展能力,可以满足企业不同类型的业务数据量高速增长的存储需求。
 
关于NeonSAN产品的详细信息,请参考如下网址:
 
为企业关键业务而生,提供超高性能、超大容量的共享存储服务。

企业级分布式SAN (NeonSAN) 多区(北京3区-C和D, 广东2区-B) 正式上线

 
为企业关键业务而生,提供超高性能、超大容量的共享存储服务。
 
日前,企业级分布式SAN (NeonSAN) 多区(北京3区-C和D, 广东2区-B)正式上线,全方位满足不同区域用户对高性能,大容量存储的需求。
 
企业级分布式 SAN(NeonSAN)是基于全闪存架构提供的分布式 SAN 服务,适用于对 IOPS、吞吐、容量和稳定性要求很高的业务,例如:企业核心数据库 Oracle RAC 、 SQL Server 故障转移集群、企业级分布式数据库 RadonDB、物理主机高可用架构、大数据分析计算,以及搭建高可用容器集群等。
 

企业级分布式SAN (NeonSAN) 不仅可以作为一种特定的硬盘类型(企业级分布式SAN)提供给主机使用,同时可以在公有云上为客户提供物理主机+共享存储的解决方(BM +NeonSAN)。另外,对于数据库类型的应用,比如MySQL Plus,NeonSAN也可以为其提供更高性能和更大容量的后端存储。

企业级分布式 SAN 存储 QingStor NeonSAN 2.1 版本发布

日前,QingStor NeonSAN 发布2.1版本
QingStor NeonSAN 是新一代软件定义分布式 SAN存储系统(Server SAN),适应云时代对存储系统更高性能、更低时延、更加弹性的要求,NeonSAN 在功能、性能、可靠性和易用性等方面满足企业核心数据库OLTP/OLAP、虚拟化平台、容器平台,物理主机高可用集群、大数据分析计算等应用的存储需求。
本次发布的v2.1版本是NeonSAN的再次重要升级, 在异构资源支持,存储容灾能力等存储特性方面得到进一步加强和完善。
1. 支持异构集群的统一管理,资源灵活调度
    – 不同类型的资源,比如混合存储节点,全闪节点,可以部署在同一个集群中使用
    – 用户可以通过label可以给volume选择使用不同类型的资源
2. 支持同步远程复制技术
    – 以Stretch Cluster模式支持跨数据中心的数据同步复制。
    – 仲裁节点可以部署在客户私有的数据中心,也可以用部署在青云公有云上,减少客户的投入。
3. 支持TCP互连
    – 在混合存储节点集群中,支持用TCP协议作节点间的互联
4. 通过Vmware Storage Hardware 官方认证,同时支持VAAI数据复制加速。
5. 克隆功能增强
6. 运维工具增强,优化客户运维成本
7. iSCSI 功能增强
   – 简化了使用模式和流程,并提供了iSCSI agent, 自动化完成client端配置
   – 支持CHAP认证
8.支持客户端和存储节点之间通过RDMA连接进行IO操作,可以获得更高的性能,更低的延迟
9. 支持大数据应用,通过存储策略设置,保证应用层的多副本数据无单点故障

对象存储日志服务上线

对象存储是面向海量非结构化数据的通用数据存储平台,提供安全可靠、低成本的云端存储服务。作为企业的数据存储和流转中心,可通过浏览器、HTTP RESTful API 、S3 API、SDK 和 FTP 等方式高效存取和管理文件,支撑企业丰富的上层业务和数据分析系统使用。

为了让用户更好的对内容进行管理,对 Bucket 进行运维,我们为用户提供了日志服务,该服务以小时为单位,将访问日志作为一个对象(Object)写入指定的 Bucket 目录中。

系统运维和开发人员可以通过日志了解所有 API 请求的发起时间,方法,时长,具体操作,请求 ID,以及请求者的用户 ID,IP 等,分析 Bucket 访问行为,满足审计需求,分析数据热点等等。

典型应用场景

分析 Bucket 访问行为

对象存储作为企业的数据存储和流转中心,支撑企业丰富的上层业务和数据分析系统使用。

由于对象存储在各业务场景中扮演着重要角色,通过对象存储日志服务可以记录访问时间、访问 IP、用户、访问对象、时长等一些重要信息,帮助开发者获取和分析 Bucket 访问行为,提升用户使用体验。

满足企业审计需求

日志审计是日常信息安全管理中最为重要的环节之一,通过对象存储日志服务自动保存 Bucket 访问日志,开发者可通过提取和过滤访问日志,查询存储内容被访问的记录,满足企业的安全审计需求。

帮助企业分析数据热点

在互联网业务中,常常会出现某一类数据在短时间内被高频访问,一段时间后访问量又从高频向低频下降,数据由热变冷。

通过对象存储日志服务可以帮助企业分析数据热点,结合生命周期管理功能,更可使数据在标准存储与低频存储之间自动转换,从而帮助开发者节约存储成本。

接入流程

用户可以通过公有云控制台、调用日志服务(Bucket Logging)API 来配置对象存储日志服务,为存储空间启用、禁用日志服务。

控制台操作指南:

登录 QingCloud 控制台界面,在左侧目录中找到并选择对象存储服务。

在存储空间列表中,点击目标存储空间名称,进入存储空间。

单击『设置』选项卡,找到访问日志功能。

选择目标 Bucket,设置日志文件前缀。

开启日志功能。

QingStor NeonSAN 发布2.0版本

日前,QingStor NeonSAN 发布2.0版本
QingStor NeonSAN 是新一代软件定义分布式 SAN存储系统(Server SAN),适应云时代对存储系统更高性能、更低时延、更加弹性的要求,NeonSAN 在功能、性能、可靠性和易用性等方面满足企业核心数据库OLTP/OLAP、虚拟化、物理主机高可用架构、大数据分析计算、高可用容器集群等应用的存储需求。
NeonSAN 具备如下四大特性:
  • 极致性能
  • 稳定可靠
  • 丰富的企业级特性
  • 智能运维
本次发布的v2.0版本是NeonSAN的一个重要升级, 主要对企业级特性和智能运维两部分做了功能特性的增强和优化,具体如下:
1. iSCSI支持
  – 允许客户端以iSCSI协议访问NeonSAN volume
  – 支持iSCSI多路径
2. 异步远程复制
  – 支持HTTPS协议
  – 支持主备站点间双向数据同步
  – 可以为已经存在的volume增加灾备副本
  – 备站点自动定时快照
3. 加密
  – 可以对volume数据进行加密
  – 每个volume拥有不同的key,只有持有key的用户才可以访问
  – 支持不同密钥长度的AES算法
  – 允许用户更改密钥,不需要对数据进行重新加解密
4. QBD客户端优化
  – 性能优化和提升
  – 可以对IO延迟进行统计
  – 支持QoS,可以查看客户端与存储的连接状态
  – 支持kernel4.15
5. 智能监控和运维
  – 可以对SSD寿命进行监控和报警
  – 可以对iCAS状态进行监控和报警
  – 可以对SSD允许状态进行监控和报警
6. 其他
  – SSD元数据存储策略优化,提高元数据可靠性
  – 和iaas融合部署时可以独立升级互不影响

QingStor™ 对象存储上线广东2区 低频存储、媒体转码全面开放

日前,青云QingCloud 对广东 2 区进行了全面的区域网络架构升级,在原有广东 2 区 – A 基础之上,正式开放 B 可用区,并实现 A、B 两个数据中心间网络的双向高速互联互通。QingStor对象存储服务在本次升级中正式上线广东 2 区,实现了 QingStor™ 对象存储服务在 QingCloud 公有云全国所有区域的多区域服务运营同时低频存储与媒体转码服务也在广东 2 区同步上线面向所有公有云区域全面开放。

为了能够让用户就近处理和分析海量数据,提高数据访问效率,并降低存储成本,QingStor对象存储在设计之初即支持多区域部署架构,同时支持同区域的 QingCloud IaaS 或 PaaS 资源内网访问。 QingStor™ 对象存储服务在广东2区的上线,进一步丰富了用户的地域性选择,用户可根据业务需求将数据进行更合理的地域性划分。

低频存储与媒体转码服务今年 QingStor™ 对象存储推出的重要功能使用户大幅降低存储成本,并对象存储平台上轻松处理多媒体资源

QingStor™ 对象存储低频存储,使企业云存储成本直降 35%。结合对象存储的数据生命周期管理功能,访问量从高频转向低频的数据,能够在一段时间后自动转换到低频存储中,或从存储空间中自动删除,帮助企业更合理地控制存储成本。立即使用→(https://www.qingcloud.com/products/qingstor-standard-ia/

媒体转码服务,满足用户视频转码、格式转换、视频裁剪、视频水印等常见的媒体处理需求,大幅降低用户对于多媒体文件的处理难度。媒体转码服务与 QingStor™ 对象存储、QingCloud CDN 服务无缝对接,满足用户对海量存储和分发加速的需求,为用户提供完整的多媒体数据处理服务。立即使用→(https://www.qingcloud.com/products/transcoder/

QingStor™ 对象存储自 2016 年 9 月正式商用以来,已先后在北京 3 区 -A、上海 1 区 -A、北京3区 Region 上线,为金融、交通、零售、医疗、教育等多个行业的数万家企业提供可无限扩展、安全可靠、低成本的通用数据存储服务。在此期间,我们逐步完善了对象存储平台的数据处理数据管理功能,推出了一系列完整的数据管理服务、多种数据迁移及数据接入工具、丰富的数据处理功能完备的安全机制与访问管理,并无缝对接大数据生态。

青云 QingCloud 媒体转码服务发布

帮助用户高效、专业地处理多媒体文件,青云 QingCloud 正式推出媒体转码服务满足用户视频转码、格式转换、视频裁剪、视频水印等常见的媒体处理需求,大幅降低用户对于多媒体文件的处理难度。媒体转码服务与 QingStor™ 对象存储、QingCloud CDN 服务无缝对接,满足用户对海量存储和分发加速的需求,为用户提供完整的多媒体数据处理服务。

媒体转码服务全面支持 MP3、MP4、FLV、FLAC、OGG 等主流音视频格式,无缝集成于 QingStor 对象存储服务中,能够为音视频文件提供无限扩展的存储空间,解决多媒体文件的海量存储问题。通过 QingCloud CDN 服务,多媒体文件得以加速与分发,有效降低访问延迟、提升下载速度。此外,QingCloud 还提供了开放丰富的API接口,最大程度帮助用户降低多媒体文件的处理难度。

媒体转码服务主要包含以下功能:立即使用→

音视频转封装(格式转换)

支持 MP4FLV 等不同视频格式以及 MP3、MP4、FLV、FLACOGG 等不同音视格式之间的互相转换;

音视频转码

支持H.264视频的帧率、码率、分辨率、缩放、旋转等视频转码操作;支持对MP3、AAC、FLACVorbis频的采样率、码率、声道数等音频转码操作

音视视频裁剪

支持对音视频文件进行精确到秒的裁剪操作;

视频加水印

支持在输出视频上添加 JPGPNG 格式图片水印,增加识别度

音视频分离

支持分离原视频文件中的音频、视频,或同时分离音视频;

视频抽帧截图

对存储的视频文件截取指定时间的 JPGPNG格式图像,支持按关键帧、时间间隔、时间点抽帧截图;

视频元信息编辑

支持编辑视频文件的元信息,但不支持加密、索引、播放器选项(自定义除外)等高级元信息

视频协议转换

支持对FLVMP4等静态文件转换至 HLS等视频传输协议;

倍速转码

支持长视频(大于30分钟)分片并行转码;

转码模板

预置模板、自定义模板满足多样化转码需求;

用户可在青云QingCloud控制台左侧边栏中进入对象存储服务,选择一个Bucket后,进入数据处理选项,即可看到媒体转码应用。

用户可从控制台界面或API提交单个转码任务,也可套用模板进行批量转码,对存储于QingStor™对象存储之上的音视频进行转码计算,并将结果保存到对象存储 Bucket 中。

【安全提示】关于对象存储 Bucket 权限设置的安全提示

尊敬的用户:

今天某云计算企业用户被披露因误操作将存储有保密信息的对象存储 Bucket 设置为公众可访问权限,导致保密数据遭泄露。

默认情况下,QingCloud 对象存储服务的 Bucket 权限都是私有的,不会存在类似安全风险。但为避免配置有误,可能遭受类似损失,我们建议您对在 QingCloud 对象存储服务上创建的 Bucket 进行权限检查。如果您的保密数据所在 Bucket 权限为对所有用户可读、可写或可读写状态,建议您确认是否为误操作。如非必要公开,我们建议您将权限修改为私有,防止通过该途径造成数据泄露。

具体操作如下:

1、在控制台左侧导航栏选择对象存储服务,查看你所创建的 Bucket 权限:

2、点击您所创建的 Bucket名称 ,进入设置选项卡,选择访问控制,修改用户权限:

以上信息,请您了解。

青云QingCloud

上海1区-A 超高性能容量型(NeonSAN)硬盘上线

QingStor™ NeonSAN 是一款软件定义的企业级分布式共享块存储产品 (Server SAN),提供企业级高性能、低延时、大容量、数据强一致性与极强的扩展能力。NeonSAN 在功能、性能、可靠性和易用性等方面满足企业核心数据库集群 OLTP / OLAP、虚拟化、大数据分析计算等应用的存储需求,广泛适用于互联网、金融、能源、交通、制造、医疗等行业,为企业核心应用提供卓越的存储服务。

高性能与低延时

性能业界领先:单盘读写性能高达 30,000 IOPS (4K随机读写);延时低至 90  微秒(4K 随机写),为交易类、查询类、分析类业务提供更快的响应速度。

  • 大容量

单盘容量可达 50TB,单盘可挂载多达 16 个主机。

  • 强一致性

多副本之间采用同步写入机制,所有副本全部写完后数据才确认落盘,保证数据的强一致性。

  • 在线扩容

支持在线弹性扩展,数据会自动在各分片间进行重新平衡,上层业务无感知。

  • 高可靠

支持数据分片及多副本策略,确保数据高可靠;可自定义快照机制,便于导出数据和恢复数据;多层冗余的硬件架构,规避单点故障。

  • 完善的数据备份和保护

提供克隆和备份链功能,支持在 QingCloud 各可用区之间进行异地备份。

典型应用场景

  • 场景一:企业核心数据库

企业 OLTP 在线访问类业务,如财务、采购、生产、客户管理系统需应对大量用户频繁访问的场景,要求系统能快速响应;企业 OLAP 后台分析型业务,如经营与风险分析、销售与财务分析、生产与供应预测等要求系统具备高性能和高可用。NeonSAN 提供高性能、低延时、大容量的数据存储服务,充分满足 Oracle RAC 、RadonDB 等核心数据库OLTP/OLAP 的处理能力;同时,NeonSAN 的数据分片及多副本策略,确保核心数据库高可用。

推荐方案:Oracle RAC / RadonDB + NeonSAN

  • 场景二:物理主机高可用架构

NeonSAN 可以实现存储和计算的分离,当物理主机发生故障时,备用物理主机可以立刻挂载同一数据卷继续工作,计算节点的任何变化都不会影响数据的可靠与安全性。同样的数据,可以在不同的物理主机之间共享,不受物理主机磁盘个数和容量的限制。NeonSAN 的高性能特性可以为物理主机提供近乎本地 SSD 同等水平的读写性能;此外,NeonSAN 的多副本数据强一致性,多路径自动切换功能都是搭建物理主机高可用架构的最佳之选。

推荐方案:物理主机/物理服务器 + NeonSAN

  • 场景三: 大数据分析和计算

大数据分析和计算往往对数据吞吐能力有着极高的要求,而大数据平台 (如 HDFS ) 本身就带有数据冗余复制能力。NeonSAN 提供的灵活副本配置策略,可按卷自由选择副本数,让大数据平台获得极高的吞吐能力的同时,避免额外副本造成的空间浪费,有效降低大数据场景下的数据存储成本。

推荐方案:Hadoop / Spark / HBase  +  NeonSAN

  • 场景四: 高可用容器集群

以 Docker 为主流的容器和以 Kubernetes 为主流的容器应用编排与管理平台在企业 DevOps 持续交付流程、微服务架构中起到越来越重要的作用。大量的容器应用,如有状态的数据类应用都会需要 NeonSAN 提供的高性能、大容量盘服务;  NeonSAN 提供的多主机/容器共享盘服务更为需要实现高可用特性的应用——包括高可用的 Kubernetes 集群自身,都提供了良好的基础。

推荐方案:虚拟主机/物理主机 + Kubernetes  +  NeonSAN

使用指南

https://docs.qingcloud.com/product/storage/volume/super_high_performance_shared_volume/