KubeSphere®️(QKE) 3.0.0 新版发布,多集群加持,一步迈入混合云

一、KubeSphere®️(QKE) 概述

KubeSphere®️(QKE),即 QingCloud KubeSphere Engine,通过 QingCloud AppCenter 快速交付一个完整的原生 Kubernetes 生产级集群,同时,可以选装企业级云原生操作系统 KubeSphere,通过 KubeSphere 提供的诸多容器管理和业务功能,如多集群管理、多租户管理、DevOps、微服务治理、多租户日志检索、Kubernetes 监控中心等,既省去了用户构建 Kubernetes 集群以及安装 KubeSphere 的过程,又屏蔽了 Kubernetes 之上的各种碎片化管理和业务组件,极大降低了运维成本并将容器上层业务功能快速带进客户真实业务场景。 QKE 详细用户手册参考


二、功能更新及 bug 修复

  1. 升级到 Docker 19.03.11
  2. 升级到 Kubernetes 1.17.9
  3. 升级到 QingCloud CSI v1.2.0
  4. 升级到 Helm 3.2.1
  5. 内置 KubeSphere v3.0.0,默认选装,新增多项企业级功能,如跨异构混合云的 Kubernetes 集群管理、操作审计等,详细功能请参考 Release Notes
  6. 新增支持自定义 K8s 组件参数
  7. K8s 节点默认使用易读名称方便使用
  8. 增强安全性,客户端节点默认使用集群 ID 作为初始密码并支持绑定 SSH 密钥

新功能截图 

Continue reading

KubeSphere 容器平台 3.0.0 Release Notes

关于 KubeSphere 

KubeSphere® 是经 CNCF 认证的 Kubernetes 主流开源发行版之一,在 Kubernetes 之上提供多种以容器为资源载体的业务功能模块,如多租户管理、集群运维、应用管理、DevOps、微服务治理等功能。 KubeSphere® 初始安装请参考安装部署指南

3.0.0 更新详情

安装

FEATURE

  • 全新的开箱即用的 installer: KubeKey,v1.0.0,极大降低对不同操作系统环境的依赖,通过更简单、高效的方式快速部署 Kubernetes + KubeSphere 环境

UPGRADE & ENHANCEMENT

  • 新版 ks-installer,v3.0.0,兼容 Kubernetes 1.15.x、1.16.x、1.17.x 和 1.18.x

  • KubeKey 官方验证并支持 Kubernetes 1.15.12、1.16.13、1.17.9 and 1.18.6(注意,请避免使用 KubeKey 安装 Kubernetes 1.15~1.15.5 和 1.16~1.16.2,因为这些版本的 Kubernetes 有 API 验证失败的问题)

  • 增加对操作系统 SUSE Enterprise Linux Server、OpenSUSE、EulerOS、UOS 和 KylinOS 的支持

  • 增加对 鲲鹏 和 飞腾 CPU 的支持

  • 使用 ClusterConfiguration 替代之前的 ConfigMap 资源对象存储 ks-installer 相关的安装配置信息

集群管理

FEATURE

  • 支持多集群统一化管理

  • 支持跨集群联邦部署

可观察性

FEATURE

  • 支持在 KubeSphere 控制台添加第三方应用监控指标

  • 支持 K8s 及 KubeSphere 操作审计,并支持审计记录的归档、检索和告警

  • 支持 K8s 事件管理,并支持基于 kube-events 的事件的归档、检索和告警

  • 支持租户级操作审计和 K8s 事件的检索,授权用户仅能检索自己权限允许范围内的操作审计记录和 K8s 事件

  • 支持将审计记录和 K8s 事件归档至 Elasticsearch,Kafka 或者 Fluentd

  • 基于 Notification Manager 支持多租户通知   

  • 支持 Alertmanager v0.21.0

UPGRADE & ENHANCEMENT

  • 升级 Prometheus Operator 至 v0.38.3(KubeSphere 定制版)

  • 升级 Prometheus 至 v2.20.1

  • 升级 Node Exporter 至 v0.18.1

  • 升级 kube-state-metrics 至 v1.9.6

  • 升级 metrics server 至 v0.3.7

  • metrics-server 调整为缺省安装(在已有 K8s 上默认不安装 metrics-server )

  • 升级 Fluent Bit Operator 至 v0.2.0

  • 升级 Fluent Bit 至 v1.4.6

  • 极大改善日志检索效率

  • 允许平台管理员查看已被删除的项目(namespace)下的 pod 的日志

  • 优化落盘日志收集配置

BUG FIXES

  • 修复新创建项目的监控数据图时间轴偏移问题 (#2868)

  • 修复工作负载级别的告警在某些场景下无法正常工作的问题 (#2834)

  • 修复节点在 NotReady 状态下没有监控数据的问题

DevOps

FEATURE

  • 重构 DevOps 模块的架构,使用 CRDs 方式管理 DevOps 资源

UPGRADE & ENHANCEMENT

  • 在安装包中删除 Sonarqube,调整为支持对接外部 Sonarqube

BUG FIXES

  • 修复 DevOps 权限数据在偶发场景下丢失的问题

  • 修复 DevOps 的 Stage 页面按钮无法正常工作的问题 (#449)

  • 修复流水线参数无法正常提交保存的问题 (#2699)

应用商店

FEATURE

  • 支持 Helm V3

  • 支持将应用模板部署到多集群之中

  • 支持应用模板升级

  • 支持查看应用仓库同步过程中产生的事件

UPGRADE & ENHANCEMENT

  • 用户能使用相同的应用仓库名称Users can use the same application repository name

  • 支持应用模板中的 CRD 资源

  • 将 OpenPitrix 下的所有 Service 对象整合到一个 Service 之中

  • 在添加应用仓库时,支持 HTTP 验证方式

  • 应用仓库中新增和升级以下应用:
    AWS EBS CSI Driver 0.5.0 – Helm 0.3.0
    AWS EFS CSI Driver 0.3.0 – Helm 0.1.0
    AWS FSX CSI Driver 0.1.0 – Helm 0.1.0
    Elasticsearch Exporter 1.1.0 – Helm 3.3.0
    etcd 3.3.12 – Helm 0.1.1
    Harbor 2.0.0 – Helm 1.4.0
    Memcached 1.5.20 – Helm 3.2.3
    Minio master – Helm 5.0.26
    MongoDB 4.2.1 – Helm 0.3.0
    MySQL 5.7.30 – Helm 1.6.6
    MySQL Exporter 0.11.0 – Helm 0.5.3
    Nginx 1.18.0 – Helm 1.3.2
    Porter 0.3-alpha – Helm 0.1.3
    PostgreSQL 12.0 – Helm 0.3.2
    RabbitMQ 3.8.1 – Helm 0.3.0
    Redis 5.0.5 – Helm 0.3.2
    Redis Exporter 1.3.4 – Helm 3.4.1
    Tomcat 8.5.41 – Helm 0.4.1+1

BUG FIXES

  • 修复 attachment IDs 字段长度不足的问题

网络

FEATURE

  • 支持项目级租户网络隔离和网络防火墙策略管理

  • 支持企业空间级租户网络隔离

  • 支持增删改和查看原生 K8s 网络策略

Service Mesh

FEATURE

  • 支持清理 Jaeger ES 索引

UPGRADE & ENHANCEMENT

  • 升级 Istio 至 v1.4.8

存储

FEATURE

  • 支持存储卷快照管理

  • 支持存储容量管理

  • 支持存储卷监控

安全

FEATURE

  • 支持LDAP,OAuth2认证插件

  • 支持自定义企业空间角色

  • 支持自定义 DevOps 工程角色

  • 支持跨集群安全权限控制

  • 支持 pod security context(#1453)

UPGRADE & ENHANCEMENT

  • 简化了角色的自定义方式,将关联紧密的权限项聚合为权限组

  • 优化内置角色

BUG FIXES

  • 修复由于集群节点时间不同步导致的登录失败问题

全球化

FEATURE

  • 增加西班牙语、繁体中文的支持

用户体验

FEATURE

  • 工具箱新增支持“访问历史”快捷操作,用户可以查看自己之前访问过的集群、企业空间、项目和 DevOps 工程,并且支持通过键盘快捷键方式快速启动

UPGRADE & ENHANCEMENT

  • 重构和优化全局导航栏

  • 重构和优化详情页的痕迹导航

  • 重构和优化资源列表页的数据自刷新

  • 简化项目(namespace)的创建过程

  • 重构和优化应用的创建,支持通过 YAML 创建应用

  • 支持通过 YAML 方式修正工作负载

  • 调整工具箱中日志检索页面的数据展示方式

  • 重构和优化应用商店中应用部署的表单页

  • 支持 helm chart schema(#schema-files)

BUG FIXES

  • 修复编辑 ingress annotations 的报错问题(#1931)

  • 修复编辑工作负载容器探针的报错问题

  • 修复 XSS 安全问题

新功能截图

 

KubeSphere®️(QKE) 2.0.0 新版发布,GPU 加持,AI 赋能

一、KubeSphere®️(QKE) 概述

KubeSphere®️(QKE),即 QingCloud KubeSphere Engine,通过 QingCloud AppCenter 快速交付一个完整的原生 Kubernetes 生产级集群,同时,可以选装 KubeSphere,通过 KubeSphere 提供的诸多容器管理和业务功能,如 多租户管理、DevOps、微服务治理、多租户日志检索、Kubernetes 监控中心等,既省去了用户构建 Kubernetes 集群以及安装 KubeSphere 的过程,又屏蔽了 Kubernetes 之上的各种碎片化管理和业务组件,极大降低了运维成本并将容器上层业务功能快速带进客户真实业务场景。 QKE 详细用户手册参考


二、功能更新及 bug 修复

  1. 升级到 Ubuntu 18.04.3 LTS 64 bit
  2. 升级到 Docker 19.03.4
  3. 升级到 Kubernetes 1.16.7
  4. 升级到 QingCloud CSI v1.1.1
  5. 升级到 QingCloud Cloud Controller Manager v1.4.4
  6. 升级到 Helm 2.14.3
  7. 新增支持 GPU 节点
  8. 同时支持多种类型的工作节点,节点 CPU Model 可配置
  9. 内置 KubeSphere v2.1.1,默认选装,详细功能请参考 Release Notes
  10. 图形化选配 KubeSphere 功能组件

新功能截图 

Continue reading

KubeSphere 容器平台 2.1.1 Release Notes

关于 KubeSphere 

KubeSphere® 是经 CNCF 认证的 Kubernetes 主流开源发行版之一,在 Kubernetes 之上提供多种以容器为资源载体的业务功能模块,如多租户管理、集群运维、应用管理、DevOps、微服务治理等功能。 KubeSphere® 初始安装请参考安装部署指南

2.1.1 更新详情

Installer

UPGRADE & ENHANCEMENT

  • 支持 Kubernetes v1.14.x、v1.15.x、v1.16.x、v1.17.3,同时解决 K8s API 兼容性问题 #1829
  • 简化在已有 K8s 上安装的步骤,无需配置集群 CA 证书路径,如不需 etcd 监控数据也无需配置 etcd 证书路径
  • 升级前备份 CoreDNS 配置以便恢复

BUG FIXES

  • 修复安装后应用商店下内置应用导入失败的问题

注意! KubeSphere Installer 将同时升级 Kubernetes 版本(默认 v1.16.7),新版本的 Kubernetes 丢弃了很多旧的 apiversion,升级 Kubernetes 后旧的 apiversion 不再支持,不会影响已部署应用,但新部署的业务要修改 yaml 文件适配新的 apiversion。如果之前服务是通过 Helm 部署,在升级时需要删除旧的 release ,用更新过 apiversion 的 Helm Chart 重新部署至 KubeSphere

应用商店

UPGRADE & ENHANCEMENT

  • OpenPitrix 版本升级至 v0.4.8

BUG FIXES

  • 修复发布的最新版应用版本号显示问题 #1130
  • 修复应用审核列表页面列名错误的问题 #1498
  • 修复无法按名称和企业空间搜索审核中应用的问题 #1497
  • 修复应用删除后无法创建同名应用的问题 #1821 #1564
  • 修复应用商店部署时常常容易失败的问题 #1619 #1730

存储

UPGRADE & ENHANCEMENT

  • 内置支持阿里云和腾讯云存储插件

BUG FIXES

  • 修复存储类型列表页不支持分页的问题 #1583 #1591
  • 修复在创建创建 ceph 存储类型时 imageFeatures 默认显示 2 的问题 #1593
  • 修复存储卷列表中状态查询条件不生效 #1582
  • 修复存储卷异常显示问题 #1581
  • 修复关联已删除的存储类型的存储卷无法正常显示的问题 #1580 #1579

可观察性

UPGRADE & ENHANCEMENT

  • Fluent Bit 版本升级至 v1.3.5 #1505
  • Kube-state-metrics 版本升级至 v1.7.2
  • Elastic Curator 版本升级至 v5.7.6 #517
  • Fluent Bit Operator 支持自动获取宿主机上 Docker 容器日志目录软连接真实路径
  • Fluent Bit Operator 支持声明式配置的方式管理 Fluent Bit 实例(通过修改 Operator ConfigMap)
  • 调整告警列表页面排序方式 #1397
  • 调整容器内存用量指标,使用 container_memory_working_set_bytes

BUG FIXES

  • 修复容器详情页日志延迟问题 #1650
  • 修复多副本工作负载部分副本的容器无日志的问题 #1505
  • 修复 Curator 不兼容 Elasticsearch 7.x #517
  • 修复容器创建过程中,查看容器日志报错的问题 #1518
  • 修复在节点资源调整时,节点监控偶尔出现空节点的问题 #1464
  • 修复监控中心页面组件状态未实时更新的问题 #1858
  • 修复告警详情中,监控目标数量不正确 #61

DevOps

BUG FIXES

  • 修复流水线 UNSTABLE 状态没有展示的问题 #1428
  • 修复 DevOps 流水线中 KubeConfig 格式不对的问题 #1529
  • 修复 B2I 不支持阿里云镜像仓库地址的问题 #1500
  • 修复 DevOps 流水线分支列表分页显示问题 #1517
  • 修复 Jenkinsfile 配置流水线参数导致流水线配置无法展示的问题 #1522
  • 修复 S2I 任务构建生成的制品下载失败的问题 #1547
  • 修复重启 Jenkins 概率性造成数据丢失的问题
  • 修复流水线对接 Github 只能检出 PR-HEAD 的问题 #1780
  • 修复更新 DevOps 凭证 HTTP 414 的问题 #1824
  • 修复 B2I/S2I 生成的 s2ib/s2ir 名称错误的问题 #1840
  • 图形化创建流水线时,无法拖动任务进行排序 #62

认证和权限

UPGRADE & ENHANCEMENT

  • 通过CSR生成客户端证书 #1449

BUG FIXES

  • 修复 KubeConfig 文件证书内容不全的问题 #1529
  • 修复用不同权限用户连续用同一浏览器登录报错的问题 #1600

用户体验

UPGRADE & ENHANCEMENT

  • 创建工作负载时,可配置安全上下文(SecurityContext)#1530
  • 创建工作负载时,可配置 init container #1488
  • 配置探针时,增加支持 startupProbe 类型探针,同时参数增加支持 periodSeconds、successThreshold、failureThreshold 参数 #1487
  • 优化 pod 状态显示 #1187
  • 前端报错提示优化 #43

BUG FIXES

  • 修复未就绪容器组(Pod)状态显示错误的问题 #1187
  • 修复在以 QingCloud 负载均衡器配置服务时,注解(annotation)参数无法删除的问题 #1395
  • 修复创建服务时工作负载选择列表显示的问题 #1596
  • 修复无法编辑定时任务配置文件的问题 #1521
  • 修复无法更新有状态副本集的服务的问题 #1513
  • 修复无法搜索青云、阿里云等镜像仓库中镜像的问题 #1627
  • 修复相同创建时间的资源排序混乱的问题 #1750
  • 修复服务详情无法编辑配置文件问题 #41

KubeSphere 2.1.0 Release Notes——应用管理、存储管理、监控日志管理、安全性、DevOps及用户体验等全面升级

关于 KubeSphere 

KubeSphere® 是经 CNCF 认证的 Kubernetes 主流开源发行版之一,在 Kubernetes 之上提供多种以容器为资源载体的业务功能模块,如多租户管理、集群运维、应用管理、DevOps、微服务治理等功能。 KubeSphere® 初始安装请参考安装部署指南

2.1.0 更新详情列表

Installer 改进

Features

      • 核心组件解耦,可选装 DevOps、微服务治理(Service Mesh)、应用商店、日志、告警通知等模块

      • 增加 Grafana 可选安装组件,默认版本 5.2.4

      • Kubernetes 支持升级至 1.15.5,兼容 1.4.x 和 1.3.x

      • OpenPitrix 应用商店后端管理模块升级至 0.4.5

      • 升级日志采集组件 Fluent Bit 至 v1.3.2

      • 升级 DevOps 组件 Jenkins 至 v2.176.2

      • Istio 组件升级至 1.3.3

      • 组件高可用优化

应用商店

Features

      • 支持应用上传、审批、分类,提供内置应用仓库和应用

UPGRADE & ENHANCEMENT

      • 应用仓库(模板) 由 Global 级别调整至 企业空间(WorkSpace)

      • 支持企业空间管理员设置应用仓库

存储

Features

      • 支持 Dynamic Local Volume

      • 为 QingCloud 云平台块存储提供实时监控功能

UPGRADE & ENHANCEMENT

      • QingCloud CSI 插件适配 CSI 1.1.0,支持扩容、拓扑、创建/删除快照以及基于快照创建 pvc

BUG FIXES

      • 修复存储类型列表存储卷的显示错误

可观察性

Features

      • 对于将日志以文件形式保存在 Pod 挂盘上的应用,新增在 UI 上开启落盘日志收集功能

      • 支持对接 ElasticSearch 7.x

      • 支持中文日志检索

      • 支持 initContainer 日志的展示

      • 支持日志导出

      • 新增告警解除通知

UPGRADE & ENHANCEMENT

      • 优化日志检索速度

      • 优化日志服务异常时的提示信息

      • 优化监控数据请求异常时的返回信息

      • 增加 Prometheus Pod 反亲和性

BUG FIXES

      • 修复日志搜索高亮文字不正确的问题

      • 修复日志搜索不能正确匹配短语

      • 修复按工作负载名搜索日志时,无法查询到已删除工作负载的日志

      • 修复日志高亮时,显示结果被截断

      • 修复部分指标异常:节点 inode 、最大 pod 容纳量指标

      • 修复告警目标数量错误的问题

      • 修复多指标监控的过滤失效问题

      • 修复自定义污点节点无日志、监控信息的问题(调整了 node-exporter、fluent-bit 的 Toleration 属性,默认将部署在所有节点上,忽略节点污点)

DevOps

Features

      • S2I 支持切换分支和 git 日志的输出

      • B2I(Binary To Image),支持将 Linux Binary/war/jar 三种交付物一键构建镜像

      • 为流水线、S2I、B2I 提供代码依赖缓存支持

      • 流水线部署步骤支持删除 Kubernetes 资源

      • 多分支流水线支持在分支创建/删除时触发其他流水线运行

UPGRADE & ENHANCEMENT

      • 流水线增加支持 bitbucket

      • 支持流水线 cron 脚本验证

      • 支持 Jenkinsfile 语法校验

      • 支持 SonarQube 自定义链接

      • 支持流水线事件触发构建

      • 优化流水线 Agent 节点选择

      • 减少流水线启动速度

      • 使用动态卷作为流水线 Agent 的工作目录,并贡献给社区#589

      • 优化 Jenkins kubernetesDeploy 插件,新增更多资源和版本(v1、apps/v1、extensions/v1beta1、apps/v1beta2、apps/v1beta1、autoscaling/v1、autoscaling/v2beta1、autoscaling/v2beta2、networking.k8s.io/v1、batch/v1beta1、batch/v2alpha1),并贡献给社区#600#614
      • 流水线部署步骤新增 PV、PVC、Network Policy 支持,并贡献给社区#87#88

BUG FIXES

      • 修复github webhook 400 bad request问题

      • 不兼容改动:DevOps webhook的URL前缀由/webhook/xxx 变更为 /devops_webhook/xxx

认证和权限

Features

      • 支持AD账户同步、认证

UPGRADE & ENHANCEMENT

      • 降低 ldap 组件的内存使用量

      • 加入防范暴力破解的保护机制

BUG FIXES

      • 修复 ldap 连接池泄漏的问题

      • 修复企业空间无法添加用户的问题

      • 修复敏感数据传输泄露的问题

用户体验

Features

      • 向导式纳管未分配到企业空间中的项目(namespace)

UPGRADE & ENHANCEMENT

      • web kubectl 支持 bash-completion
      • 主机信息展示优化

      • 新增邮件服务器测试功能

      • 资源列表页新增帮助提示

      • 优化项目概览页和项目基本信息

      • 优化服务创建流程

      • 优化工作负载创建流程

      • 新增资源列表状态实时更新

      • 优化 yaml 编辑功能

      • 支持镜像检索和镜像信息展示

      • 工作负载页面增加 pod 列表

      • 更新网页终端页面主题

      • 容器终端增加容器切换功能

      • 优化 pod 信息展示并新增 pod 调度信息

      • 更详细的工作负载状态展示

BUG FIXES

    • 修复项目默认请求资源显示错误的问题

    • 修复网页终端路径过深的问题

    • 修复 Pod 状态更新不及时的问题

    • 修复无法基于角色搜索主机的问题

    • 修复企业空间详情页 DevOps 工程数量错误的问题

    • 修复企业空间列表页翻页后还显示当前页的问题

    • 修复企业空间列表页进行查询检索后结果排序不一致的问题

安装指南

一键部署 QKE,快速拥有生产级 KubeSphere 

Release Notes 参考链接

KubeSphere® 容器平台高级版 2.0.2 Release Notes

关于 KubeSphere® 高级版

KubeSphere® 共提社区版易捷版以及高级版三个版本,其中社区版和易捷版主要提供多租户管理、集群运维、应用管理等功能,而高级版主要针对企业用户,目的是满足企业内不同角色用户、提供多种以容器为资源载体的的业务功能模块。 KubeSphere® 高级版 初始安装请参考安装部署指南

高级版 2.0.2 更新详情列表

功能增强
  • 官网提供 API docs
  • 防止暴力破解
  • 规范资源名最大长度
  • 升级项目网关(Ingress Controller)版本至 0.24.1,支持 Ingress 灰度发布
BUG FIXES
  • 修复流量拓扑图显示项目之外资源的问题
  • 修复流量拓扑图在特定条件下显示多余服务组件的问题
  • 修复 Source to Image 重新构建镜像操作在特定条件下无法执行的问题
  • 修复失败的 Source To Image 任务导致服务选择页面展示的问题
  • 修复容器组(Pod)状态异常时无法查看日志的问题
  • 修复磁盘监控无法检测到部分挂盘类型,例如 LVM 硬盘
  • 修复已部署应用无法删除的问题
  • 修复应用组件状态判断有误的问题
  • 修复主机节点数计算错误的问题
  • 修复添加环境变量时切换到引用配置按钮导致输入数据丢失的问题
  • 修复项目 Operator 角色用户不能 re-run job 的问题
  • 修复无 IPv4 环境 uuid 无法初始化的问题
  • 修复日志详情页无法滚动下拉查看过往日志的问题
  • 修复 KubeConfig 文件中 APIServer 地址错误的问题
  • 修复无法修改 DevOps 工程名称的问题
  • 修复容器日志无法指定时间查询的问题
  • 修复在特定情况下关联的镜像仓库秘钥没有保存的问题
  • 修复应用下服务组件创建页面没有镜像仓库秘钥参数的问题

安装指南

一键部署 QKE,快速拥有生产级 KubeSphere 

Release Notes 参考链接