更新时间:2023-12-26 gmt 08:00

约束与限制-凯发k8国际娱乐官网入口

本文主要为您介绍云容器引擎(cce)集群使用过程中的一些限制。

集群/节点限制

  • 集群一旦创建以后,不支持变更以下项:
    • 变更集群类型,例如“cce standard集群”更换为“cce turbo集群”
    • 变更集群的控制节点数量,例如非高可用集群(控制节点数量为1)变更为高可用集群(控制节点数量为3)。
    • 变更控制节点可用区。
    • 变更集群的网络配置,如所在的虚拟私有云vpc、子网、容器网段、服务网段、ipv6、kubeproxy代理(转发)模式。
    • 变更网络模型,例如“容器隧道网络”更换为“vpc网络”
  • cce创建的ecs实例(节点)目前支持“按需计费”“包年/包月”,其他资源(例如负载均衡)为按需计费。如果资源所属的k8凯发的服务支持将按需计费实例转换成包年/包月实例,您可以通过对应的控制台进行操作。
  • 集群中纳管计费模式为“包年包月”的节点时,无法在cce控制台为其续费,用户需前往ecs控制台单独续费。
  • 由于ecs(节点)等cce依赖的底层资源存在产品配额及库存限制,创建集群、扩容集群或者自动弹性扩容时,可能只有部分节点创建成功。
  • ecs(节点)规格要求:cpu ≥ 2核且内存 ≥ 4gb。
  • 通过搭建vpn方式访问cce集群,需要注意vpn网络和集群所在的vpc网段、容器使用网段不能冲突。

网络限制

  • 节点访问(nodeport)的使用约束:默认为vpc内网访问,如果需要通过公网访问该服务,请提前在集群的节点上绑定弹性ip。
  • cce中的负载均衡(loadbalancer)访问类型使用弹性负载均衡 elb提供网络访问,存在如下产品约束:
    • 自动创建的elb实例建议不要被其他资源使用,否则会在删除时被占用,导致资源残留。
    • v1.15及之前版本集群使用的elb实例请不要修改监听器名称,否则可能导致无法正常访问。
  • 网络策略(networkpolicy),存在如下产品约束:
    • 当前仅容器隧道网络模型的集群支持网络策略(networkpolicy)。网络策略可分为以下规则:
      • 入规则(ingress):所有版本均支持。
      • 出规则(egress):暂不支持设置。
    • 不支持对ipv6地址网络隔离。

存储卷限制

  • 云硬盘存储卷使用约束:
    • 云硬盘不支持跨可用区挂载,且不支持被多个工作负载、同一个工作负载的多个实例或多个任务使用。由于cce集群各节点之间暂不支持共享盘的数据共享功能,多个节点挂载使用同一个云硬盘可能会出现读写冲突、数据缓存冲突等问题,所以创建无状态工作负载时,若使用了evs云硬盘,建议工作负载只选择一个实例。
    • 1.19.10以下版本的集群中,如果使用hpa策略对挂载了evs卷的负载进行扩容,当新pod被调度到另一个节点时,会导致之前pod不能正常读写。

      1.19.10及以上版本集群中,如果使用hpa策略对挂载了evs卷的负载进行扩容,新pod会因为无法挂载云硬盘导致无法成功启动。

  • 文件存储卷使用约束:
    • 支持多个pv挂载同一个sfs或sfs turbo,但有如下限制:
      • 多个不同的pvc/pv使用同一个底层sfs或sfs turbo卷时,如果挂载至同一pod使用,会因为pv的volumehandle参数值相同导致无法为pod挂载所有pvc,出现pod无法启动的问题,请避免该使用场景。
      • pv中persistentvolumereclaimpolicy参数建议设置为retain,否则可能存在一个pv删除时级联删除底层卷,其他关联这个底层卷的pv会由于底层存储被删除导致使用出现异常。
      • 重复用底层存储时,建议在应用层做好多读多写的隔离保护,防止产生的数据覆盖和丢失。
    • 使用sfs 3.0存储卷时,集群中需要安装2.0.9及以上版本的everest插件。
    • 使用sfs 3.0存储卷时,挂载点不支持修改属组和权限。
    • 使用sfs 3.0存储卷时,创建、删除pvc和pv过程中可能存在时延,实际计费时长请以sfs侧创建、删除时刻为准。
    • sfs 3.0存储卷在delete回收策略下暂不支持自动回收文件存储卷。当删除pv/pvc时,需要手动删除所有文件后才可以正常删除pv和pvc。
  • 对象存储卷使用约束如下:
    • 使用对象存储时,挂载点不支持修改属组和权限。
    • 对于并行文件系统,cce支持通过obs sdk方式和pvc挂载方式使用,其中pvc挂载方式是通过obs服务提供的obsfs工具实现。在节点上每挂载一个并行文件系统对象存储卷,就会产生一个obsfs常驻进程。如下图所示:
      图1 obsfs常驻进程

      建议为每个obsfs进程预留1g的内存空间,例如4u8g的节点,则建议挂载obsfs并行文件系统的实例不超过8个。

      • obsfs常驻进程是直接运行在节点上,如果消耗的内存超过了节点上限,则会导致节点异常。例如在4u8g的节点上,运行的挂载并行文件系统卷的实例超过100 ,有极大概率会导致节点异常不可用。因此强烈建议控制单个节点上的挂载并行文件系统实例的数量。
      • 在使用obsfs工具时,还需遵循。
    • 安全容器不支持使用对象存储。
  • 本地持久卷使用约束:
    • 本地持久卷仅在集群版本 >= v1.21.2-r0 时支持,且需要everest插件版本>=2.1.23,推荐使用>=2.1.23版本。
    • 移除节点、删除节点、重置节点和缩容节点会导致与节点关联的本地持久存储卷类型的pvc/pv数据丢失,无法恢复,且pvc/pv无法再正常使用。移除节点、删除节点、重置节点和缩容节点时使用了本地持久存储卷的pod会从待删除、重置的节点上驱逐,并重新创建pod,pod会一直处于pending状态,因为pod使用的pvc带有节点标签,由于冲突无法调度成功。节点重置完成后,pod可能调度到重置好的节点上,此时pod会一直处于creating状态,因为该pvc对应的底层逻辑卷已不存在。
    • 请勿在节点上手动删除对应的存储池或卸载数据盘,否则会导致数据丢失等异常情况。
    • 本地持久卷不支持被多个工作负载或多个任务同时挂载。
  • 本地临时卷使用约束:
    • 本地临时卷仅在集群版本 >= v1.21.2-r0 时支持,且需要everest插件版本>=1.2.29。
    • 请勿在节点上手动删除对应的存储池或卸载数据盘,否则会导致数据丢失等异常情况。
    • 请确保节点上pod不要挂载/var/lib/kubelet/pods/目录,否则可能会导致使用了临时存储卷的pod无法正常删除。
  • 快照与备份使用约束:
    • 快照功能仅支持v1.15及以上版本的集群,且需要安装基于csi的everest插件才可以使用。
    • 基于快照创建的云硬盘,其子类型(普通io/高io/超高io)、是否加密、磁盘模式(vbd/scsi)、共享性(非共享/共享)、容量等都要与快照关联母盘保持一致,这些属性查询和设置出来后不能够修改。
    • 只有可用或正在使用状态的磁盘能创建快照,且单个磁盘最大支持创建7个快照。
    • 创建快照功能仅支持使用everest插件提供的存储类(storageclass名称以csi开头)创建的pvc。使用flexvolume存储类(storageclass名为ssd、sas、sata)创建的pvc,无法创建快照。
    • 加密磁盘的快照数据以加密方式存放,非加密磁盘的快照数据以非加密方式存放。

插件限制

cce插件采用helm模板方式部署,修改或升级插件请从插件配置页面或开放的插件管理api进行操作。请勿直接后台直接修改插件相关资源,以免插件异常或引入其他非预期问题。

cce集群配额限制

针对每个用户,云容器引擎的集群在每个地域分配了固定配额。

限制项

普通用户限制

例外

实名认证

实名认证

-

单region下集群总数

50

请申请扩大配额。

单集群最大节点数(集群管理规模)

可选择50节点、200节点、1000节点或2000节点多种管理规模。

如果已有规模无法满足您的需求,您可以申请扩大集群管理规模,最大支持10000节点。

单节点最大实例数

256

说明:

cce turbo集群中,节点最大实例数由节点可使用的网卡数量决定。

如果您期望提升节点上的部署密度,您可以申请调整节点最大实例数,最大支持修改至512个实例。

单个集群管理的最大pod数

10万pod

如果当前支持的pod数量无法满足您的需求,您可以申请凯发k8国际娱乐官网入口的技术支持,帮助您基于业务模型调优集群。

集群容量限制

集群规格容量由多种资源共同构成,例如容器组(pod)、云存储实例(persistent volume)、服务(service)等,同时资源对象的大小也会影响集群规格容量。

例如:

  • 当pod对象资源过大时,在一定的规格性能范围内pod数量上限将相应降低。
  • 当pod数量趋于上限时,集群内其他类型资源上限也将相应降低。

在实际使用环境中,由于集群中多种资源共存,单一的类型资源可能无法达到上限值。因此,您可以通过监控及时查看集群相关使用率,对集群进行适当的规划和管理,以确保所有资源的性能都能够得到最大化的利用。如果当前规格无法满足您的使用需求,可以通过扩容来保证集群的稳定性。

依赖底层云产品配额限制

限制大类

限制项

普通用户限制

计算

实例数

1000

核心数

8000核

ram容量 (mb)

16384000

网络

一个用户创建虚拟私有云的数量

5

一个用户创建子网的数量

100

一个用户拥有的安全组数量

100

一个用户拥有的安全组规则数量

5000

一个路由表里拥有的路由数量

100

一个虚拟私有云拥有路由数量

100

一个区域下的对等连接数量

50

一个用户拥有网络acl数量

200

一个用户创建二层连接网关的数量

5

负载均衡

弹性负载均衡

50

弹性负载均衡监听器

100

弹性负载均衡证书

120

弹性负载均衡转发策略

500

弹性负载均衡后端主机组

500

弹性负载均衡后端服务器

500

如果当前配额无法满足您的需求,您可以申请提升配额。

分享:
网站地图