凯发k8国际娱乐官网入口-k8凯发> ai开发平台modelarts> > > 为什么资源充足还是在排队?
更新时间:2023-11-17 gmt 08:00

为什么资源充足还是在排队?-凯发k8国际娱乐官网入口

  • 如果是公共资源池,一般是由于其他用户占用资源导致,请耐心等待或根据训练作业一直在等待中(排队)?方法降低排队时间。
  • 如果是专属资源池,建议您进行以下排查:
    1. 排查专属资源池中是否存在其他作业(包括推理作业、训练作业、开发环境作业等)。

      可通过总览页面,快速判断是否有其他模块的作业或实例在运行中,并进入到相关作业或实例上,判断是否使用了专属资源池。如判断相关作业或实例可停止,则可以停止,释放出更多的资源。

      图1 总览
    2. 点击专属资源池详情,查看当前排队作业列表。

      观察队头是否有其他作业在排队,若已有作业在排队,则新建作业需要等待

      图2 作业排队列表
    3. 如果通过排查计算,发现资源确实足够,则考虑可能由于资源碎片化导致的。

      例如,集群共2个节点,每个节点都空闲了4张卡,总剩余卡数为8张卡,但用户的作业要求为1节点8张卡,因此无法调度上。

分享:

more

网站地图