准备数据-凯发k8国际娱乐官网入口

数据上传至obs

在本文档中，采用通过obs管理控制台将数据上传至obs桶。

执行如下操作，将数据导入到您的数据集中，以便用于模型训练和构建。

1. 登录obs管理控制台，在modelarts同一区域内。如果已存在可用的桶，需确保obs桶与modelarts在同一区域。
2. 参考，将本地数据上传至obs桶中。如果您的数据较多，推荐obs browser 上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。

• 在上传数据时，请选择非加密桶进行上传，否则会由于加密桶无法解密导致后期的训练失败。
• 用于训练的图片，至少有2种以上的分类，每种分类的图片数不少20张。

数据集要求

• 文件名规范：不能有 、空格、制表符。
• 保证图片质量：不能有损坏的图片，目前支持的格式包括jpg、jpeg、bmp、png。
• 不要把明显不同的多个任务数据放在同一个数据集内。
• 每一类数据尽量多，尽量均衡。期望获得良好效果，图像分类项目中，至少有两种以上的分类，每种分类的样本不少于20张。
• 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
• 为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。

obs上传文件规范

• 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketname/data-cat”。
• 如需要提前上传待标注的图片，请创建一个空文件夹，然后将图片文件保存在该文件夹下，图片的目录结构如：“/bucketname/data-cat/cat.jpg”。
• 如您将已标注好的图片上传至obs桶，请按照如下规范上传。
  • 图像分类数据集要求将标注对象和标注文件存储在同一目录，并且一一对应，例如标注对象文件名为“10.jpg”，那么标注文件的文件名应为“10.txt”。
    数据文件存储示例：

    ├─
          │      10.jpg
          │      10.txt    
          │      11.jpg 
          │      11.txt
          │      12.jpg 
          │      12.txt

  • 只支持jpg、jpeg、png、bmp格式的图片。在obs管理控制台上传时，单张图片的大小不能超过5mb，单次上传的图片总大小不能超过8mb，数据量大时推荐使用obs browser 上传 。
  • 标签名是由中文、大小写字母、数字、中划线或下划线组成，且不超过32位的字符串。
  • 图像分类标签“.txt”规范如下。

    一行一个标签：

    cat
    dog
    ...

创建数据集

数据准备完成后，需要创建相应项目支持的类型的数据集，具体操作请参考。