HFAI X MMCV¶

为了让用户能够方便的在 mmdetection, mmsegmentation 等框架上使用 FFRecord，我们提供了 FFRecordClient 接口，用户能够在配置文件中选择使用 FFRecordClient 来替换默认的读取后端。

在使用 FFRecordClient 之前，建议先了解一下 mmcv FileClient 的原理。

使用方法¶

使用 FFRecord 打包整个数据集文件夹：

import ffrecord
ffrecord.pack_folder("/path/to/dataset", "packed.ffr")

在训练中使用我们提供的 FFRecordClient 读取后端

在训练代码中导入 FFRecordClient：
```
import hfai.utils.mm
```

修改配置文件，为所有的读取小文件的操作添加 file_client_args 参数，比如在 mmseg 中：

file_client_args=dict(
    backend="ffrecord",
    fname="packed.ffr",
)

train_pipeline = [
    dict(type='LoadImageFromFile', file_client_args=file_client_args),
    dict(type='LoadAnnotations', reduce_zero_label=True, file_client_args=file_client_args),
    dict(type='Resize', img_scale=(2048, 512), ratio_range=(0.5, 2.0)),
    ...
]

使用示例¶

本示例使用以下版本的包：

mmcv==1.6.2
mmdet==2.25.2
mmseg==0.28.0

mmdetection¶

以 coco 数据集为例，假设我们已经有 coco 的原始数据集，目录结构如下：

coco/
├── annotations
├── train2017
└── val2017

我们先打包整个数据集到 data/coco/coco.ffr 中：

import ffrecord
ffrecord.pack_folder("coco/", "data/coco/coco.ffr")

然后把 annotations 文件夹单独拷贝出来放到 data/coco/annotations，现在目录结构如下：
```
data
└── coco
    ├── annotations
    └── coco.ffr
```
在训练代码中导入 FFRecordClient：
```
import hfai.utils.mm
```
修改配置文件 configs/_base_/datasets/coco_detection.py 的内容为： coco_detection.py

mmsegmentation¶

以 ADE20k 数据集为例，假设我们已经有 ADE20k 的原始数据集，目录结构如下：

ADEChallengeData2016
├── annotations
├── images
├── objectInfo150.txt
└── sceneCategories.txt

我们先打包整个数据集到 data/ade20k.ffr 中：

import ffrecord
ffrecord.pack_folder("ADEChallengeData2016/", "data/ade20k.ffr")

在训练代码中导入 FFRecordClient：
```
import hfai.utils.mm
```
修改配置文件 configs/_base_/datasets/ade20k.py 的内容为： ade20k.py