Table of Contents
Shortcuts

UGC 命令

haiworkspace

Usage:

haiworkspace COMMAND <argument>... [OPTIONS]

haiworkspace diff

比较本地workspace和萤火二号目录diff，默认比较文件md5

如耗时较长，可通过’–no_checksum’参数禁用md5计算，只通过文件size比较，该方法不可靠

Usage:

haiworkspace diff [OPTIONS]

Options:

  • -n, --no_checksum

    是否对文件禁用checksum比对，默认值为False

  • -i, --no_hfignore

    是否忽略.hfignore规则，默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间，单位(s)

    默认值: 300

haiworkspace download

下载萤火二号目录中指定文件到本地， 远端目录请通过diff获取，如 checkpoint/model.pt

Usage:

haiworkspace download <remote_path> [OPTIONS]

Options:

  • --force

    是否强制覆盖本地目录，默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum比对，默认值为False

  • -i, --no_hfignore

    是否忽略.hfignore规则，默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间，单位(s)

    默认值: 300

  • -s, --sync_timeout <sync_timeout>

    等待同步任务提交成功的超时时间, 单位(s)

    默认值: 1800

  • -o, --cloud_connect_timeout <cloud_connect_timeout>

    从云端下载分片到本地的连接超时时间, 单位(s)

    默认值: 120

  • -t, --token_expires <token_expires>

    从云端下载到本地的sts token有效时间, 单位(s)

    默认值: 1800

  • -p, --part_mb_size <part_mb_size>

    从云端下载到本地的分片大小, 单位(MB)

    默认值: 100

  • --proxy <proxy>

    从云端下载到本地时使用的代理url

Arguments

  • remote_path

    远端文件路径，远端目录请通过diff获取，如 checkpoint/model.pt，默认: checkpoint

haiworkspace init

初始化本地工作区

Usage:

haiworkspace init <workspace_name> [OPTIONS]

Options:

  • -p, --provider <provider>

    使用的云端存储服务类别

    默认值: oss

Arguments

  • workspace_name

    工作区的名字

haiworkspace list

列举所有萤火二号workspace，加粗表示为当前运行目录所在workspace

Usage:

haiworkspace list [OPTIONS]

haiworkspace pull

下载萤火二号目录到本地workspace

Usage:

haiworkspace pull [OPTIONS]

Options:

  • --force

    是否强制覆盖本地目录，默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum比对，默认值为False

  • -i, --no_hfignore

    是否忽略.hfignore规则，默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间, 单位(s)

    默认值: 300

  • -s, --sync_timeout <sync_timeout>

    等待同步任务提交成功的超时时间, 单位(s)

    默认值: 1800

  • -o, --cloud_connect_timeout <cloud_connect_timeout>

    从云端下载分片到本地的连接超时时间, 单位(s)

    默认值: 120

  • -t, --token_expires <token_expires>

    从云端下载到本地的sts token有效时间, 单位(s)

    默认值: 1800

  • -p, --part_mb_size <part_mb_size>

    从云端下载到本地的分片大小, 单位(MB)

    默认值: 100

  • --proxy <proxy>

    从云端下载到本地时使用的代理url

haiworkspace push

推送本地workspace到萤火二号

Usage:

haiworkspace push [OPTIONS]

Options:

  • --force

    是否强制推送并覆盖远端目录, 默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum比对, 默认值为False

  • -i, --no_hfignore

    是否忽略.hfignore规则，默认值为False

  • -z, --no_zip

    是否禁用workspace打包上传, 默认值为False

  • -d, --no_diff

    是否禁用差量上传, 如是, 本地和远端不一致文件将被强制覆盖, 默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间, 单位(s)

    默认值: 300

  • -s, --sync_timeout <sync_timeout>

    等待同步任务提交成功的超时时间, 单位(s)

    默认值: 1800

  • -o, --cloud_connect_timeout <cloud_connect_timeout>

    从本地上传分片到云端的连接超时时间, 单位(s)

    默认值: 120

  • -t, --token_expires <token_expires>

    从本地上传到云端的sts token有效时间, 单位(s)

    默认值: 1800

  • -p, --part_mb_size <part_mb_size>

    从本地上传到云端的分片大小, 单位(MB)

    默认值: 100

  • --proxy <proxy>

    从本地上传到云端时使用的代理url

haiworkspace remove

删除集群工作区

示例: “hfai workspace remove demo -f checkpoint/ -f output/train.log”

Usage:

haiworkspace remove <workspace_name> [OPTIONS]

Options:

  • -f, --files <files>

    保留工作区，仅删除指定的集群侧文件/文件目录列表，不支持通配符; 如不指定则为删除整个工作区

  • --yes

    Confirm the action without prompting.

Arguments

  • workspace_name

    工作区的名字

haienv

Usage:

haienv COMMAND <argument>... [OPTIONS]
             默认haienv路径为HOME，可以通过设置环境变量HAIENV_PATH来指定haienv路径（萤火平台下已设置该环境变量）

haienv config

创建、查询、删除虚拟环境

Usage:

haienv config COMMAND <argument>... [OPTIONS]

config append

追加haienv的某项参数

eg. haienv clear -n my_env -k extra-search-dir -v /tmp/123

Usage:

haienv config append [OPTIONS]

Options:

  • -n, --haienv_name <haienv_name>

    required。haienv_name

  • -k, --key <key>

    required。选择追加的参数，目前只能指定extra-search-dir, extra-search-bin-dir, extra-environment中的一种

  • -v, --value <value>

    required。追加的参数值

config clear

清除haienv的某项参数

eg. haienv clear -n my_env -k extra-search-dir

Usage:

haienv config clear [OPTIONS]

Options:

  • -n, --haienv_name <haienv_name>

    required。haienv_name

  • -k, --key <key>

    required。选择清除的参数，目前只能指定extra-search-dir, extra-search-bin-dir, extra-environment中的一种

config show

展示指定haienv的各项参数

Usage:

haienv config show [OPTIONS]

Options:

  • -n, --haienv_name <haienv_name>

    required。haienv_name

  • -u, --user <user>

    指定用户，默认走当前用户

haienv create

使用conda创建新的虚拟环境，注意必须有conda并配置好相应代理（如有需要）

eg. haienv create my_env –no_extend –py 3.6 –extra-search-dir /tmp/123 –extra-search-dir /tmp/456 –extra-environment TEMP=temp

Usage:

haienv create [OPTIONS] haienv_name

Options:

  • --no_extend

    扩展当前python环境（默认为扩展），注意扩展当前环境极有可能出现版本兼容问题

  • -p, --py <py>

    选择python版本，默认为当前python版本

  • --extra-search-dir <extra_search_dir>

    指定在进入该虚拟环境时额外的pythonpath

  • --extra-search-bin-dir <extra_search_bin_dir>

    指定在进入该虚拟环境时额外的path

  • --extra-environment <extra_environment>

    指定在进入该虚拟环境时额外的环境变量

Arguments

haienv list

列举所有虚拟环境

Usage:

haienv list [OPTIONS]

Options:

  • -u, --user <user>

    指定用户，默认为所有用户

  • -a, --all

    列出所有环境

  • -o <output_format>

    输出格式，可以选择json

haienv remove

删除虚拟环境

Usage:

haienv remove [OPTIONS] haienv_name

Arguments

hfai images

用户自定义镜像的管理接口

Usage:

hfai images COMMAND <argument>... [OPTIONS]

hfai images delete

删除萤火二号上的镜像，以释放空间 注意: 1、 该镜像的命名并不会被回收 2、 用户也可以删除自己组内的其他用户的镜像

Usage:

hfai images delete <image> [OPTIONS]

Arguments

  • image

    完整的镜像名，[registry]/image:<tag>

hfai images list

列举用户组在萤火二号上的镜像列表，以及镜像在萤火二号上的状态

Usage:

hfai images list [OPTIONS]

Options:

  • -a, --all

    是否显示所有镜像(含删除的)

    默认值: False

hfai images load

加载镜像 tar 包到萤火二号上，tar包应该在萤火二号上共享目录下的，外部用户需要先把 tar 包上传上来操作

Usage:

hfai images load <image_tar> [OPTIONS]

Arguments

  • image_tar

    用户要加载进萤火的镜像 TAR 包。在用户本地调用为 workspace 中的路径，在萤火上调用则为其共享存储中的路径