Shortcuts

环境管理

hfai workspace

构造工作区,把本地代码推送到萤火二号上跑

Usage:

hfai workspace COMMAND <argument>... [OPTIONS]

hfai workspace diff

比较本地workspace和萤火二号目录diff,默认比较文件md5

如耗时较长,可通过’–no_checksum’参数禁用md5计算,只通过文件size比较,该方法不可靠

Usage:

hfai workspace diff [OPTIONS]

Options:

  • -n, --no_checksum

    是否对文件禁用checksum,默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间,单位(s)

    default

    300

hfai workspace download

下载萤火二号目录中指定文件到本地, 远端目录请通过diff获取,如 checkpoint/model.pt

Usage:

hfai workspace download <remote_path> [OPTIONS]

Options:

  • -f, --force

    是否强制覆盖本地目录,默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum,默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间,单位(s)

    default

    300

  • -s, --sync_timeout <sync_timeout>

    从集群同步到oss的超时时间, 单位(s)

    default

    1800

  • -o, --oss_timeout <oss_timeout>

    从oss下载分片到本地的超时时间, 单位(s)

    default

    120

  • -t, --token_expires <token_expires>

    从oss下载到本地的sts token有效时间, 单位(s)

    default

    1800

  • -p, --part_mb_size <part_mb_size>

    从oss下载到本地的分片大小, 单位(MB)

    default

    100

Arguments

  • remote_path

    远端文件路径,远端目录请通过diff获取,如 checkpoint/model.pt,默认: checkpoint

hfai workspace init

初始化本地工作区

Usage:

hfai workspace init <workspace_name> [OPTIONS]

Arguments

  • workspace_name

    工作区的名字

hfai workspace list

列举所有萤火二号workspace,加粗表示为当前运行目录所在workspace

Usage:

hfai workspace list [OPTIONS]

hfai workspace pull

下载萤火二号目录到本地workspace

Usage:

hfai workspace pull [OPTIONS]

Options:

  • -f, --force

    是否强制覆盖本地目录,默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum,默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间, 单位(s)

    default

    300

  • -s, --sync_timeout <sync_timeout>

    从集群同步到oss的超时时间, 单位(s)

    default

    1800

  • -o, --oss_timeout <oss_timeout>

    从oss下载分片到本地的超时时间, 单位(s)

    default

    120

  • -t, --token_expires <token_expires>

    从oss下载到本地的sts token有效时间, 单位(s)

    default

    1800

  • -p, --part_mb_size <part_mb_size>

    从oss下载到本地的分片大小, 单位(MB)

    default

    100

hfai workspace push

推送本地workspace到萤火二号

Usage:

hfai workspace push [OPTIONS]

Options:

  • -f, --force

    是否强制推送并覆盖远端目录, 默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum, 默认值为False

  • -z, --no_zip

    是否禁用workspace打包上传, 默认值为False

  • -d, --no_diff

    是否禁用差量上传, 如是, 本地和远端不一致文件将被强制覆盖, 默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间, 单位(s)

    default

    300

  • -s, --sync_timeout <sync_timeout>

    从oss同步到集群的超时时间, 单位(s)

    default

    1800

  • -o, --oss_timeout <oss_timeout>

    从本地上传分片到oss的超时时间, 单位(s)

    default

    120

  • -t, --token_expires <token_expires>

    从本地上传到oss的sts token有效时间, 单位(s)

    default

    1800

  • -p, --part_mb_size <part_mb_size>

    从本地上传到oss的分片大小, 单位(MB)

    default

    100

hfai workspace remove

删除集群工作区

示例: “hfai workspace remove demo -f checkpoint/ -f output/train.log”

Usage:

hfai workspace remove <workspace_name> [OPTIONS]

Options:

  • -f, --files <files>

    保留工作区,仅删除指定的集群侧文件/文件目录列表,不支持通配符; 如不指定则为删除整个工作区

  • --yes

    Confirm the action without prompting.

Arguments

  • workspace_name

    工作区的名字

hfai venv

创建、查询、删除虚拟环境

Usage:

hfai venv COMMAND <argument>... [OPTIONS]

hfai venv create

使用conda创建新的虚拟环境,注意必须有conda并配置好相应代理(如有需要)

Usage:

hfai venv create <venv_name> [OPTIONS]

Options:

  • --no_extend

    扩展当前python环境(默认为扩展),注意扩展当前环境极有可能出现版本兼容问题

  • -p, --py <py>

    选择python版本,默认为当前python版本

Arguments

  • venv_name

    venv的名字

hfai venv list

列举所有虚拟环境

Usage:

hfai venv list [OPTIONS]

Options:

  • -u, --user <user>

    指定用户,默认为所有用户

hfai venv push

上传虚拟环境

Usage:

hfai venv push <venv_name> [OPTIONS]

Options:

  • -f, --force

    是否强制推送并覆盖远端目录,默认值为False

  • -n, --no_checksum

    是否对文件禁用checksum,默认值为False

  • -z, --no_zip

    是否禁用venv打包上传,默认值为False

  • -d, --no_diff

    是否禁用差量上传,如是,本地和远端不一致文件将被强制覆盖,默认值为False

  • -l, --list_timeout <list_timeout>

    遍历集群工作区的超时时间,单位(s)

    default

    300

  • -s, --sync_timeout <sync_timeout>

    从oss同步到集群的超时时间, 单位(s)

    default

    1800

  • -o, --oss_timeout <oss_timeout>

    从本地上传分片到oss的超时时间, 单位(s)

    default

    120

  • -t, --token_expires <token_expires>

    从本地上传到oss的sts token有效时间, 单位(s)

    default

    1800

  • -p, --part_mb_size <part_mb_size>

    从本地上传到oss的分片大小, 单位(MB)

    default

    100

Arguments

  • venv_name

    venv的名字

hfai venv remove

删除虚拟环境

Usage:

hfai venv remove <venv_name> [OPTIONS]

Arguments

  • venv_name

    venv的名字