Shortcuts

安装与设置

支持的系统

  • Ubuntu 20.04

依赖

获取 token

请在账号开通邮件中查收用户名、密码(token),用于初始化 hfai。如需申请开通帐号请联系管理员

安装 hfai

  1. 执行如下命令


    轻量版(只安装任务提交和管理所需的依赖,支持 Linux / Mac OS / WSL 系统下的 Python 3.8 环境)
    pip3 install hfai --extra-index-url https://pypi.hfai.high-flyer.cn/simple --trusted-host pypi.hfai.high-flyer.cn
    

    完全版(安装所有组件所需的依赖,包括 ffrecordhfreduce优化算子并行 checkpoint,PyTorch (CUDA) 等,仅支持 Ubuntu 20.04 的 Python 3.8 环境)

    pip3 install hfai[full] --extra-index-url https://pypi.hfai.high-flyer.cn/simple --trusted-host pypi.hfai.high-flyer.cn
    
  2. 完成后执行 hfai 能输出命令列表,即安装成功,如下:

    Usage: hfai COMMAND <argument>... [OPTIONS]
    
    Options:
    -h, --help  Show this message and exit.
    ...
    

注意:hfai 持续优化迭代中,请留意版本号,及时更新最新版 hfai,获得最好使用体验。

安装 hfreduce

hfreduce 是 hfai 的高级功能之一,提供多 GPU 之间高性能通信能力,更多介绍参考技术博客

  1. 安装依赖

    sudo apt install libnuma-dev
    sudo apt install libibverbs-dev
    
  2. 安装 hfreduce 包(完全版已包含)

    pip3 install hfreduce --extra-index-url https://pypi.hfai.high-flyer.cn/simple --trusted-host pypi.hfai.high-flyer.cn