.. hfai documentation master file, created by sphinx-quickstart on Mon Apr 11 10:51:24 2022. You can adapt this file completely to your liking, but it should at least contain the root `toctree` directive. 欢迎来到萤火集群使用教程与文档 ===================================== .. toctree:: :maxdepth: 1 :caption: 开始使用 :hidden: :glob: start/install.rst start/hfai_intro.rst .. toctree:: :maxdepth: 2 :caption: 用户须知 :hidden: :titlesonly: :glob: guide/dev_container.rst guide/tutorial.rst guide/schedule.rst guide/data_workflow.rst .. toctree:: :maxdepth: 2 :caption: hfai CLI :hidden: :glob: cli/user.rst cli/ugc.rst cli/exec.rst cli/task.rst cli/cluster.rst .. toctree:: :maxdepth: 3 :caption: hfai API :hidden: :glob: api/hfai.rst api/autotune.rst api/checkpoint.rst api/client.rst api/client_remote.rst api/cuda.rst api/datasets.rst api/distributed.rst api/file.rst api/multiprocessing.rst api/nn.rst api/nn_functional.rst api/pl.rst api/utils.rst api/utils_mm.rst .. toctree:: :maxdepth: 3 :caption: HaiScale :hidden: :glob: haiscale/haiscale.rst haiscale/haiscale_ddp.rst haiscale/haiscale_fsdp.rst haiscale/haiscale_pipe.rst haiscale/haiscale_timer.rst .. toctree:: :maxdepth: 3 :caption: HF3FS :hidden: :glob: hf3fs/3fs_vnext.rst hf3fs/hf3fs.rst hf3fs/hf3fs_fuse.rst .. toctree:: :maxdepth: 1 :caption: 仓库 :hidden: :glob: warehouse/model_gallery.rst .. toctree:: :maxdepth: 1 :caption: 笔记 :hidden: :glob: performance/nn.rst performance/ddp.rst performance/pl.rst performance/mm.rst performance/detr2.rst .. toctree:: :maxdepth: 1 :caption: 其他 :hidden: :glob: misc/env_var misc/resources 幻方萤火深度学习套件,hfai toolkit,简称 hfai,是幻方 AI 多年深度学习经验的集成,提供了 **训练加速** 、 **环境管理** 与 **萤火调度** 三类核心接口与命令行工具,以此加速用户本地的训练, 打通用户个人主机与萤火二号集群。通过 hfai,研究者不仅可以在本地使用 hfai 算子、框架、模型,也可以无缝地从本机提交训练任务到萤火二号上,进行并行训练加速。 开始试用 ----------------- * 5分钟上手视频:https://www.high-flyer.cn/blog/hfai_usage/ * 试跑案例代码:https://github.com/HFAiLab/hfai-models 阅读指南 ----------------- 对于绝大部分的初始试用者,您可以从文档 :doc:`《hfai 基本介绍》 ` 开始阅读。 它介绍了 hfai 的基本理念、集群概况、产品功能、环境特点等信息,帮助您快速了解 hfai 以适应幻方萤火深度学习开发的方式。 对于有一定经验的使用者,如果您想要了解更多高级功能,可以按照如下路径浏览该文档: * 阅读 :doc:`《命令行工具 (CLI)》 `,详细了解 hfai 命令行工具的使用方法,在您的本地工程中快速搭建起联通幻方萤火二号集群的工程环境。 * 阅读 :doc:`《分时调度》 `,完整了解幻方萤火二号集群任务级管理的理念,进行分布式训练改造,合理规划任务的优先级,提交训练。 * 根据使用需要搜索相应的 :doc:`API `, :doc:`CLI ` 。 * 您也可以浏览 :doc:`《模型仓库》 `,获得一些完整的深度学习模型训练代码案例,了解 hfai 各项功能的使用方法。 文档索引 ---------- * :ref:`genindex`