| --- |
| license: apache-2.0 |
| frameworks: |
| - PyTorch |
| pipeline_tag: text-to-image |
| --- |
| |
|
|
| # AnimateDiff |
|
|
|
|
|
|
| # 目录 |
|
|
| [英文](README_EN.md) |
|
|
| [链接](https://www.openeuler.org/zh/oEEP/?name=oEEP-0002%20oEEP%20%E6%A0%BC%E5%BC%8F%E4%B8%8E%E5%86%85%E5%AE%B9%E8%A7%84%E8%8C%83#oeep-%E5%86%85%E5%AE%B9%E8%A6%81%E6%B1%82) |
|
|
| - [概述](#概述) |
| - [准备训练环境](#准备训练环境) |
| - [模型训练](#模型训练) |
| - [模型推理](#模型推理) |
| - [版本说明](#版本说明) |
|
|
|
|
|
|
| ## 概述 |
|
|
| ### 模型介绍 |
|
|
| AnimateDiff提出了一个有效的框架，可将现有的大多数个性化文本到图像模型一次性制成动画，从而节省了针对特定模型进行微调的工作量。 |
|
|
| 本仓已经支持以下模型任务类型 |
|
|
| | 模型 | 任务列表 | 是否支持 | |
| |:-----------:|:----:|:-----:| |
| | AnimateDiff | 训练 | ✔ | |
| | AnimateDiff | 推理 | ✔ | |
|
|
| - 参考实现： |
|
|
| ``` |
| url=https://github.com/guoyww/AnimateDiff.git |
| commit_id=cf80ddeb47b69cf0b16f225800de081d486d7f21 |
| ``` |
|
|
| - 适配昇腾AI处理器的实现： |
| ```shell |
| url=https://openmind.cn/models/Ascend-PyTorch/AnimateDiff |
| ``` |
|
|
| ## 准备训练环境 |
|
|
| ### 创建python环境 |
|
|
| - git clone 远程仓 |
| ```shell |
| git clone https://openmind.cn/Ascend-PyTorch/AnimateDiff.git |
| cd AnimateDiff |
| ``` |
|
|
| - 创建python环境并且安装python三方包 |
| ```shell |
| conda env create -f environment.yaml |
| conda activate animatediff |
| pip3 install torch==2.1.0+cpu --index-url https://download.pytorch.org/whl/cpu # For X86 |
| pip3 install torch==2.1.0 # For Aarch64 |
| pip3 install accelerate==0.28.0 diffusers==0.11.1 decorator==5.1.1 scipy==1.12.0 attrs==23.2.0 torchvision==0.16.0 transformers==4.25.1 |
| ``` |
| - 环境准备指导 |
|
|
| 请参考《[Pytorch框架训练环境准备](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 |
|
|
| **表 1** 昇腾软件版本支持表 |
| |
| | 软件类型 | 支持版本 | |
| |:-----------:|:--------:| |
| | FrameworkPTAdapter | 在研版本 | |
| | CANN | 在研版本 | |
| | 昇腾NPU固件 | 在研版本 | |
| | 昇腾NPU驱动 | 在研版本 | |
|
|
|
|
| ### 准备数据集 |
|
|
| - 需要自行下载WebVid10M数据集，分别将csv文件和2M_val文件夹传入训练脚本对应的csv_path和video_folder参数上面： |
| ``` |
| 数据集结构 |
| ├── 2M_val |
| │ ├── 10003109.mp4 |
| │ ├── 10023815.mp4 |
| │ ├── 10024310.mp4 |
| │ ├── 10042700.mp4 |
| │ ├── 10052036.mp4 |
| │ ├── 10052783.mp4 |
| │ ├── 1005608956.mp4 |
| └── results_2M_val.csv |
| ``` |
| 数据来源可以参考 https://github.com/guoyww/AnimateDiff/blob/main/__assets__/docs/animatediff.md 中的数据准备章节。 |
| ### 准备预训练权重 |
| |
| - 需要准备2个模型权重: |
| ```shell |
| runwayml/stable-diffusion-v1-5 |
| openai/clip-vit-large-patch14 |
| ``` |
| - 将stable-diffusion-v1-5 路径传入到configs/training/v1/image_finetune.yaml 的pretrained_model_path。 |
| - openai/clip-vit-large-patch14需要放置到模型的根目录下面。 |
| ### 准备推理权重 |
| - 如果想使用animatediff的推理功能需要下载下面提及到的模型，按照模型的名字对应放到models目录下面DreamBooth_LoRA、MotionLoRA、Motion_Module、SparseCtrl、StableDiffusion文件夹中。 |
| 模型获取可以参考 https://github.com/guoyww/AnimateDiff/blob/main/__assets__/docs/animatediff.md 文档。 |
| <details> |
