支持多GPU训练吗

[Vizzana]

No description provided.

[Vizzana]

支持

[CVerSMH]

支持

你是怎么实现的？
我是用dp：model = nn.DataParallel(model)，然后出现错误：AttributeError: 'LatentDiffusion' object has no attribute 'learning_rate'

[Vizzana]

训练： CUDA_VISIBLE_DEVICES=1,2 python main.py --base configs/stable-diffusion/v1-finetune_unfrozen.yaml -t --actual_resume ./models/sd-v1-4.ckpt -n myself --gpus 0 --data_root ./dreambooth-dataset/dataset/backpack --reg_data_root ./regularization_images/backpack/samples --class_word backpack --no-test --gradient_checkpointing True --use_8bit_adam True --fp16 fp16 --gradient_accumulation_steps 1 --train_batch_size 1 生图： CUDA_VISIBLE_DEVICES=2 python scripts/stable_txt2img.py --ddim_eta 0.0 --n_samples 3 --n_iter 1 --scale 10.0 --ddim_steps 2000 --ckpt ./logs/cat_statue2024-05-06T16-23-05_cat_sculpture/checkpoints/last.ckpt --prompt "a sks cat in Tsinghua University" 印象里，我并没有对原来项目代码 做什么改动。