Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于vid2vid训练进行手势可视化,我有一些问题需要您的帮助。 #16

Open
Olivia-Ye opened this issue May 16, 2022 · 0 comments

Comments

@Olivia-Ye
Copy link

我自己录了一个半身的视频,从中取帧,利用openpose库生成了对应图片的json文件,作为vid2vid的训练集中train_openpose和train_img; 在从项目代码中提取出生成的手势关键点,写出成openpose格式的json文件,作为vid2vid测试集的test_openpose,test_img直接使用相同数量的train_img,使用单GPU从256训练到512再到1024,但是效果一直都非常差。
我想向您请教,您当时的训练参数是怎么样的?训练的时候是否使用了densepose呢?如果是训练使用densepose,那么测试的时候又如何生成densepose呢?最后一个问题,您当时是如何处理test_img数据的呢?也是直接拿train_img换的吗?

下面附上我训练的参数,希望能得到您的回复,恳请您指教,不胜感激!!!
————————————第一轮256的训练参数————————————
python train.py --name my_new_pose_256_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --ngf 64 --num_D 2
--loadSize 384 --fineSize 256 --resize_or_crop randomScaleHeight_and_scaledCrop
--max_frames_per_gpu 4 --n_frames_total 12 --max_t_step 4
--niter 5 --niter_decay 5 --no_first_img --openpose_only
--checkpoints_dir ./checkpoint --add_face_disc
————————————第二轮512的训练参数————————————
python train.py --name my_new_pose_256_512_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --ngf 64 --num_D 3 --n_scales_spatial 2
--resize_or_crop randomScaleHeight_and_scaledCrop --loadSize 768 --fineSize 512
--no_first_img --n_frames_total 12 --max_frames_per_gpu 2 --max_t_step 4
--niter_fix_global 3 --niter 5 --niter_decay 5
--lr 0.0001 --openpose_only --add_face_disc --checkpoints_dir ./checkpoint
--load_pretrain checkpoint/my_new_pose_256_g1
————————————第三轮1024的训练参数————————————
python train.py --name my_new_pose_512_1024_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --ngf 64 --ndf 32 --n_scales_spatial 3 --num_D 4
--resize_or_crop randomScaleHeight_and_scaledCrop --loadSize 1536 --fineSize 1024
--no_first_img --n_frames_total 12 --max_t_step 4 --add_face_disc
--niter_fix_global 3 --niter 5 --niter_decay 5 --lr 0.00005
--openpose_only --checkpoints_dir ./checkpoint
--load_pretrain checkpoint/my_new_pose_256_512_g1
————————————测试的参数————————————
python test.py --name my_new_pose_256_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --ngf 64 --resize_or_crop scaleHeight
--loadSize 256 --no_first_img --openpose_only --remove_face_labels
--checkpoints_dir ./checkpoint --add_face_disc


python test.py --name my_new_pose_256_512_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --n_scales_spatial 2 --ngf 64
--resize_or_crop scaleHeight --loadSize 512 --no_first_img
--openpose_only --remove_face_labels --checkpoints_dir ./checkpoint --add_face_disc


python test.py --name my_new_pose_512_1024_g1 --dataroot datasets/my_pose
--dataset_mode pose --input_nc 3 --n_scales_spatial 3 --ngf 64
--resize_or_crop scaleHeight --loadSize 1024 --no_first_img
--openpose_only --remove_face_labels --checkpoints_dir ./checkpoint --add_face_disc
在训练第二轮和第三轮的时候会出现这种输出
SAO YJ3MG}$$JH @9QOFL
QQ截图20220516144207
最终的效果是这样的(很糟糕)
%%YF`Y 21M}X1I74 DR9 C

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant