请问单卡4090能对TinyLLaVA-1.5B进行增量预训练吗？

[Lyzz123]

No description provided.

[baichuanzhou]

可以的，请看这个例子：https://github.com/DLCV-BUAA/TinyLLaVABench/blob/main/docs/Evaluation.md

[Lyzz123]

您好，这个不是评估的吗？

[baichuanzhou]

粘贴出错了，这是例子：https://github.com/DLCV-BUAA/TinyLLaVABench/blob/main/docs/CUTOM_FINETUNE.md

[Lyzz123]

我在执行lora微调的脚本时有如下提示：
Token indices sequence length is longer than the specified maximum sequence length for this model (3377 > 3072). Running this sequence through the model will result in indexing errors.
请问这个有影响吗？需要修改--model_max_length参数吗？

还想问一下loss训练到多少就可以了呀？