T5模型预训练问题

[zhangzai666]

您好：
我尝试基于t5_base模型进行预训练pretrain，数据量较少大概3000多条，训练了1000步，结果输出基本全是“”的“”，如下：
input= "中extra0的首都是extra1京"
output=[{'generated_text': 'extra0 的 extra1 的 extra2 extra3'}]
请问我这是过拟合了破坏原来模型参数了？？
哪位大神指导一下