微博新闻摘要数据测试集性能很差

[xdnjust]

大佬你好，我用https://github.com/YunwenTechnology/Unilm
提供的微博新闻摘要数据（从中随机挑选10000篇作为训练集，1000篇作为测试集）测试了下GPT2，发现rouge-1只有不到20%，而UniLM给出的结果有40.58%，请问这大概是什么原因？是GPT2的效果就是不好吗

[liucongg]

大佬你好，我用https://github.com/YunwenTechnology/Unilm 提供的微博新闻摘要数据（从中随机挑选10000篇作为训练集，1000篇作为测试集）测试了下GPT2，发现rouge-1只有不到20%，而UniLM给出的结果有40.58%，请问这大概是什么原因？是GPT2的效果就是不好吗

需要使用哪个数据训练一下，在测试呀。而且解码规则是不一样的，unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码。

并且，本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮。unilm模型是预训练过，有继续再那个数据微调之后的结果。

[xdnjust]

谢谢大佬回复，针对您的回复，我再问细点：

1. “需要使用那个数据训练一下，在测试呀。”———我现在是在GPT2预训练模型的基础上做微博摘要数据的finetune，您这句话的意思就是这个吧？还是说先用微博摘要数据做预训练，再用微博摘要数据做finetune？
2. “unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码”————是不是这里解码改成beam search，最后rouge的效果会好点？
3. “本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮”————我看了下你GPT2训练是用的更大的微博数据，unilm那个微博数据是简化版本，我测试得到rouge20%这个结论用的数据是和unilm一致，为了对比
4. 能不能给一些GPT2提高rouge的建议？
   感谢大佬！

[Sixy1204]

谢谢大佬回复，针对您的回复，我再问细点：

1. “需要使用那个数据训练一下，在测试呀。”———我现在是在GPT2预训练模型的基础上做微博摘要数据的finetune，您这句话的意思就是这个吧？还是说先用微博摘要数据做预训练，再用微博摘要数据做finetune？
2. “unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码”————是不是这里解码改成beam search，最后rouge的效果会好点？
3. “本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮”————我看了下你GPT2训练是用的更大的微博数据，unilm那个微博数据是简化版本，我测试得到rouge20%这个结论用的数据是和unilm一致，为了对比
4. 能不能给一些GPT2提高rouge的建议？
   感谢大佬！

回复2. 我写了一个beam search解码效果还可以，rouge能到40%

[cuiliying]

请教一下有没有代码可以参考下呀

[QuentinAI]

谢谢大佬回复，针对您的回复，我再问细点：

1. “需要使用那个数据训练一下，在测试呀。”———我现在是在GPT2预训练模型的基础上做微博摘要数据的finetune，您这句话的意思就是这个吧？还是说先用微博摘要数据做预训练，再用微博摘要数据做finetune？
2. “unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码”————是不是这里解码改成beam search，最后rouge的效果会好点？
3. “本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮”————我看了下你GPT2训练是用的更大的微博数据，unilm那个微博数据是简化版本，我测试得到rouge20%这个结论用的数据是和unilm一致，为了对比
4. 能不能给一些GPT2提高rouge的建议？
   感谢大佬！

回复2. 我写了一个beam search解码效果还可以，rouge能到40%

大佬请问有没有开源代码参考呢？