标签：git 摘要 xuehuiping t5 法研杯 xuehp haomeiya008

环境

ubuntu环境
xuehp@haomeiya008:~/git$ mkdir t5
xuehp@haomeiya008:~/git$ cd t5/
xuehp@haomeiya008:~/git/t5$ source ~/anaconda3/bin/activate
(base) xuehp@haomeiya008:~/git/t5$ conda create --name t5 tensorflow=1.14
conda activate t5
pip install tqdm bert4keras rouge nltk sentencepiece

模型

下载地址见：https://github.com/bojone/t5_in_bert4keras
(base) xuehuiping@192 data % scp -r mt5 xuehp@haomeiya008:~/git/t5/

数据

这里使用的数据是法研杯司法摘要数据集
git/SPACES/data
(base) xuehuiping@192 data % ls
sfzy_small.json sfzy_small.json.zip
(base) xuehuiping@192 data % scp sfzy_small.json.zip xuehp@haomeiya008:~/git/t5/

其他摘要数据集：
（主要是自动标题、短文本摘要）

• CSL 中长文本摘要生成 。
  中文科学文献数据(CSL)，选取 10k 条计算机相关领域论文及其标题作为训练集。
• LCSTS 微博自动标题
• NLPCC 2017
• 娱乐新闻摘要
• 教育新闻摘要

代码

(base) xuehuiping@192 task_seq2seq_autotitle_csl_mt5 % scp x4.py xuehp@haomeiya008:~/git/t5/
https://github.com/xuehuiping/t5/blob/main/x4.py

结果

比较悲催，结果是训练时间太长了，没继续训练。
效果演示参阅 SPACES：“抽取-生成”式长文本摘要（法研杯总结）

标签：git,摘要,xuehuiping,t5,法研杯,xuehp,haomeiya008
来源： https://www.cnblogs.com/xuehuiping/p/14289343.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。