标签：Github 04 19 标签 py 生成 2021 LSTM 复现
On the Automatic Generation of Medical Imaging Reports （ACL2018） Github源码复现
数据集获取地址：https://github.com/nlpaueb/bio_image_caption
代码地址：https://github.com/ZexinYan/Medical-Report-Generation
文章目录
三个科学问题以及解决方法
研究医学图像报告的自动生成存在以下三个拟解决的关键问题：
①一份完整的报告包含多种异构形式的信息，包括结果和标签；
②医学影像中的异常区域难以识别；
③报告通常较长，包含多个句子。
为解决以上问题，
①建立了一个多任务的学习框架，共同执行标签的预测和段落的生成；
②提出一种共同关注机制，对包含异常的区域进行定位，并为其生成叙述；
③开发一个层次化的LSTM模型来生成长段落。我们在两个公开的数据集上证明了所提出的方法的有效性。
一、贡献和动机
首先，一份完整的诊断报告由多种异构形式的信息组成。如图1所示，胸部X线检查的报告中，impression是一句话，findings是一段话，而tags是一个关键词的列表。生成这个异构的统一框架内的信息对技术有高要求。
① 我们通过建立一个多任务框架，将标签的预测视为一个多标签分类任务，以及将长描述的生成作为一个处理文本生成任务。
② 如何对图像区域进行定位，并为其附加正确的描述是一个挑战。我们通过引入一种协同关注机制来解决这些问题，该机制同时关注图像和预测标签，并探索视觉和语义信息的协同效应。
③ 影像报告中的描述通常很长，包含多个句子。生成这样的长文本是非常不容易的。我们采用层次化LSTM来生成长文本。结合协同关注机制，分层LSTM首先生成高层次的主题，然后根据此主题产生细粒度的描述。
主要贡献如下：
【1】 提出一个多任务学习框架，能同时预测标签并生成文本描述；
【2】 引入一个协同注意力机制去定位图像中的子区域并生成相应的描述；
【3】 建立一个层级的LSTM去生成长段落；
【4】 做大量实验去证明提出方法的有效性。
二、Github源码复现记录
1.IU_xray_images和Peir数据集获取
download this zip：https://github.com/nlpaueb/bio_image_caption
Linux -----Terminal键入：
cd SiVL19
python get_iu_xray.py
get_peir_gross.py
将得到的数据集放入下载好的 https://github.com/ZexinYan/Medical-Report-Generation库的data文件夹下：
2.修改trainer.py中的路径参数
若需要弄明白每个模块的输入输出 进去、/utils/model_debugger.py中运行
执行模块的顺序为：
视觉特征提取器->多标签分类器->协同注意力->句子LSTM->语言LSTM
对应的特征维度也都有相应输出
Terminal 键入 python trainer.py运行
写每batch后print对应的loss如下：
总结
跑了300 epoch的 测试集评价Bleu@1,2,3,4 METEOR, ROUGE-L，CIDEr的结果如下。。。
（没有复现出Github上面的结果，而且还异常的差。。。欢迎复现了的同学一起讨论提问）
标签：Github,04,19,标签,py,生成,2021,LSTM,复现 来源： https://blog.csdn.net/weixin_44384749/article/details/115871734
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。