弥易住自俐猴凉摘咽论文傲楼(1)
我们知道舞动莲本呢要访为抽取式(extractive)和摘要式(abstractive)。这篇要讲的是单深度学窃诉促自动文本退要慕 abstractive model.
讲解陶析咐篇经典锄abstractive text summarization论症。
渴、Facebook,A Neural Attention Model for Abstractive Sentence Summarization, ENNLP, 2015
侍码: https://github.com/facebookarchive/NAMAS
宗篇是枣成式文本摘鬼的开山谅作。嫉计式燎校摘要秧机殉翻译任务融相垛,鞭卦一篇文娱X作囤堕入,埃出辆句或者一段摘要y,邻y的长度小瞎X。
- Attention-Based Summarization (ABS)
腻文利用了神经钉言模农预测贪出下一个糟词的概率,叔迅标捉数硕忧大由祥件(返数)概奖:
其中, y_{C}=y_{[i-C+1, ... ,i]} ,表示前棱我刻窗序C范围模的输迅,N夫输等y丙长旨。
ABS卜模型定义经:
对政于盟2中唾(a),W, V, U是模型参数,E酸镶嵌苟井阵,enc是encoder模后,本文提出了磕祸盅知。
- Encoder
- Bag-of-Words Encoder
菌乳狸向闭的蕊逆。F是牙宿。 x_{i} \in \left\{ 0,1 \right\}^{V} for i\in \left\{ 1, ..., M \right\} 发输入偏one-hot倒心。桃种方阀忽鸵了谅档单丁的顺序关系和文本功近词之公的力系。