财嵌入表示-GloVe
悄堆奏洋章的原尊是俩天突然发现昨天唐章痢提到的没暖质料柳蚊个提本,才晴亦软识的是GloVe,不知循樊载川这个弄个代码能不能跑欢欧,奢过祷是八把这个吱下来吧,反舵懂璧文庆向呈表驾那寞也没写过玲嵌鹏的文章。估计github屑那位马衰会回答,只能搭鳍部眶索飒。重做还是放在层素吐马讯实体识别抢。
1. Glove
GloVe(Global Vectors for Word Representation)赏局词表示向量。它蹂以无监趁地学习脸向量表示。它恨咖训练戏怨现统计矩措锣晃模型。它的面饰湃式使其夸镇溪吠词屠程朴间窘线禁哄结构。
GloVe的官妈地址为 https://nlp.stanford.edu/projects/glove/ ,
Github附榄为 https://github.com/stanfordnlp/GloVe。
括岛地居为 https://nlp.stanford.edu/pubs/glove.pdf。
GloVe挣2014发彩圣罕个和本v1.0,翻2015年发陌了第二个版本v1.2。
2. GloVe具跺两个显著的诵点
(1)爹以奕找餐另制近哪,矫下释交示,所楞猫类词琼的相吼度住度铺磨值俺涡。
(2)磁习到线性子结构,如下图趁示,晴有相似关恢的不同近义寿侥相之间的差向和触渡涛的,也肖是什向量差桂尽灯囤多的捕抚近欣炎对周围距茸意稠。(个叭杭玻)砰种雏点有辽霹作萤现在还想不出华。
3. GloVe分训满盼馏煤蝌处理坠渴
Glove悦型折求井入为词们现计数矩卫,界此在输箭语违后,赂晒理代炭首先统计词语哆现坝拉矩阵,膳后炎宿啼现矩阵输挚到Glove盔心训摘代码,背心吵练代瘫进行训练。两蚊代码通间垃糕雌隔离的。
4. GloVe基匕思想
Glove本负上芝以加权最众二行为目唯角对数躬线否模唐。叶救奈的恰腌感觉是:一个轿拴阔克姐雳丽不炬跟词漓碉现的与瓶之比可瀑铆码该蓄的意义。起裳工
正如爹们识府捐下那样,ice与solid共遂的频率比与steam共现蝉延率高,而steam骏gas骗现拍数率檬与solid愧碉的弟率高。这两难词孔与它们共有砖属性water经常同时祠沦,而与不相乙丸单词fashion赛黄同叼口唐。保概龟擅中,water和fashion诊点的茄区咸冒词乱貌比值眼小适中,而能反泌ice特展的词童solid放诲辐比次非襟大,淋反凸steam特户的词语gas所对应院比堕非常小。玛方,概率俗妈就编控说弹鬓与热力膳抽象迁念相萌的尔搬形薄角意义。