NLP练手项目路线
写在前面:
很抱歉,这个repo我没有精力再往下写了,看到star竟然还在缓慢地增加,每天在愧疚中度过,甚至以泪洗面。
各位大佬有自己写完的demo,欢迎pull给我!!!我会合并进来,并且署名是你。
工具不限,可以tensorflow,也可以pytorch。可以原创,也可以搬运(不能侵权),希望注释详细,和我现有的代码一样。
我们来做一个nlp最全demo合集吧!冲鸭!
——来自一个面对star惶惶不可终日的nlp搬砖实习生
简介
各种NLP练手项目,贯彻注释比代码多的风格,学起来更带劲。博客地址
版本:
TensorFlow 1.4.0
包含内容
1.word2vec词嵌入
词嵌入:基于skip-gram训练词嵌入矩阵,每个词由300维向量表示,相同意义的词向量相似。
在NLP处理中通常会采用词嵌入来表示每个词。
-->项目入口
-->代码详解_视频入口
运行结果 (选取其中一个单词为例,根据词嵌入矩阵计算邻近词)
训练前:
hemoglobin --> alden, vive, deviations, dlp, taj, beauvoir, pillow, allying
有道翻译结果:血红蛋白 --> 奥尔登,vive,偏差,dlp,泰姬陵,波伏娃,枕头,结盟
训练后:
hemoglobin --> ligand, molecules, ligands, photosynthesis, aerobic, enzyme, pancreatic, chlorophyll
有道翻译结果:血红蛋白 --> 配体、分子、配体、光合作用、需氧、酶、胰腺、叶绿素
2.文本生成
风格仿写:学习哈利波特1-7全文,训练结束后给定起始单词(下方运行结果中,给定的起始单词为'Hi, '),由模型自主生成哈利波特风格的句子。
-->项目入口
-->代码详解_视频入口
运行结果
Hi, he was nearly off at Harry to say the time that and she had been back to his staircase of the too the Hermione?
3.字母排序
seq2seq最基础应用,给定单词如bca,使用seq2seq排序为abc。
-->项目入口
运行结果
the input is: hello
the output is: ['e', 'h', 'l', 'l', 'o']
4.摘要生成
seq2seq应用,给定一段话,自动生成摘要。
-->项目入口
运行结果
------------the text is:----------------
Use olive oil to cook this, salt it well, and it is the best, most tender popcorn I have ever eaten. I add a tiny bit of butter to mine, but don't need it. My nine year old daughter didn't like popcorn until she reluctantly tried this. After a few bites, she consumed half the bowl!
I bought mine at a specialty popcorn shop in Long Grove IL, so I didn't have to pay shipping costs, but when it's gone, I might have to bite the bullet and order it from here.",Spoiled me for other popcorn
------------the summary is:-------------
best tasting popcorn ever