BERT发展史(三)全方位多角度理解Word2Vec 发表于 2019-02-25 | | 阅读次数: 字数统计: 9.2k | 阅读时长 ≈ 0:09 建议先阅读之前两篇文章: BERT发展史(一)从词嵌入讲起 BERT发展史(二)语言模型 0. 写在前面在上一篇介绍的神经网络语言模型中,我们训练模型的目标是得到一个泛化能力强、无需平滑的语言模型,而词向量只是我们在训练语言模型过程中的一个副产物,这个副产物可以起到词嵌入的作用,将语料库中的词语映 ... 阅读全文 »
BERT发展史(二)语言模型 发表于 2019-01-22 | | 阅读次数: 字数统计: 5k | 阅读时长 ≈ 0:05 0. 写在前面上一篇文章中主要介绍了基于统计方法的词嵌入,这些方法都是使用很长的向量来表示一个词语,且词语的“含义”分布在高维度向量的一个或少数几个分量上(稀疏)。这些方法的主要问题在于用于表示词语的向量维度过高且非常稀疏,并且无法很好的表征词语的含义。那么一个理想的词向量应该是什么样呢? 想象一 ... 阅读全文 »
BERT发展史(一)从词嵌入讲起 发表于 2019-01-18 | | 阅读次数: 字数统计: 4.1k | 阅读时长 ≈ 0:04 0. 写在前面要说NLP最近最火的是什么,那必是BERT无疑了。强悍如BERT,在十多项NLP的任务上强势屠榜,业界声称BERT将开创NLP领域新的纪元。在BERT刚出来的时候,就在各种公众号上看过各种原理解释,但一直没有去认真研究论文。后来在PaperWeekly公众号上阅读了万字长文《NLP的 ... 阅读全文 »
写给20届毕业生的求职指南 发表于 2019-01-17 | | 阅读次数: 字数统计: 2.7k | 阅读时长 ≈ 0:03 0.写在前面记得去年的这个时候,我还在为求职感到迷茫。这份迷茫,一部分原因是对自己能力和定位认知的不足,还有一部分原因是对即将到来的春招和秋招所知甚少。为此,也咨询了一些师兄师姐,提前获取了一些资讯。如今,经过2018年春招、实习和秋招的洗礼,再回头看,一些信息和注意点已经变得显而易见。但我相信2 ... 阅读全文 »
深度学习服务器完整配置指南 发表于 2019-01-17 | | 阅读次数: 字数统计: 8.1k | 阅读时长 ≈ 0:08 最近实验室配了一台深度学习服务器,服务器刚到时基本上只装了 ubuntu 操作系统,所以我也基本上是算从头配置了一台深度学习服务器。现将配置过程记录于此,以便帮助他人和方便交流。 首先,我的深度学习服务器的配置为: ubuntu 14.04 操作系统,16.04 应该也是一样的 Anaconda ... 阅读全文 »
Python 文本编码 发表于 2019-01-17 | | 阅读次数: 字数统计: 5.7k | 阅读时长 ≈ 0:06 转载请注明出处:Python文本编码 相信大家都碰到过令人头疼的python编码问题,比如:'ascii' codec can't decode byte UnicodeDecodeError: 'utf-8' codec can't decod ... 阅读全文 »
机器学习算法系列(1)- 逻辑斯蒂回归 发表于 2018-01-21 | | 阅读次数: 字数统计: 4.7k | 阅读时长 ≈ 0:05 转载请注明出处:https://zhuyuhe.github.io/2018/01/21/%E6%B5%85%E8%B0%88%E9%80%BB%E8%BE%91%E6%96%AF%E8%92%82%E5%9B%9E%E5%BD%92/ 博主即将开始求职之旅,于是搭了这个博客,将备战春招和秋招 ... 阅读全文 »