仅仅列出提纲和简略描述

Introduction and Word Vectors

Slides

• WordNet
  来自NLTK中的一个工具，可以实现得到词典中同义词等功能
• Discrete symbols
  词向量的离散编码，最典型的就是独热码了，很难使用向量操作计算相似性等更高层次的编码信息
• Distributional semantics
  "A word's meaning is given by the words that frequently apper close-by"
• Stochasitic Gradient Descent
  SGD

Notes

有限的篇幅类讲得非常清楚，我觉得note才是本体。。。

• Keyphrases

  NLP; Word vectors; Singular Valune Decomposition(SGD); CBOW; Skip-Gram; Negative Sampling; Hierarchical Softmax; Word2vec

Suggested Reading

1. Efficent Estimation of Word Representations in Vector Space

   • word2vec和之前的一些方法(NNLM，RNNLM)在参数大小以及模型表现上的对比
   • 用词向量的某些简单的向量操作来衡量其编码语法和语义信息的好坏

2. Distributed Representations of Words and Phrases and their Compositionality

   • 对Skip-gram模型的一些扩充，包括negative sampling(3/4次幂)，subsampling(采样时增加一个词丢弃的概率)
   • phrase learning