CBOW训练词向量模型的问题
189******30 发布于2020-03 浏览:4315 回复:0
1
收藏

我在用CBOW方式训练词向量模型模型时,loss是慢慢下降的,但是在列出相似度最高的词时发现:每一轮训练后,几个测试的目标词的前5个相似词都是同一批词。打个比方,测试词为wrod,take,think的话得出的,他们每个词的前五个最相近的词都包括one, the, a,即使测试三个词的意义没有任何关联。这是怎么造成的?是每轮训练参数更新得太多了么?或者是因为高频词抑制的不够么?

收藏
点赞
1
个赞
TOP
切换版块