有没有替代方法可以在内存中完全加载预训练的词嵌入？

Question

我想在我的机器学习模型中使用预训练的词嵌入。我拥有的嵌入文件这个词大约是 4GB。我目前在字典中将整个文件读入内存，每当我想将一个词映射到它的向量表示时，我都会在该字典中进行查找。

内存使用率非常高，我想知道是否有另一种使用词嵌入的方法，而无需将整个数据加载到内存中。

我最近遇到了 Python 中的生成器。他们可以帮助我减少内存使用吗？

Answer 1

你有什么任务？如果这是基于相似性的任务，您可以简单地使用load_word2vec_formatgensim 中的方法，这允许您传入加载向量数量的限制。Googlenews 集中的向量按频率排序，这将为您提供关键向量。这在理论上也是有道理的，因为频率较低的词通常具有相对较差的表示。