数据挖掘之同义词挖掘

那么问题又来了?同义词词典怎么构建呢?首先,很多人会想到使用word2vec来挖掘同义词,实际上根据word2vec的原理可知,其挖掘的topK相近词其实是基于 共现关系的相关词,并不是只有近义词,因此会出现很大的噪声。使用word2vec挖掘 如上所示,虽然富裕的相近词,富有,富足有返回,但是穷困,平穷也有返回...
数据挖掘之同义词挖掘
在搜索过程中,需要使用同义词来达到提高召回的目的,例如用户搜索:口红,但是商品名称却不含口红关键词,比如商品名为:xxx彩色唇膏。但其实两个词是指代同一产品。那么在用户搜索的时候,就搜不到对应的产品。这时可以 同义词词典来解决这个问题,使用Elasticsearch做搜索引擎,在query和索引数据时,先将query和doc分词,然后使用同义词替换,将特定词替换成同义词索引。

如:同义词词典 口红 => 彩色唇膏 彩色唇蜜

那么问题又来了?同义词词典怎么构建呢?

首先,很多人会想到使用word2vec来挖掘同义词,实际上根据word2vec的原理可知,其挖掘的topK相近词其实是基于 共现关系的相关词,并不是只有近义词,因此会出现很大的噪声。
使用word2vec挖掘

如上所示,虽然富裕的相近词,富有,富足有返回,但是穷困,平穷也有返回,词义恰恰是反义词,因此使用完全无监督的word2vec挖掘近义词效果并不好。
关于word2vec挖掘同义词还有两个思路。

参考:
https://zhuanlan.zhihu.com/p/33942535
https://www.zhihu.com/question/40777785/answer/88189037
http://www.mamicode.com/info-detail-2486542.html2022-07-23
cdw 阅读 45 次 更新于 2025-04-06 19:50:50 我来答关注问题0
  • 首先,很多人会想到使用word2vec来挖掘同义词,实际上根据word2vec的原理可知,其挖掘的topK相近词其实是基于 共现关系的相关词,并不是只有近义词,因此会出现很大的噪声。使用word2vec挖掘 如上所示,虽然富裕的相近词,富有,富足有返回,但是穷困,平穷也有返回,词义恰恰是反义词,因此使用完全无监督...

  •  岩心七 信息挖掘是数据挖掘的同义词吗

    是。数据挖掘(DataMining,DM)又称信息挖掘或称知识发现(KnowledgeDiscoverinDatabase,KDD),数据挖掘又称数据库中的知识发现(KnowledgeDiscoverinDatabase,KDD),是目前人工智能和数据库领域研究的热点问题,数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。

  •  唔哩头条 质量管理基础kdd是什么意思

    1. 数据挖掘(Data Mining)是知识发现(Knowledge Discovery in Databases, KDD)的同义词。它涉及从大量数据中识别出有用、新颖、潜在有价值且最终可解释的模式的非平凡过程。简而言之,数据挖掘就是在大量数据中“挖掘”出知识。

  • anonymous Datamining如何处理分析数据

    与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。---何为知识?从广义上理解,数据、信息也是知识的表现形式,但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉,好像从矿石中采矿或淘金一样。原始数据可以是结构化的,...

  • 挖掘 【读音】:[wā jué]【释义】:1.挖,掏。2.引申为深入开发,探求。【同义词】:发现 挖掘造句 他要取水挖掘红泥,并把它混成稠密的粘土。在轮底下挖掘时,曾经被碎石击伤的不止一两个人。不过,到这时候,大楼已经拆完了,挖掘工作也完成了。他们热爱儿童,热爱动物和音乐,热爱热闹的游戏...

其他近义词类似问题

词典网在线解答立即免费咨询

近义词相关话题

Copyright © 2023 CI.DZLGYX.COM - 词典网
返回顶部