文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > Google与百度的中文分词技术对比
侵权投诉

Google与百度的中文分词技术对比

中文分词是百度和谷歌的核心技术之一,因此不会将细节公之于。中华论文联盟只能利用黑盒方法进行推导,也即通过输入检索提问,查看结果情况,并通过两个搜索引擎都具备的网页快照功能查看各自对检索提问的分词情况。

第一,推导百度的中文分词技术

第1个例子说明,如果对检索提问用引号做精确检索,百度对其不进行分词运算。例2说明,如果输入用空格进行分割的若干个子字符串,百度对其自动做分词处理(如果用标点符号分割,也会做自动分词处理)。例3、6、7、8、10等都说明百度对检索词会进行多种切分方式,并且首先是不进行切分,直接匹配,如果有结果则返回,并排在检索结果最前面;然后再按照不同形式切分之后再去匹配。 例4对“比尔盖茨”的检索表明,百度有专有名词库,例5对“旭日阳刚”的检索表明,百度对新词收录较快。例9“旭日阳刚才”的分词结果为“旭日阳刚/才”也说明,百度对新词能够识别。

例11“大长今天天向上”,百度能够识别出“大长今/天天向上”,“大长今”为一韩剧名,“天天向上”为一综艺节目,百度均能正确地识别,表明其词库收词范围很广,收词量很多。例7、8说明,百度对在分词时不会忽略“的”、“和”这些意义不大的字(即禁用词),可以做更多的尝试,百度对“了”、“吗”等都不会忽略,仍作为检索词进行分词。

再探讨百度是正向最大匹配还是逆向最大匹配。例7中,对“走路和气质”可以分出“走路/和/气质”,这种结果像是逆向最大匹配法,再看例12,“分居民生活水平”,如果逆向最大匹配法的话应该是应该分为“分/居民/生活水平”,但事实上百度对这个检索提问的分词结果并不如此,在这个例子上看似为正向分词。因此,百度的分词不是单纯的正向最大匹配或者逆向最大匹配,采用的应该是双向最大匹配法。

通过有多种划分方式的例子(比如例8),可以看出,百度首先是不进行分词,得到“朱德的母亲”,然后再识别出专有名词或新词,剩余部分又按照先不切分的方式,得到“朱德/的母亲”,然后用最少切分法原则,并且用到了3元交叉切分法得到了“朱德的/的母亲”。

第二,推导谷歌的中文分词技术

例1说明,对于引号中的检索提问,谷歌不进行拆分;例2说明,用空格分开的子字符串,谷歌自动做分词处理(如果用标点符号分割,效果也一样)。

第1页

你可能喜欢

  • 中文分词算法
  • 百度搜索引擎优化指南
  • 搜索引擎技术
  • Google搜索
  • google学术搜索
  • 信息检索

热门文档

相关文档

  • 【论文】百度和谷歌的中文分词技术浅析

    百度和谷歌的中文分词技术浅析_专业资料。中文分词技术对搜索引擎、用户以及搜索引擎优化有着重要的影响,本文旨在通过实例检索,推导两个最常用的搜索引擎即百度和...

  • 百度和谷歌的中文分词技术浅析_免费下载

    即刻与百度中文分词技术的... 暂无评价 2页 免费 Google与百度的中文分词技.... 百度和谷歌的中文分词技术浅析研究搜索引擎的中文分词技术,不论是对用户检索,...

  • 从谷歌与百度的对比看互联网态势

    从谷歌与百度的对比看互联网态势_财务管理_经管营销_专业资料。谷歌与百度 1.技术上的比较:百度在中文分词技术上有一定优势,Google 也在不断改进中;Google 从...

  • 实例分析谷歌的中文分词

    Google的搜索结果页相关性要高百度,因为Google使用关键字完全匹配和关键字分词匹配...(亿邦动力网讯)百度作为第一大中文搜索引擎,它的分词技术一直都有很多人在研究,...

  • 百度和Google的比较_免费下载

    技术上的比较:百度在中文分词技术上有一定优势,Google 也在不断改进中;Google 从搜索准确性、多个关键词相加的搜索速度 上都很有优势,百度缺不太理想;百度的蜘蛛...

  • google与baidu的比较

    技术上的比较: 百度在中文分词技术上有一定优势,Google 也在不断改进中;Google 从搜索准确性、 多个关键词相加的搜索速度上都很有优势,百度却不太理想;百度的...

  • 百度与GOOGLE分析比较

    百度与GOOGLE分析比较_IT/计算机_专业资料。不错百度与 Google 比较分析 一....三,百度与 Google 的产品差异: (1)技术上的比较:百度在中文分词技术上有一定...

  • 百度和谷歌谁更看重SEO优化中分词技术分析

    百度和谷歌谁更看重SEO优化中分词技术分析_互联网_IT/计算机_专业资料。SEO优化中百度分词技术分析 为什么 ? 现在的搜索引擎越来越智能化了,然而对于那些熟 悉SEO...

  • 搜索引擎技术揭密:中文分词技术

    搜索引擎技术揭密:中文分词技术 信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的...

  • 百度分词技术

    这些技术细节,作为商业公司的搜索引擎服务提供商比如百度,GOOGLE等是不会公之于...二、中文分词首先,讲讲百度的分词时机或者条件问题,是否是个中文字符串百度就拿来...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email