基于Sphinx+MySQL的千万级数据全文检索(搜索引擎)架构设计
[文章作者:张宴 本文版本:v1.0 最后修改:2008.07.27 转载请注明原文链接:]
前言:本文阐述的是一款经过生产环境检验的千万级数据全文检索(搜索引擎)架构。本文只列出前几章的内容节选,不提供全文内容。
在DELL PowerEdge 6850服务器(四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存)、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测,单表1000万条记录的数据量(这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段,只有主键,无其它索引),用主键(PRIMARY KEY)作为WHERE条件进行SQL查询,速度非常之快,只耗费0.01秒。
出自俄罗斯的开源全文搜索引擎软件Sphinx,单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。
基于以上几点,我设计出了这套搜索引擎架构。在生产环境运行了一周,效果非常不错。有时间我会专为配合Sphinx搜索引擎,开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件,用来代替MyISAM引擎,以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外,分布式搜索技术上已无任何问题。
一、搜索引擎架构设计:
1、搜索引擎架构图:
2、搜索引擎架构设计思路:
(1)、调用方式最简化:
尽量方便前端Web工程师,只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。
(2)、创建索引、查询速度快:
①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包,在GPL与商业协议双许可协议下发行。
Sphinx的特征:
Sphinx支持高速建立索引(可达10MB/秒,而Lucene建立索引的速度是1.8MB/秒) 高性能搜索(在2-4 GB的文本上搜索,平均0.1秒内获得结果)
高扩展性(实测最高可对100GB的文本建立索引,单一索引可包含1亿条记录) 支持分布式检索
支持基于短语和基于统计的复合结果排序机制
基于Sphinx+MySQL 全文检索架构设计前言: 本文阐述的是一款经过生产环境检验的千万级数据全文检索(搜索引擎)架构。本文只列出 前几章的内容节选,不提供全文内容。 ...
亿级数据的高并发通用搜... 11页 免费 基于Sphinx+MySQL的千万... 7页 ...3 、XX网搜索引擎架构设计: 网搜索引擎架构设计 1、搜索引擎架构图(基于 PHP+...
通用搜索引擎平台标签:搜索引擎、分布式、Sphinx、MySQL、并发 前言: 2008 年 7 月,我写过一篇文章《基于 Sphinx+MySQL 的千万级数据全文检索(搜索引擎)架构设计》...
《基于 Sphinx+MySQL 的千万级数据全文检索(搜索引擎)架构设计》,前公司的分类信息搜索基于此架构,效果明显,甚至将很大一部分 带 Where 条件的 MySQL SQL 查询,都...
基于Sphinx+MySql+Python的站内搜索引擎的设计与实现_互联网_IT/计算机_专业资料。第3 3卷第 6期 2 0 1 3年 6月 湖北科技学院学报 Journal of Hubei ...
Sphinx+MySQL5.1x+SphinxSE+mmseg 中文分词 搜索引擎架构搭建手记什么是 Sphinx Sphinx 是一个全文检索引擎,一般而言,Sphinx 是一个独立的搜索引擎,意图为其他应用...
搭建Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词搜索引擎架构_IT/计算机_专业资料...sphinx 中文全文检索, 它提供了为 Sphinx 前面安装 SphinxSE 设计的中文分词包 ...
对于非结构化的数据搜索也叫做对全文数据的搜索。 ...数量的并发查询 设计一个千万或亿级别的分布式架构.... 基于Sphinx+MySQL的千万... 7页 免费喜欢此文档...
www.665.cn 经过全新改造——强力注入数据库全文搜索引 mysql+Sphinx——已于 2011 年 11 月 11 日全新上线。 出自俄罗斯的开源全文搜索引擎软件 Sphinx,单一索引...
基于Internet的全文搜索引擎的模型设计_信息与通信_工程科技_专业资料。基于...3.3 在索引数据库中搜索“用户”通过提交查询请求给“查询服务器”, “查询...
热门文档