第3 3卷第 6期 2 0 1 3年 6月
湖北科技学院学报 J o u r n a l o f Hu b e i Un i v e r s i t y o f S c i e n c e a n d Te c h n o l o g y
Vo 1 . 3 3, No . 6
J u n . 2 0 1 3
文章编号: 2 0 9 5- 4 6 5 4( 2 0 1 3 ) 0 6- 0 0 3 7- 0 2
基于 S p h i n x+My S q l+P y t h o n
的站内搜索引擎的设计与实现 周安 (湖北科技学院 网络管理中心,湖北 摘
咸宁 4 3 7 1 0 0 )
要:目前站内搜索引擎已经逐渐成为 w e b应用领域的热点.本文根据 S p h i n x、 My s q l系统结构和运行特点,以
P y t h o n语言为例,提出一种通用的 w e b站内搜索引擎的构建方法.对于基于 L i n u x+A p a c h e+M y s q l (或P o s t— g r e S Q L )构架、 D i a n g o等开源技术构架的 w e b网站,该方法在不改变现有网站构架的基础上可以很便捷的构建一
种性能优越的站内搜索引擎.
关键词: S p h i n x;站内搜索引擎;中文分词 中图分类号: T P 3 9 1 My S q l数据库与分词
文献标识码: A
间、高结果相关度的全文搜索功能. S p h i n x可以与 S Q L数据库和脚本语言集成. S p h i x的主要特性: n
目前国内外成熟的的 We b框架中, L A M P( L i n u x— A— p a c h e—My S Q L— P HP )、 D j a n g o等较为常见 .与J 2 E E( J a v a 2 P l a f t o r m, E n t e r p r i s e E d i t i o n即 J a v a 2平台企业版 )架构相比,
( 1 )支持布尔、短语、词语相似度等多种检索模式,支持多文档多个全文检索字段,支持多文档多个额外的属性信息检索. ( 2 )高速地建立索引 (峰值性能可达到 1 0 MB/秒 )、 高性能地搜索(在 2—4 G B的文本数据上,平均每次检索响应时间小于 0 . 1秒 )、海量数据处理 (目前已知可以处
这些构架具有快速开发、轻量、 We b资源丰富等特点,与 w i n/ . N E T架构相比,这些构架具有低价格、通用、跨平台等
优势,因此这些构架无论是质量、价格还是性能都是企业搭
建网站的首选平台.然而在这些网站中,英文领域的站点大多都可以很方便的支持站内全文检索,而真正应用站内中文的全文检索并不多见.大部分中文站点的站内搜索都是针对标题搜索,并且对用户的检索频率和检索权限有着严
理超过 1 0 0 G B的文本数据,在单一 C P U的系统上可处理 1 1 3 0 M文档 ) .
格的设置.造成这种差别的重要原因是网站后端数据库技 术的发展.
( 3 )原生的 My S Q L支持 (同时支持 My I S A M和I n n o D B ),原生的 P o s t g r e S Q L支持,也可以作为 My S Q L、 P o s t ̄ r e S Q L 等的存储引擎提供搜索服务. 目前国内的 C o r e s e e k项目小组针在 s p h i x基础之上开 n
中文与英文在语言体系、语言结构方面存在着极大地 差异,如:英语 (印欧语系 )
语言是以词为基本单位的语言,而汉语却是以字为基本单位的语言.英文分词的原理基本的处理流程是:输入文本、词汇分割、词汇过滤 (去除停留词 )、词干提取 (形态还原)、大写转为小写、结果输出.中文的分词原理是按照词库的匹配和词的频率统计或基于句法、语法的分词 . My S q l从 2 . 3 2 . 2版本开始就支持英文分词的全文检索,而目前的最新版本都不能支持中文分词的全文检索 J . 2 S p h i n x简介
发了 C o r e s e e k项目, C o r e s e e k增强了中文支持 (包括中文分
词、中文编码等) .并根据中文的特点对搜索结果的排序进 行了优化. _ 2 3站内搜索设计目标与系统构架 3 . 1站内搜索引擎设计目标
为实现一个高效的全文检索站内搜索引擎,提供多种检索途径,提高检索速度,同时使检索结果精确,其目标如 下:
S p h nx( i即: S Q L P h r a s e I n d e x )是一个在 G P L v 2下发布
( 1 )以搜索站内内容为目标,用户可以通过该系统搜
的基于 S Q L的全文检索引擎,可以非常容易的结合 My S Q L, P o s t g r e S Q L做全文搜索,它可以提供比数据库本身
索站内所有公开的信息,且提供便
于使用的基于 W e b的查 询接口 ;
更专业的搜索功能,使应用程序更方便简单的实现专业化的全文检索 .‘ 2 j S p h nx特别为一些脚本语言设计搜索 A i P I 接口,如 P y t h o n,P H P,等,同时为 My S Q L, P o s t g r e S Q L也设
( 2 )能够快速反应,并对检索结果根据相关度排序,提高检索质量; ( 3 )提供中文分词,使用户提供检索的效果; ( 4 )以增量的方式进行索引,确保用户能查询到最新
计了一个存储引擎插件.它为其他搜索引擎提供高速、低空
收稿日期: 2 0 1 3—0 3—1 1

中小型网站站内搜索引擎的设计与实现_广告/传媒_人文社科_专业资料。开发案例 ...MySQL 数据库。 和创建文档索引时相比,索引域 id 的值 来源于数据库表中的 ...
站内搜索引擎的一种设计与实现_专业资料。用ASP技术整合access数据库建立起来的动态网站,通过站内搜索系统可以查询某一款手机或具有某项功能特点的手机以及搜索站内...
站内全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。站内全文搜索引擎的设计与实现毕业论文(设计)论文(设计)题目:站内全文搜索引擎的设计与实现 目 录 ...
搜索引擎技术的研究与站内搜索的实现 〔J 〕. 能源 技 术与 管理,2006 (2 ). 李志义,潘振杰 . 站内搜索引擎的一种设计与实现 〔J 〕. 情报 杂志 , ...
中小 型 网站站 内搜 索引擎 的设计与实现 ★ 钟瑞琼 ,周黎 , 韩德 志 (东外语外贸大学思科信 息学 院,州502)广广140 摘 要 :站 内搜 索 引擎 是...
基于Lucene的WEB站内搜索引擎的研究与实现_专业资料。在简要分析搜索引擎基本原理...引擎工具包的系统结构及检索原理设计并实现了一个可扩展、可复用的小型搜索引擎...
利用O方式实现站内搜索引擎页面的提交六GI_IT/计算机_专业资料。利用O方式实现...C程 GI 序可 以用任何程序设计语言编写,Sel如hl 、Pr、ota、aclC、++语 ...
应用搜索引擎的工作原理,设计了一种基于Lucene 的站内搜索引擎系统,实现了站内信...5.以 WindowsXP+Tomcat+JSP+MySQL为开发环境,设计和实现了数码产品垂直搜索引擎...
我要想在某个频道下,搜索指定类型的文章等要求谷歌就不能实现 了.一句话,就... 使用PHP+Sphinx建立高效... 20页 1下载券 php与mysql连接 2页 1下载券 ...
[摘要]劼 ( 中国矿业大学 图书馆技术部, 江苏 徐州 221008) 介绍搜索引擎的相关知识及其工作原理, 而后通过自己设计制作的一具体实例来 详细分析了站内搜索的实现...
热门文档