针对传统字频统计方法周期长、代价高的弱点,提出了一种利用互联网内容并借助搜索引擎检索进行汉字模糊字频统计的全新方法,有效利用了网络时代的相关技术和发展成果,在一定程度上缓解了字频统计需求频繁的和传统统计方法的低效且代价高昂之间的矛盾,同时对该方法进行了实例化的分析、验证和改进。
计算机工程与设计 C m u r ni en d e g o pt E g er g n D s n e n i a i
2 1, 2 00 1() 3
43 4
开发与应用
基于搜索引擎的模糊字频统计 李世明,李 铮苑志伟 尤枫。赵恒永, ,, (.中国石油化工股份有限公司催化剂分公司,北京 10 1;2 1 0 0 1 .一零二四互动营销顾问 (京)有限公司,北 北京 10 2;3 0 09 .北京化工大学信息科学与技术学院,北京 10 2 ) 0 0 9 摘要:针对传统字频统计方法周期长、代价高的弱点,提出了一种利用互联网内容并借助搜索引擎检索进行汉字模糊字 频统计的全新方法,有效利用了网络时代的相关技术和发展成果,在一定程度上缓解了字频统计需求频繁的和传统统计方法的低效且代价高昂之间的矛盾,同时对该方法进行了实例化的分析、验证和改进。
关键词:中文信息处理;模糊字频统计;搜索引擎;互联网;汉字字频 中图法分类号: P 9 T 31文献标识码: A文章编号:0 07 2 2 l) 20 4—4 10。04(o o 0—4 30
F z y fe u n y sait so i e ec a a tr a e n s a c n ie u z r q e c tt i f sc Ch n s h r ce s s do e rh e g n b LIS i ig, LI e g, YUAN iwe YOU e g, ZHAO n— o g h— n m Zh n Zh— i, F n He gy n
(.C i e oem dC e cl op rt nS o e a l t o ay B in 0 0 C ia 1 hn P t l a r u a h mi roa o i p c t y mpn, e ig10 1, hn; n aC i n C a sC j 1 2 4It at e re n o sl n B in ) C t, e i 0 0 9 hn; .12 e c v kt g nu a t( e i 0 n r i Ma i C t jg o d B in 10 2,C ia L jg 3 co l fnoma o c n e n eh ooy B in ie i f hmi l eh oo y B in 0 0 9 C ia .Sh o o f I r t n i c dT cn lg, e ig v r t o e c c l, e ig10 2, hn) i S e a j Un sy C aT n g j
Ab t a t Co s e i g t e t d t n l e u n y sa i i smeh d a e d a a k a y t k o g rt n i h rs e dn, a sr c: n i r a i o a q e c t t tc t o sh v r wb c st t d n h r i r f s h ma el n e i a d h g e p n i g a me b a d n w y o z y fe u n y s tsiso i e e c a a tr r s n e y u i zn o tn f n e t n ey n n s a c n r e wa ff z q e c t it f n u r a c Ch n s h r ce s sp e e t d b t ii g c n e t t me d r l i g o e r he— i l o I a gn s T e ti e r e h e meh dr l v s h c n it n yb t e x e sv e n f e u n y sait s n e e t e e s i e . oac r n d g e e w t o i e ei o sse c ewe ne c s i ed ma do f q e c t i di f ci n s, a t n ee t n r t sc a n v e p n i e e s f r d t n l t t t a eh d x e sv n s ta i o a i i l t o .M e wh l,t e n l ss v rfc t na di r v me t f h s e me h da ed s u s d o i s sc m a n a i e h ay i, e i ai n a i o mp o e n t i w t o r ic s e o n b sn r t t p . yu i g ap o oy e Ke r s Ch n s f r ai n p o e s f z y fe u n y sait s s ac n i e I tm e; Ch n s h r ce sfe u n y y wo d: ie ei o m to r c s; u z q e c ttsi; e r h e g n; n e t n r c i e ec a a tr q e c r
0引言 众所周知,字总体数量庞大,汉像清朝的《熙字典》康收录 有 4 5字、湾的《文大字典》录了 4 9 5字、陆 73个 0台中收 9 0个大的《语大字典》收录了 5 7个字“但人们在书写、版、汉则 46 8 ,出
1汉字字频统计的发展及新方法的提出 11
汉字字频统计 . 所谓汉字字频就是一个汉字的相对使用频率,就是一也
个汉字使用次数与所在统计材料总字数的比例“字频的高低 ,直接反映了这个汉字的使用价值和生命力。汉字字频统计是中文信息处理基础研究中的重要组成部分,它为国家文字标准的制定提供了重要的科学依据,为涉及中文的信息系统字库配备提供了坚实的理论基础。例如在中文信息发展史上必将占有一席之地的“笔字型”是参照字频高低和组字能力五正 优劣选择了 10个字根开发而成的。 3
交流等日常活动中常用的字种只有几千个,们所记录的语它 素都具有很强的构词能力,构成汉语基本词汇的基础,能是也
够满足现代汉语的基本需求。我们可以基于大批量语料文字使用频度的统计与分析来确定这数千个文字。为中文信作息处理研究中的核心组成部分,字字频统计对人们的日常汉活动诸如出版印刷、息交互等都有着潜在而重要的影响。信 文章将对汉字字频统计做一个简单回顾,时提出一种基于同互联网内容和搜索引擎检索的新的字频统计方法,这一方对 法的实例化验证和改进,对这一方法的意义进行阐述,发并对展前景做出展望。
有迹可循的第一次汉字字频统计是 l 9世纪中叶美国传教士姜别利为改良华文排字架而做的。“首先以美华书馆他印刷的《旧约全书》 2书中使用的汉字为依据,行汉新等 8本进
字使用频度之检测,并根据所获得的统计资料( 2册书、 16在 8 46
收稿日期:20 .—3 090 0;修订日期:2 0—4 9 2 090—。 2 作者简介:李世明 (9 0 ) 18 -,男,山东德州人,硕士,研究方向为基于网络数据库的应用、E P信息系统、网络搜索引擎、信息安全技术;李 R 铮 (9 8,男,河南南阳人,硕士,研究方向为基于网络数据库的应用、大型软件测试及工作流软件开发;苑志伟 (9 9,男,河j安平 17一) 16一) E人,硕士,高级工程师,研究方向为信息管理系统、信息安全技术、化学工艺;尤枫 (9 3,男,辽宁沈阳人,硕士,讲师,研究
方向为信 16一)
息安全技术、信息管理系统;赵恒永 (90 )男,河北人, 14 -,教授,研究方向为企业实时信息系统平台、生产过程监控、数据挖掘与智能决策。 E mal aoe n i@ 16Gm— i:np lo wn 2 . o

文通过统计文本的字频, 模糊聚类 该用 分析的方法动态地给出文本的聚类, 经过...S# 的运动估计搜索算法/Q1$通信学报, S$胡琳蓉, 参考文献 H$Z:* V@:37...
红楼梦搜索引擎策略_IT/计算机_专业资料。红楼梦搜索引擎策略能够实现 1,当前...7, 能够实现 1,文本字频统计 2,实现分词和词频统计 3,句长统计 4,句型统计...
实际上确实因人们标准的不同而存在模糊地带的, 这或许是张、 江两种统 计有...由于字频视角的 “四书” 分布统计总是要以字形为基数的同类统计为前提的, 而...
甲在 语言符号的模糊性: 语言符号的模糊性:(语言符号的模糊性使得语言与模糊...运用统计方法研究字频 常用字的统计工作 频率大小的不同表明在数以万计的汉字中,...
第一节 汉字的字频字频统计: 1、《语体文应用字汇》 2、《汉字频度表》、《... 改变了原有的偏旁系统 增加了形近字 造成表意的模糊 削弱了音符的表音功能 ...
模糊掉视频上的字幕,方法:视频轨导入视频,覆叠轨也要导入 这个视频。我们所要做的是覆叠轨的这个视频经过修剪和加模糊滤 镜,是覆叠轨的视频字幕模糊,覆叠到...
subpos=-1 #搜寻字幕时调整匹配模糊度。0 精确匹配...终端打印一些回放后的 CPU 使用率和丢帧数的统计...#v=3 #屏幕状态显示级别,0-仅字幕,1-音量+搜索...
模糊掉视频上的字幕,方法:视频轨导入视频,覆叠轨也要导入这个视频。我们所要做的是 覆叠轨的这个视频经过修剪和加模糊滤镜, 是覆叠轨的视频字幕模糊, 覆叠到...
围绕模糊 匹配思 想论证面 向特征 串的中文 网页...文献 [ 7] 则提 出一 种以字频为基础的特征串...设计搜索引擎系统已 成为满足大 型搜索引擎检索需求 ...
(值 汉字的 w 字频分布 、汉字的词频分布和二元对分布也都符合 zp定律 。 统计 ,if据 在建 立 的索 引 中有 1 %的较 常用字 , 但它们的大小却 占了...
热门文档