SEWM2008中文Web信息检索评测主题型网页和网页内容信息块发现任务评测报告
SEWM2008中文Web信息检索评测 主题型网页和网页内容信息块发现任务评测报告
朱磊 2008-3-25
一、参赛队伍七支,共提交12个结果
1、大连理工大学信息检索实验室 DLUT1 DLUT2 2、四川大学计算机学院数据库与知识工程研究所 SCU1 SCU2 3、华南理工大学广东省计算机网络重点实验室一队(蔡捷飞等) SCUT1 SCUT2 4、华南理工大学广东省计算机网络重点实验室二队(魏本洁等) SCUT3 SCUT4 5、山东大学信息检索实验室 SDU1 SDU2 6、人民大学信息学院 RUC 7、北京大学网络实验室 PKU
二、主题型网页发现任务
在所有71502个网页中,有71281个不重复URL。
在这71281个网页中,随机抽取了300个URL,人工判断其类型。由于在评测指南中没有给出主题型网页的具体定义,容易有不同见解,所以在300个URL中去除了部分混合型以及不易判别类型的网页,共得到227个确定类型的网页,其中包括138个主题型网页,89个非主题型网页,主题型网页数目/非主题型网页数目 = 1.5505618,经验证,大致符合原网页集中的类型分布。
利用该227个网页,评测各组参赛数据。计算公式如下:
Macro-Precision = 各组主题型网页判断正确的数目 / 各组认为是主题型的网页总数 Macro-Recall = 各组主题型网页判断正确的数目 / 实际的主题型网页总数
Macro-F1 = 2* Macro-Precision * Macro-Recall / (Macro-Precision + Macro-Recall)
虽然我们的样本数偏少,但由于样本中的类型分布大致符合原网页集中的类型分布,所以评测结果基本反映了各组的实际分类质量,只不过没有形成明显差距。华南理工一队和大连理工的分类质量相对最佳,而人民大学和山东大学提交的三个结果,分别将71502个网页中的66498、56509、55111个判断为了主题型网页,过高地估计了主题型网页的比例,从而大大降低了精度,但值得一提的是,山东大学提交的结果2获得了最高的召回率。
评测结果如下:
SEWM2008中文Web检索评测闫宏飞 School of EECS, Peking University 4/13/2008 内容 ? 评测任务介绍– Task1:主题网页发现和网页内信息块发现 – Task2:非网页...
(约570万个中文网页),完成 以下两个任务: 主题提取 对于一个特定主题发现一组...SEWM2008中文Web检索评测... 35页 免费 SEWM2009中文Web检索评测... 23页 免费...
规模中文网页信息检索测试集 CWT(Chinese Web Test ...(Topic Distillation, 主题提取任务) HPNP 和 任务(...结果及评测大会上的技术报告等,另外我们还提供了链接...
TD任务主题提取目的是对于一个特定主题发现一组关键资源。注重以站点入口作为关键...SEWM2008中文Web信息检索... 4页 免费 Web检索评测 21页 免费 中文WEB检索 27...
组织了主题型网页识别和网页主题内容信息 块提取两个中文 Web 信息检索评测项目...25 4.3.1 主题型网页发现任务评测结果 ... 26 4.3.2 网页内容信息发现任务...
SEWM2008中文Web信息检索... 4页 免费 添加网页内容 暂无评价 4页 免费 2008...第8章 向网页添加内容学习如何向网页中添加图像、FLASH和 文本等 向网页添加...
SEWM2008中文Web信息检索... 4页 免费喜欢此文档的...710个网页,包括网页内容和Web服务 器返回的信息,...Peking University 目的是对于一个特定主题发现一组关键...
SEWM2008中文Web信息检索评... 4页 免费 Web检索评测 21页 免费 中文WEB检索...评测任务的设定– 主题型网页发现任务和网页内容信息块发现任 务,没有继续 ...
3检索评价 4 Web 信息获取算法 5 索引建立 6 基本运算算法 7 网页排序 8 分类...web directories 按主题来对所选择的Web文 献进行分类 (browser) ? 利用hyper...
大规模中文网页信息检索测试集CWT(ChineseWebTest ...评测有两个任 务:TD任务(TopicDistillation,主题提取...在2004年6月搜集获 得5712 710个网页,包括网页内容...
Web信息检索系统中的网页... 暂无评价 6页 1下载...信息组织、存储与检索 评价任务示例系统&查询 系统1...包括网页内容和Web服务器返回的信息 ? 真实容量为...
热门文档