在分析主观题的考试目的和答题特点的基础上.提出以考题相关知识点为基础的自动评分更加灵活,更符合主观题答案多样性的要求.
薯霎弘澄爵lllU《
主观题自动批改技术的研究与实现
张燕霞
(乐山师范学院计算机科学与信息工程系四川乐山614004)
【摘要]在分析主观题的考试目的和答题特点的基础上.提出以考晨相关知识点为基础的关键词以及各个关键词之间的逻辑关系匹配方法来实现自动评分,使
自动评分更加灵活,更符合主观题答案多样性的要求。
[关键词】主观题自动批改关键词逻辑关系中图分类号:TP3
文献标识码:^
文章编号:
一、引膏
国内主观题自动批改的研究刚刚起步,真正实用的系统还没有。高思丹[1]等人将“语句相似度”计算方法应用于文字类主观题的自动批改。李辉阳[2]等人则提出以基于关系的带权匹配技术实现CAI中简单论述正误的判定。以上这些方法,在主观题自动评分方面取得了很大的突破,具有很重要的意义。
文章在对已有算法研究的基础上针对简单文字类主观题(简单问答题)自动批改问题,提出了一种基于关键词及其逻辑关系的主观题自动批改算法,下面对该算法的主要思想、相关问题的处理方法及评分具体过程进行阐述。
二、算法的主一思想置其实理(一)算法的主要思想
主观题的考试目的主要是考查学生对相关知识点或理论的正确理解,要求学生就题目涉及的基本知识点和相关概念进行简单论述,因此,只要考生答案切中问题所考查的相关知识点或者说正确答案的要点,并且各要点问的逻辑关系正确,即可以给分,不要求学生答案与标准答案完全一致。根据这一特性,我们可以根据题目考查的相关知识点,定义关键词以及各个关键词之间的逻辑关系,并给出关键词和逻辑关系所占的分值,然后按照这些评分规则对考生答案进行评分。关键词的正确率说明了考生对相关知识的了解程度,关键词之间的逻辑关系则说明学生对这些知识点是否准确理解,这种评分方式更符合考试的目的。
(二)关键词匹配
进行评分时首先将每道题能决定该题答案的关键词逐一找出来,存放在答案库的关键词数组中,然后逐一在考生答案中查找这些关键词。根据评分的严格程度,关键词匹配时可以设置一个关键词阀值kO(O<kO≤1),当关键词的字符正确率低于该阀值时,该关键词得分为0。为了扩大匹配范围,在建立关键词数组时,建立关键词对应的同义词数组,评分时,如在考生答案中搜索不到关键词,则可以搜索其同义词。另外,如果考生答案中存在否定意义的词,那么在否定词之后的关键词即使匹配正确也不能得分。假设某试题分数为SO,关键词在该题中所占分值的比例为P(O≤P≤1),该题有n个关键词,每个关键词的分值为(SO×P)/n,关键词的阀值为k0,第i个关键词的得分权值(正确匹配的字符数/该关键词的总字符数)为Ki(I≤i≤n)则关键词匹配部分的评分公式可以定义如下:
S=
K。∑m
k
×,LSO×P)
n
当Ki<KO时,Ki的值为O;当Ki≥Ko时,Ki的值为Ki。(三)逻辑关系匹配I.关系描述
在用问题所涉及的知识点组成的关键词组来描述概念时,关键词之间并不是完全独立的,它们存在着一定的逻辑关系。本算法将关键词之间的逻辑关系划分为三种:并列关系(备关键词相互独立。位置没有任何约束
)、顺序关系(各关键词存在先后顺序)和依赖关系(由修饰词和中心词
构成,只有中心词出现,修饰词才有意义)。
2.关系的划分
简单问答题的答案组织方式一般是由几个得分要点组成,每个要点
可以由一条或多条语句组成,每个得分要点的语句又由若干个关键词组成。各个得分要点之间属于并列关系。每个得分要点的关键词之间则包含
回
并列,顺序和依赖关系。下面给出具体的逻辑关系划分规则:
(I)按照得分要点将语句进行分组,每组包含一个得分要点的所有语句。
(2)将组内具有先后顺序的关键词建立顺序关系表,具有修饰和被修饰关系的关键词建立依赖关系表,具有并列关系的关键词可以不建表,即默认是并列关系。
依赖关系表:中心词>修饰词
顺序关系表:顺序关系编号>关键词顺序序列(关键词1、关键词
2……)
(3)对于关键词之间具有多种关系的嵌套的情况,我们只考虑两种关系的嵌套并做如下处理:
并列关系内嵌套依赖或顺序关系:建立内层的依赖关系表或顺序关系表。
依赖关系内嵌套并列或顺序关系:指依赖关系中的修饰词组具有并列或顺序关系。建立依赖关系表,并指明修饰词的属性为并列或顺序,然后列出修饰词组或序列。如:中心词一>修饰词属性(并列或顺序)>修饰词组或序列。
顺序关系内嵌套依赖或并列关系:建立由依赖关系中心词或并列关键词组组成的顺序关系表。如:顺序关系属性(依赖或并列)>关键词序列(中心词或并列关键词组)。
3.关系优先级和权值计算
在对关键词进行逻辑关系匹配时,为每个逻辑关系设定一个权值参数R(O≤R≤1)来表示该逻辑关系的正确度,不同类型的逻辑关系,其权值计算方法不一样。‘
依赖关系权值计算方法:如果中心词不存在,关系权值直接为0。否则设定中心词权值为I/2,假设有13个修饰词,则每个修饰词权值为1/2n,如:中心词出现且修饰词出现个数为m,则该关系权值为(i/2+m/2n)。
顺序关系权值计算方法:关系由n个关键词组成,顺序正确的关键词为m个,该关系权值为(Ⅲ-1)/(n一1)。
并列关系权值计算方法:假设有n个关键词,实际存在的关键词为m个,则该关系权值为m/n。
假设某试题分数为s0,关键字匹配在该题中所占分值的比例为P(O≤P≤1)。则逻辑关系匹配所占分值为(SO×(I-P)),逻辑关系数量为m个,第i个逻辑关系的权值为Ri(1≤i≤m),逻辑关系匹配部分的评分公式可以定义如下:
皿
sr=>RIX(So×(1一P))/m
』。=J1
三、评分过毫
基于以上分析,本评分算法的主要过程包括定义题目的关键词库及逻辑关系表和根据定义的规则进行关键词和逻辑关系匹配两大部分。具体步骤如下:
I.定义该题的关键词数组及同义词数组,以及关键词所占分数比例和关键词的阀值k0。
2.定义各关键词组的依赖关系表和顺序关系表。
3.进行关键词匹配。计算各关键词得分权值ki并记录各关键词在学生答案中的位置。计算该部分的得分sk。
(下转第47页)
P
外研究现状做了总结和概述,指出了国内外现有的自动批改系统中存在的问题和不足,提出了主观题自动批改技术的另一可行之道——利用HNC(概念层次网络)理论来实现的想法...
在分析主观题自动批改技术的现状和困难的基础上,提出了一种利用中文信息处理中的句子相似度的主观题自动批改算法,并对两种不同的相似度计算方法进行了对比研究,...
21 卷第 4 期 第 刘建舟等 主观题自动批改技术的研究 63 正交词条矢量组就...在线作业管理系统的设计与实现 [J ]. 现代远 [3 ] 陈利人 ,陈群秀 . ...
基于概念图的主观题自动批改技术的初步研究_专业资料。随着计算机辅助教学和计算机网络技术的飞速发展,作为计算机辅助教学的核心技术,主动批改技术成为了近年来讨论的...
主观题的自动批改技术综述陈 伟 (成阳师范学院信息工程学院,陕西成阳712000) 摘要:讨论了国内外主观题自动批改系统以及领域知识库、分词技术、语义相关度的研究...
基于决策树的主观题自动批改方法研究_设计/艺术_人文社科_专业资料。基于决策树的主观题自动批改方法研究 摘要:网络学习中客观题基本实现了自动批改,但主观题自动...
中文主观题自动批改中相似句子检索算法_专业资料。...利用动态规划法实现候选语句检索,确定数量不多但有...( 工程技术版 ) JUNLO AJGNRA NVRIYEGNEIGADTCNLG DTO...
. 煞 9年瓤 蝴 28.0 网络纵横 主观题 自动 批阅 系统 的试题库建设与维护研究 张以利 ( 南京工业职业技术学 院信息工程系 胡配祥∞ ②安徽财贸 职业 ...
网络主观题评分系统的算法设计与实现_专业资料。主观题自动批改技术由于涉及自然语言处理等问题,一直以来都是网络智能考试系统研究的重点与难点。这一技术的突破能...
一种基于向量空间模型的主观题批改算法_专业资料。文字类主观题的自动批改是在线考试系统的一个关键技术。本文在研究主观题自动批改技术现状的基础上,提出了一种...
热门文档