您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

基于包装器模型的文本信息抽取(三)

2024/11/14 8:31:04发布17次查看
3.3 相关表达能力
评估一个包装器的一个重要指标是包装器的表达能力,一个包装器的表达能力表示这个包装器能处理的信息资源的能力。说包装器类 ,较包装器类 的表达能力强是指类。能正确抽取的信息资源包含类 能正确抽取的信息资源。设ⅱ 表示所有web页的集合,若 表示一包装器类,设ⅱ( )表示口中包装器 能正确抽取的web页子集。定义4 设 和 是两个不同的包装器类,若ⅱ( )]ⅱ( )则称包装器类 比包装器类 的表达能力强。性质1 lpwi类包装器比stalker类包装器表达能力强。即ⅱ (lpwi) ⅱ(stalker)。
证明:1)包装器类stalker利用页面的标志信息,而由包装器类lpwi的构造过程可以看出lpwi同样能充分利用页面的标志信息,并且lpwi能利用文本的模式信息,可以说是对stalker 类包装器的扩展,因此盯(lpwi) ⅱ(stalker)。
2)存在一个页面p属于ⅱ ,lpwi能正确包装而
stalker不能包装。例如:对于下面的页面代码:
(p> name: <b> yala </b> <p> cuisine:thai<p> <i>
4000 colfax,phoenix,az 85258(602)508·1570
</i> <br> <i>
523 vernon,las vegas,nv 89104(702)578·2293
</i> <br> <i>
403 pieo,la,ca 90007(213)798-0008
</i> <blockquote>
当需要抽取邮政编码信息时,页面没有明显的标志信息来定位它,因此stlaker算法不能正确抽取。但邮政编码有很规则的模式:5digit,因此lpwi能正确进行抽取。综合1),2)可知,lpwi类包装器比stalker类包装器表达能力强。
4 实验结果及分析
4.1 评价标准
信息抽取技术采用召回率(recall,r)、精度(precision,p)来作为评价标准。总精确度(general precision,gp)用来描述含有多个槽(slot)的一个信息源的总体精确度。我们用ce,te和 来表示所有抽取出的正确信息个数、没有抽取出的正确信息个数和抽取出的错误信息个数。其计算公式为:
4.2 实验数据源
rise信息网站¨ 是美国加利福尼亚大学信息科学机构建立的,是一个“在线信息资源网,用来对学习算法的性能进行实验分析”。网站中包含广泛合理的信息源,这些信息常被信息抽取和包装器归纳学习算法用来进行实验分析比较。
4.3 算法性能比较
在文献[1o]的实验基础上,基于rise网站的如下两类信息作为数据源来进行实验:一类是stalker和lpwi都能包装的;另一类数据源是stalker不能包装而lpwi能包装的。为了能够充分比较这两个算法的性能,我们将实验环境和参数设置成一样。在这些数据源中选择最难包装的信息源s3来测试两个算法的总精确度,结果见图3。
从图3可以看出,lpwi算法比stalker算法的总精确度要高。这主要是我们的算法能基于页面的分层结构,将复杂的抽取工作分解成几个相对简单的任务;并且算法能利用学习到的模式知识来进行抽取和过滤。在多个信息点具有相同的标志的情况下,学习到的模式知识可以对抽取结果进行过滤,这样可以提高抽取的精确度。
选取两组具有代表性的数据源sl1和$24来比较stalker和lpwi的f值,实验结果见图4。随后在每个数据源中随机选出1o个数据进行标记,形成训练集,作为lpwi算法的输入值,归纳学习抽取规则;并用其余未标记数据做测试集,用lpwi进行信息抽取,具体测试结果见表1。从图4可知,对于stalker和lpwi算法都能处理的信息源,我们算法的f值比stalker的要高。这主要是算法不但利用了页面的标记信息而且利用文本的模式信息。例如在数据源s11中抽取update时,由于update和其他的信息点用到同样的标志信息,因此对于基于标志的stalker算法,其精度不高。而update有规则的模式信息,对于能充分利用文本模式信息的lp 算法,其f值可以达到100% 。当抽取organize时,虽然模式信息不明显,但是仍可以利用模式信息对抽取结果进行必要的过滤,提高抽取的精度。而对于$21,stalker不能包装的原因是,页面上的数据是一个异构的表格,每一个元素用到的布局都不相同,因此迭代规则很难形成。而lpwi算法能利用其中的文本模式信息,因此能处理这样的信息。从以上实验结果比较可知,lpwi算法具有比stalker算法更好的抽取精度和更强的信息表达能力。
王敬普 林亚平 周顺先 岳文湖南大学计算机与通信学院
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product