垂直式网络教学资源采集系统研究(2)

　　同其他网络资源采集系统相比，系统在有效性和效率等方面尤其突出。（1）大大减少了重复和无效的网页；（2）有策略地选择少量样本网页，以较小的成本提取必要的样本信息；（3）只下载包含有价值信息的网页，节省大量的网络带宽和磁盘存储空间；（4）同时存储网页之间的关联关系，可以将网页重新级联以重构网站，这给进一步的数据索引和数据挖掘带来很大的帮助。
　　三、系统关键技术
　　1.数据模型
　　系统的数据模型是以Hypertree为核心的。[6]Hypertree是一种由有序箭头标注的结构树，如图2所示。其中，箭头又分为内部箭头和外部箭头，前者表示结构化对象（节点），后者则表示对象之间的参考（链接）。箭头均带有标注，内部箭头的标注包括Tag、Source和Text三个属性，分别对应与网页中的HTML标签、代码段和文本；外部箭头的标注则包括Tag、Label和URL属性，对应与网页中的HTML标签、链接标注和链接地址，它指向其他Hypertree（网页）。Hypertree的所有节点没有类型，所以它可以包容异构的对象。
　　系统对查询结果的重构能力是其主要特色之一，包括将查询结果构造为Hypertree模式、将结果构造为新的URL、根据查询结果构建HTML文档以及将查询结果插入数据库等。
　　2.映射规则
　　系统的核心是一系列用于解析HTML文档的映射规则（提取规则），希望通过一系列的映射规则建立HTML文档和第三方应用程序之间的沟通桥梁。[7]
　　定义5：网页集合是指一个网站中语义内容相同、页面布局类似的网页的集合。如果两张网页满足以下条件，则同属于一个网页集合：（1）域名相同；（2）分别显示同一概念的两个实例；（3）使用相同的HTML框架。
　　定义6：网页组件，从语义上讲是指网页集合主要概念的一个主题属性；从语法上讲是指网页集合中常用的HTML模块。
　　定义7：映射规则是指网页组件特性值元组。该元组必须提供足够的信息来提取网页组件的特性值，并给它一个语义上相关的名称。
　　根据上述定义，系统映射规则建立过程如图3所示。
　　与其他网络资源采集系统相比，系统最大的特点是易用性和灵活性。从图3中可以看出，映射规则的建立，用户无须考虑HTML语法和映射规则机制，这极大地提高了用户友好性。此外，给定一个网页集合，不同用户可以根据各自的需求，建立个性化的映射规则，这是其他系统所不具备的。
　　四、系统应用
　　垂直式网络教学资源采集系统应用如图4所示。系统旨在最短的时间内，把最新的教学资源从用户定制的网站上采集下来，提取数据并保存在文件或数据库中。用户可以根据自身的需求设置不同的定制条件，将教学资源采集的范围限制在若干个网站以内，垂直式地进行资源采集。
　　系统操作步骤如下：
　　（1）设置网站初始URL。系统支持用户定制教学资源采集范围，例如中国教育资源网（http：//www.cern.net.cn/）。
　　（2）设置网页保存路径。如果用户选择“下载到磁盘”方式，即将资源收集、提取之后，保存为文件格式，则需要设置保存路径，例如E：＼download＼。
　　（3）数据库相关设置。如果用户选择“下载到数据库”方式，即将资源收集、提取之后，保存到数据库中，则需要设置数据库驱动、地址、数据表格、用户、密码等。
　　（4）设置日志保存路径。此项为选填项。如果用户希望在资源采集的同时，保存采集日志，则需要设置日志保存路径，例如E：＼download＼log＼。
　　（5）设置网页更新时间。系统支持用户选择性地下载最新的网络教学资源。例如用户希望只采集2013年4月8日以后发布的信息，则此项设置为20130408。
　　（6）选择下载方式。系统提供两种下载方式：下载到磁盘和下载到数据库，用户可根据需要进行选择。
　　（7）代理相关设置。系统支持socket代理和http代理。