网站采集器系统设计（请大师们指点）
1功能说明1．关键字生成
关键子可以从关键字库、论坛中提取。人工可以直接输入关键字，并可以加入关键字库中。
2．网址获取
调用googleapi根据关键字在internet中检索，获取网址列表。人工可以直接添加或从网址库中选取网址列表。对于当前列表可以保存到网址库中，保存时注意过滤重复网址。
3．采集任务设置
系统根据采集任务进行自动化采集。任务设置包括采集的网址、过滤规则、登录信息等。
4．自动化任务设置
此任务系统定时启动。任务设置包括启动时间、采集任务等。
5．临时任务生成
系统根据googleapi检索结果，自动生成相应的采集任务。
6．人工裁剪
人工删除不需要的内容。
7．重复过滤
系统根据裁剪后的内容在本次任务集中进行查找，抛弃相同的任务。
8．级联提取
系统根据裁剪后的内容提取相关连接，包括图片、附近、flash和关联的网页。系统生存临时的子任务。
9．网站转向识别
有些网址点击之后会转向到另外一个网址，系统自动替换任务中的目标地址。
10．网站登录
对于需要登录才能看到信息内容的网站，系统能模拟用户登录。
11．字段提取
系统能够根据规则自动提取标题、正文、作者、来源、关键字及正文分页。
12．人工修改
人工编辑抓取的内容
13．关联内容
人工关联抓取的内容，关联可以从子任务中获得。也可人工从本次任务和发布库中查找。
14．入库
人工将抓取的内容保存到数据库中。系统自动检查关联的完整性。
16．抓取规则描述文件RDF.XML
使用XML语言描述抓取规则、网站结构。系统提供标签语言，如标题、作者、出处、页码、超链等。系统根据网页结构描述文件实现自动化提取、自动化发布。
2目标方向系统终极目标就是实现全自动主题搜索、全自动化抓取，全自动化发布；不依赖googleapi搜索引擎，使用自主引擎搜索主题内容；提供内容订阅服务。
3总体策略任务规则通过xml格式定义。以任务为独立单元。一个任务中的过滤器可以互相共享数据，前一个过滤的结果可以作为后一个过滤器的输入。系统能够根据过滤器的输入依赖关系，自动调整过滤器的执行顺序。提供数据库操作描述，可以将抓取的结果自动的发布到数据库中。输入源一般是url，系统根据url自动抓取相应的页面作为任务的输入。4模块结构
说明：图中箭头表示模块间的数据流向。任务之间为多线程并发执行。过滤器树根据过滤器的输入关系构建树状结构，树中同一层的过滤器为多线程并发执行。网站采集器将hash码保存到自有的数据库中，以便以后唯一性检查。
5用例
6类图配置文件解析：
说明：ConfigParser在系统启动时候解析RDF.xml配置文件。解析结果存放在TaskEntity、FilterEntity、DatabaseEntity中。
TaskEntity对应标签：<task><id></id><atuotime></atuotime>…</task>；
FilterEntity对应标签： <filter><in></in><keys><key>…</key></keys></filter>
DatabaseEntity对应标签：<database>…<sql>…</sql></database>
过滤器引擎：
说明：FilterRunner以多线程的方式负责调度过滤器。当FilterTread向缓存输出时， FilterRunner负责启动它的下一个孩子（过滤器）。
FilterRunner充当TaskBoundary的门面，暴露OutBufferEntity。
过滤器是在RDF.XML中定义。
TreeConstruct根据过滤器之间的输入关系以树型结构放入FilterTreeEntity中。如：a、b、c、d四个过滤器。a是b的输入,b是c的输入，a是d的输入，则他们的数据结构为：
a
/ b d
/
c
他们的结构含义是：父亲是孩子的输入，兄弟之间是独立的。从线程的角度看，一条支路上的节点是顺序关系，同一层次上的节点是并列关系。所以FilterRunner负责启动a。与到a输出时启动b、d。遇到b输出时启动c。
任务引擎：
说明：TaskRunner以多线程的方式启动任务。
TaskTread充当OutBufferEntity的门面。当FilterBoundary向OutBufferEntity输入时，TaskTread将检查DataBaseTask所需的过滤器输出是否完全，如果完全，则启动DataBaseTask。
7典型时序图
说明：系统在第一次启动时，解析配置文件，构建过滤器树，启动任务控制器。任务控制器根据现有的任务启动任务处理线程，任务处理线程启动各自的过滤控制器。过滤器的输出将触发过滤器控制器启动下一节点的过滤器，并且触发任务控制器检查数据库操作所需的值，如果完备，则启动数据库任务。
8应用接口系统采用开放式结构，使用门面和总控制器设计模式（自己瞎说的），暴露和隐蔽相应接口，使系统易于扩展，并且不失系统的安全和健壮性。
系统提供面向配置文件（RDF.XML）的应用接口：
l FilterTread：过滤器的实现
l DataBaseTask：数据库操作的实现
用户可以扩展这两个接口，实现自己业务逻辑，在RDF.XML声明。由总控制器统一调度和管理。
9RDF设计RDF关键字定义：
<task><id></id><atuotime></atuotime>…</task>
task任务的根节点，id是任务的唯一号，atuotime：任务启动时间。如果为-1，则用不启动；
<page><count></count><start></start><end></end></page>
页码定义。count表明抓取多少页，start页码的开始处，end页码的结束处；
<filters><filter><id></id><time></time><in></in><keys><key><id></id>…</key></keys>
</filter></filters>
过滤器，id是过滤器的唯一号，time表明过滤多少次。所有的关键字都定义在过滤器中。过滤器中的多个关键字在一个上下文中提取。in是过滤器的输入，值为某一过滤器的关键字值，或者是url；
<database><url></url><driver></driver><username></username>
< userpassword ></userpassword><hashcode></hashcode>
<sqls><sql><id></id>…</sql></sqls></database>
数据库配置，sql文可以是select语句，也可以是update、insert等语句。Hashcode为内容的唯一标识。系统将根据此值到hashcode表中检索是否重复。
关键字列表：
task
page
filters
database
id
sqls
count
start
end
time
in
sql
keys
url
driver
username
userpassword
key
filter
atuotime
hashcode
Rdf.xml示例：
<task>
<id>t1<id>
<atuotime>10</atuotime>
<filters>
< filter>
<id>f1</id>
<in>http://www.sina.com.cn</in>
<page>
<count>10</count>
<start>akdfa;fakf;a</start>
<end>22;kjk;ja</end>
</page>
<keys>
<key>
<id>url</id>
<start>dfasf</start>
<end>adkfkajf</end>
</key>
…
</keys>
< filter>
< filter>
…
<in>f1.url</in>
<keys>
<key>
<id>content</id>
<start>dfasf</start>
<end>adkfkajf</end>
</key>
</keys>
< filter>
</fileters>
</task>
10特殊说明系统没有实现通过搜索引擎获取网站种子，在以后的版本中，将实现。
