本工具是一款运行在Windows系统上的网络应用,用于抓取网页中的图片。它能根据用户给出的网址,解析网页代码,找出其中的图片资源,并进行简单归类后保存到数据库和本地硬盘。
(1)该功能依赖SQL Server数据库,请按照附录完成SQL Server 2008的安装。
(2)图片获取
获取图片时,需要手动填写要抓取的根网址。该网址必须真实可访问,否则会提示网页源代码获取失败,进而导致任务无法启动。
(3)搜索参数配置
配置搜索参数时,要注意各参数间的相互限制,下面分几种情况说明。
如果搜索深度设得较大,抓取数据容量也要相应调大,否则任务会因容量不足而中途停止抓取。
如果确认网络连接正常,建议不使用代理服务器。因为启用代理后,一旦代理失效或停止服务,就需要更换代理,会浪费大量时间。
设定开始执行时间时,不宜设置过长,否则任务会长时间处于等待状态。建议仅在任务数量较少时才这样设置。
(4)关键词维护
在关键字管理中要注意,添加主关键字时,必须同时添加一个与主关键字同名同名的子关键字。因为图片分类时先匹配子关键字,只有子关键字匹配成功才能确定分类。
另外,删除主关键字时,会一并删除其关联的所有子关键字。
(5)支持同时执行多项任务
考虑到资源消耗,同时执行的任务数限制为5个,超过5个的任务只能等待。当有任务结束后,等待的任务才能开始执行。