软件简介:
采集信息类型丰富。可采集几乎任何类型的网站信息。包括静态htm,html类型和动态ASP,ASPX,JSP等。
站点+任务方式+任务调度方式管理,可以定时,定周期的运行采集任务,对设置的站点可以实现增量采集;
多线程,高效率,多任务:掘金者可以可以自定义采集任务的采集线程的数量,使用高性能线程池方式管理采集任务,可以高速高效的完成采集任务
网站登录采集:需要登录才能看到的信息,先在任务的任务设置处进行登录,取得Cookies后,就可采集登录后才能看到的信息。
智能化识别目标地址:采集的地址支持手动和自动设置。可以通过单条,批量,及文本方式导入添加。或者通过程序设置实现自动识别和自动收集目标地址,同时可以对得到的目标地址进行转换,实现无限深度的采集设置等等
智能化信息提取:针对一类信息设置个简单采集规则,就可以把相关的信息全部采集。可以自定义提取字段,对提取的字段信息可以实现正则过滤。实现对结果进行转换,广告过滤,email提取,排除
自定义数据库保存:支持大型数据库和本地小型数据库,可自由选择。包括导入数据库和数据库查询。
自动过滤:对于重复的信息,自动过滤掉,不用人工干预,保证了信息的整洁统一性和唯一性。
实现自定义文件分段断点下载:您可以自定义文件的保存地址实现跟文章系统同步;
想了解如何使用?快来看新手指南吧 !
| |