情报研究的不同阶段构成了一个情报循环，即为了响应情报需求而进行的情报收集、情报整理、情报分析以及情报产品的生成与传播。与之对应，通用的情报分析工具主要包括情报收集工具、情报整理工具和情报分析与可视化工具等。①情报收集工具。情报收集除了实地调研和利用各种数据库进行文献检索外，有些情况还需要借助搜索引擎和网络爬虫等工具，实现对海量网络信息的抓取。除了大型搜索引擎等使用的专门爬虫工具外，较为成型的爬虫软件多达上百种，这些工具大多是开源软件，往往具有良好的可扩展性，方便用户实现自己的抓取逻辑，如图所示。图中涉及统一资源定位器（URL）和域名系统（DNS）。②情报整理工具。在情报整理方面，除了表格工具软件，主要利用数据仓库技术进行清洗、过滤、排重等工作，也包括对文本进行分词和主题词抽取，最后分类存放进数据库以便于进一步的分析。这一类的数据平台主要由Oracle、IBM等公司提供，但随着数据量的急剧增加，非结构化数据的比例迅速扩大，情报整理过程越来越多地借助基于海杜普技术的数据仓库，实现用一套系统和资源，通过逻辑划分的方法完成对数据仓库的实时处理、关联发现，以及数据集市的需求支持等。③情报分析与可视化工具。情报分析与可视化方面的通用工具以统计分析软件、绘图与思维导图软件最为常用。其中，统计产品与服务解决方案软件可以实现主要的统计学分析运算、数据挖掘、预测分析与决策支持功能，是最为通用的数据分析平台和综合性统计分析工具。而在绘图与思维导图方面，相关软件数量众多。这些工具可以支持信息可视化、科学可视化和可视化分析等多种类型的任务需求。对于不同的应用领域，可以使用不同的数据模型和视觉编码。

通用网络爬虫的框架