需求分析和概念原型
1.概述
本课题主要目的是设计基于python的智能信息搜集系统，同时需要满足具有一定性能，健壮性，反爬虫策略的网络爬虫程序。
2.需求分析
需求分析也称为软件需求分析、系统需求分析或需求分析工程等，是开发人员经过深入细致的调研和分析，准确理解用户和项目的功能、性能、可靠性等具体要求，将用户非形式的需求表述转化为完整的需求定义，从而确定系统必须做什么的过程。
我们的主要目的有以下几点：
1、用户可以选择需要爬取的URL
2、用户可以查找已经爬取的数据
3、用户可以把查到的数据可视化
参与者：用户
用例
- 选择待爬取的URL
- 查询数据
- 对数据进行可视化处理
3.用例图
总结；
1.用例图主要回答了两个问题：是谁用软件、软件的功能。
2.从用户的角度描述了系统的功能，并指出各个功能的执行者，强调用户的使用者，系统为执行者完成哪些功能。
3.业务领域建模
业务建模：业务领域建模是开发团队用于获取业务领域知识的过程。因为软件工程师往往需要工作在不同的业务领域或者不同项目中，他们需要业务领域知识来开发软件系统。软件工程师往往来自不同的专业背景，这可能会影响他们对业务领域的认知。因此业务领域建模有助于开发团队获取业务领域知识形成统一的业务认知。
过程：收集应用业务领域的信息。聚焦在功能需求层面，也考虑其他类型的需求和资料；头脑风暴。列出重要的应用业务领域概念，给出这些概念的属性，以及这些概念之间的关系；给这些应用业务领域概念分类。分别列出哪些是类、哪些属性和属性值、以及列出类之间的继承关系、聚合关系和关联关系。将结果用 UML 类图画出来。
UML类图：
4.数据模型建模
数据模型：数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，建立数据库实体以及各实体之间关系的过程。
数据模型所描述的内容有三部分，分别是数据结构、数据操作和数据约束。
5.概念模型
概念是人对能代表某种事物或发展过程的特点及意义所形成的思维结论。概念原型是一种虚拟的、理想化的软件产品形式。概念原型=用例+数据模型
工作过程： 用户登录后，选择性的爬取自己想要的URL，可以查看爬取后的内容，并且可以对数据进行可视化处理。
