03、数据采集对象与数据类型

转载公众号《微言晓意》，仅用于个人学习

安全告警、系统与应用日志、网络流量以及资产漏洞、威胁情报等数据中，都包含大量有价值的安全信息，对这些分离的多源异构数据进行统一的采集与预处理，能够为网络安全大数据分析提供重要的数据基础。

日志数据

日志文件由日志记录组成,每条日志记录描述了一次单独的事件。与一般的原始数据相比,日志通常是一种半结构化的数据,它包含了一个时间戳和一个消息或者系统所特有的其他信息。

传统的日志信一般是各系统自身运行情况的记录,当系统的某一组成部分发生状态改变时,就会发出反映此变化的信息或者是对系统检测出的攻击,如端口扫描,口令破解,溢出攻击,恶意程序等的记录。

另一部分重要的日志是经过现有安全产品分析过后产生的事件日志,将各种安全产品的日志联合起来分析网络的安全状态能够略去大量的冗余工作。它们大多是以文件形式存在各自的日志系统中,或者将日志输出到指定的数据库中。

对于日志数据源的分类,从不同的角度区分有不同的分类方式,常见的是按日志系统类型分为4类：

▼▼操作系统日志

每种操作系统都有其自身特有的日志系统,例如Windows系统的日志通常按照其惯有的应用程序、安全和系统这样的分类方式进行存储,而像这样的各种系统通常都使用兼容syslog规范的日志系统。很多硬件设备的操作系统也具有独立的日志功能，以Cisco路由器为代表的网络设备通常都具有输出syslog兼容日志的能力。

▼▼应用系统日志

应用系统日志主要包括各种应用程序服务器（例如Apache、FTP、oracle等服务器）的日志系统和应用程序自身的日志系统,不同的应用系统都具有根据其自身要求设计的日志系统。

▼▼安全系统日志

安全系统日志从狭义上指信息安全方面设备或软件如防火墙系统的日志、IDS系统的日志，甚至是系统日志Security的部分。从更广泛的意义上来说，所有以安全为目的所产生的日志都可归入此类。

▼▼性能日志

性能日志即为记录设备CPU利用率、内存利用率、网络带宽利用率、硬盘I/O性能等一些性能指标的日志，性能日志不仅可以衡量这台设备及应用系统的运行状态，并且也可以让管理员时刻了解到设备当前的健康程度。

流量数据

众所周知，网络通信是通过数据包来完成的，所有信息都包含在网络通信数据包中。流量就是连接网络的设备在网络中产生的数据包集合。两台计算机通过网络“沟通”，是借助发送与接收数据包来完成的。

 

流量是描述网络安全状态的重要参数,它在拒绝服务攻击检测、蠕虫病毒检测等安全领域均有广泛的应用。因此,流量的测量对于掌握网络安全态势具有重要意义。

上下文数据

▼▼资产数据

资产是需要保护的对象，包括网络设备、安全设备、服务器、操作系统、中间件、数据库、应用系统等。资产数据包含资产名称、资产类型、资产IP地址、资产MAC地址、所属业务系统、所属安全域、资产责任人、资产保密性、完整性、可用性赋值等。

▼▼弱点数据

弱点数据用专业工具对系统层面进行漏洞的扫描，扫描的结果我们称之为弱点数据。这些数据可以第一时间获取系统补丁的更新信息，并快速地打补丁，及时预防通过漏洞来对系统造成损害的行为。

▼▼威胁情报

威胁情报是针对互联网中的一些不法地址或者异常用户建立的威胁信息的数据库，我们对来访的信息进行比对，可以直接匹配到一些不法人员的信息，及时阻止有害的行为，对系统的网络安全起到了不小的作用。