eBPF 实践 -- 网络可观测

简介

观测云采集器，是一款开源、一体式的数据采集 Agent，它提供全平台操作系统支持，拥有全面数据采集能力，涵盖基础设施、指标、日志、应用性能、用户访问以及安全巡检等各种场景。通过 eBPF 技术的引入，观测云采集器实践了网络传输层和应用层的部分协议的可观测。

采集管理：配置加载模块用于配置动态管理与采集插件的开启关闭；监视器模块用于查看采集器资源使用、采集插件开启、数据处理器脚本工作状况、采集器外部数据接入API 的响应与延迟信息等
数据采集：采集器不仅可以通过内置插件进行数据采集，还能接入外部数据源，如云原生计算基金会下的可观测项目 OTEL 的链路、指标数据等
数据清洗：在采集插件生成数据后和数据上传之间的数据清洗层，用户可以通过编程介入，如使用可编程数据处理器的语言编写脚本修改 Point ，使用内置函数分析提取网络数据中 IP 归属的城市、省份和国家到 Point 中；脚本支持动态加载和卸载
数据上传：采集器对各种数据进行分类上传，类别有日志、指标、链路、网络等，所有类别的数据均使用 Point 结构封装，每一个 Point 代表一条数据，大致由四个部分：名字、标签字典、字段字典以及时间戳构成（其名字可以是指标名 cpu，日志来源 nginx ，网络的 httpflow等）

观测云采集器使用了三种类型的 eBPF 程序：socket filter、kprobe、uprobe，能够抓取以太网帧、跟踪与 socket 和 TCP/IP 协议栈相关的内核函数以及用户共享库函数，实现网络协议可观测。下图介绍观测云采集器如何实践 eBPF 技术进行主机上的网络观测。

观测云采集器的 eBPF 网络观测功能采集并生成了三个数据集，分别为 netflow, dnsflow 和 httpflow，其 tag 基本相同，以下是其 tag 名与描述。

Tag 名	描述
src_ip	源 IP
dst_ip	目标 IP
src_port	源端口
dst_port	目标端口
transport	tcp 或 udp
family	IPv4 或 IPv6
direction	传输方向（incoming/outgoing）
srciptype	源 IP 类型 (other/private/multicast)
dstiptype	目标 IP 类型 (other/private/multicast)
host	主机名
source	数据源（netflow,httpflow,dnsflow）
pid	进程 id，仅 netflow
dst_domain	仅 netflow，来自 dnsflow 抓包记录
srck8snamespace	源 service 归属的 namespace
srck8sdeployment_name	源 serivce 归属的 deployment
srck8sservice_name	源 service
srck8spod_name	源 pod
dstk8snamespace	目标 service 归属的 namespace
dstk8sdeployment_name	目标 serivce 归属的 deployment
dstk8sservice_name	目标 service
dstk8spod_name	目标 pod
sub_source	子来源，默认 N/A，如若为 Kubernetes 流量则为 K8s

通过协议栈 tcp\udp 以及 ip 相关的内核函数，获取服务与客户端之间的流量大小以及 TCP 协议的连接的建立与关闭次数、重传和 RTT 信息

采集器使用 AF_PACKET + BPF 在采集器上分析 DNS 请求，以支持 CentOS(RedHat)7.6 (其不支持 socket filter 类型 eBPF 程序)，记录请求信息支持 netflow 进行域名反向解析；
对于 HTTP 请求使用 socket filter 和 uprobe 类型 eBPF 程序实现 HTTP(S) 请求分析。

下面的为采集 dns 协议生成的字段和 http 协议生成字段。

Field 名（dns）	描述
count	一个采集周期内的请求总数
latency	DNS 平均请求响应时间间隔
latency_max	DNS 最大请求的响应时间间隔
rcode	DNS 响应码: 0 - NoError, 1 - FormErr, 2 - ServFail, 3 - NXDomain, 4 - NotImp, 5 - Refused, ...