图数据异常检测的扩散建模突破
图数据异常检测的扩散建模方法
技术背景
异常检测旨在识别显著偏离正常模式的数据,这对基于图结构的数据尤为困难,因为需要同时考虑数据值和图拓扑关系。由于异常样本稀少,传统机器学习方法难以获得足够训练数据。
核心方法
变分图自编码器架构
- 采用变分图自编码器学习符合高斯分布的概率表示
- 编码器使用异构图变换器处理多类型节点和边
- 通过瓶颈层迫使网络学习输入的压缩表示
潜在空间扩散建模
- 在自编码器定义的表示空间内进行扩散过程
- 对输入嵌入进行T步噪声添加操作
- 通过去噪网络执行逆向T步去噪过程
- 噪声添加可消除特征表征错误,去噪过程用训练数据一致性特征替换
多解码器设计
- 至少包含节点特征和图结构两个解码器
- 时间序列数据情况下增加第三个时间戳解码器
- 支持生成包含买家、卖家、商品页面等异构节点类型的电子商务图
训练策略
- 在训练时标注异常和正常节点
- 同时使用正负样本进行训练
- 学习条件概率分布以指导生成包含异常的图样本
实验结果
在WSDM 2024会议上展示的实验中:
- 使用5个数据集和3种评估指标进行15组实验
- 13项实验中该方法性能领先
- 消融研究证实各组件对模型成功均有显著贡献
应用价值
该方法可有效检测:
- 服务器网络攻击
- 垃圾邮件传播
- 电子商务欺诈行为
- 其他类型的网络滥用行为
通过扩散建模与变分自编码器的结合,为解决图数据异常检测中的训练数据稀缺问题提供了新的技术路径。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
公众号二维码