随笔分类 -  强化学习论文

用模仿学习来学习POMDP中的信念表示
摘要：一、研究对象 本文研究了POMDP的模仿学习问题，具体来说本文在POMDP中引入了一种的信念表示学习方法，用于生成对抗模仿学习，不同于以往单独训练信念模块和策略，我们对信念模块和策略进行联合学习，使用任务感知模仿损失来确保目标表示更加符合策略目标。 为了避免这种潜在的信念退化，我们引入了集中信息性的 阅读全文
posted @ 2023-01-15 14:03 哆啦哆啦呦 阅读(365) 评论(0) 推荐(0)
用示范克服强化学习中的探索
摘要：主要内容： 对比游戏和机器人领域，关键的区别在于探索的难度，这取决于奖励函数的选择和复杂的环境动态性。在博弈中，奖励函数通常是给定的，可以直接进行优化，最新的研究表明，使用稀疏奖励学习可以得到执行期望目标的策略，而不是陷入局部最优。但是奖励稀疏的环境中进行探索是困难的，智能体很少看到奖励信号。本文的 阅读全文
posted @ 2022-12-09 15:48 哆啦哆啦呦 阅读(171) 评论(0) 推荐(0)
GAIL-PT：一个具有生成对抗模仿学习的通用智能渗透测试框架
摘要：主要内容：本文结合了GAN 和 IL-IRL构成了GAIL，通过专家知识的指导，使用GAIL对智能体进行训练，使其无限接近专家知识库的动作，使得PT的训练过程更加稳定和高效。 GAIL-PT框架介绍： 渗透专家知识库的构建：收集不同渗透场景下的PT专家样本，存储成功利用RL/DRL模型时的状态-动作 阅读全文
posted @ 2022-12-07 21:28 哆啦哆啦呦 阅读(636) 评论(0) 推荐(0)
使用深度强化学习改进POMDP
摘要：论文提出一种ADRQN架构来增强在部分可观测领域的学习表现，架构的特点在于同时考虑动作和观测作为模型的输入。 如下图中的模型所示，我们的动作和观测在经过相关的维度变换之后，共同作为LSTM的历史经验输入。这种循环结构能够集成任意长度的历史经验来更好地估计当前的状态。 整个过程如算法1所示： 实验基于 阅读全文
posted @ 2022-11-03 10:50 哆啦哆啦呦 阅读(377) 评论(0) 推荐(0)
NIG-AP:自动化渗透测试的新方法
摘要：NIG-AP:自动化渗透测试的新方法 一、摘要 本文提出了一种NIG-AP信息增益算法用来自动化发现攻击路径。算法将渗透测试形式化为马尔可夫决策过程，并使用网络信息获得奖励，这将会指导代理选择最佳动作，从入侵者的角度发现隐藏的攻击路径。实验结果表明算法的训练时间和有效性都有所改善。 在以往的研究中， 阅读全文
posted @ 2022-08-25 10:47 哆啦哆啦呦 阅读(620) 评论(0) 推荐(0)
使用DRL的自动化渗透测试
摘要：使用DRL的自动化渗透测试 一、摘要 本文提出了一种方法用来自动化渗透测试的两个阶段。首先，我们利用Shodan搜索引擎收集相关服务器数据，建立网络拓扑图，并利用MulVAL生成相关攻击图，使用传统搜索算法DFS进行结合，找到所有可能的攻击路径。然后采用DQN算法找寻最优路径。 二、体系框架 框架分 阅读全文
posted @ 2022-08-24 09:58 哆啦哆啦呦 阅读(309) 评论(0) 推荐(0)
通过深度强化学习自动化后利用
摘要：Title:Automating post-exploitation with deep reinforcement learning 一、摘要 为了评估信息系统的安全，我们需要了解攻击者在成功利用后的行为，然而审计需要专家，目前还没有解决方案能够自动化这个过程，本文提出了一种结合DRL和Power 阅读全文
posted @ 2022-08-11 17:42 哆啦哆啦呦 阅读(567) 评论(0) 推荐(0)
一个基于强化学习的攻击路径分析方法
摘要：Title: A Reinforcement Learning Approach for Attack Graph Analysis 一、摘要 本文提出了一个Q-learning的攻击图近似分析方法，首先利用MulVAL基于给定的网络拓扑生成攻击图，然后提炼攻击图生成一个简单的转移图。我们使用Q-l 阅读全文
posted @ 2022-08-03 16:18 哆啦哆啦呦 阅读(814) 评论(1) 推荐(0)
基于攻击图强化学习的CJA(关键网络资产识别)
摘要：Title: Crown Jewels Analysis using Reinforcement Learning with Attack Graphs Code: None 一、摘要 使用强化学习的自动化渗透测试为开发由网络结构和网络地形驱动的方法提供了一种新的有前途的方法，该方法可以在以后根据威 阅读全文
posted @ 2022-07-01 15:17 哆啦哆啦呦 阅读(800) 评论(0) 推荐(0)
使用攻击图的强化学习发现渗透路径
摘要：Title: Discovering Exfiltration Paths Using Reinforcement Learning with Attack Graphs Code: None 一、介绍 文章提出了一种在攻击图中发现渗透路径的RL方法，在攻击图的动态模型中对基于服务的防御性网络结构进 阅读全文
posted @ 2022-06-30 11:26 哆啦哆啦呦 阅读(334) 评论(0) 推荐(0)
在强化学习中使用网络地形进行渗透测试
摘要：Title: Using Cyber Terrain in Reinforcement Learning for Penetration Testing Code: None 一、介绍 RL应用于渗透测试的攻击图之中，但是训练有素的代理并不能反映现实情况，因为攻击图缺乏对于网络地形的描述。目前通常使 阅读全文
posted @ 2022-06-30 11:25 哆啦哆啦呦 阅读(202) 评论(0) 推荐(0)
自主安全分析和渗透测试
摘要：Title: Autonomous Security Analysis and Penetration Testing Code: https://github.com/ankur8931/asap 自主安全分析和渗透测试 一、概要 本文提出了一个自主的安全分析和渗透测试框架$（ASAP）$，它使用 阅读全文
posted @ 2022-06-29 22:24 哆啦哆啦呦 阅读(318) 评论(1) 推荐(0)
基于改进深度Q网络的自动化渗透测试系统
摘要：Title: Autonomous Penetration Testing Based on Improved Deep Q-Network Code: https://networkattacksimulator.readthedocs.io/en/latest/ 摘要 本文提出了一种改进的DQN 阅读全文
posted @ 2022-06-28 17:04 哆啦哆啦呦 阅读(714) 评论(0) 推荐(0)