摘要： 一、背景 因为经常有爬虫数据处理的需求，之前一直用的多线程+requests方式爬虫，但是这种方式有两个问题： 1、当请求很多，并发稍微多一点的时候电脑特别卡 2、每次变更请求包，比如post换get，需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因，搞了一个基于socket+ 阅读全文

摘要： 老是整忘记，记录一下rabbitmq使用过程 1、No module named 'celery.backends.amqp' or KeyError: 'backend' #6384 pip install celery==4.4.6 2、关键代码 import subprocess from t 阅读全文

摘要： 使用xray做代理，请求所有找到的url，自动安全扫描 import threading import requests import json def xray_proxy(sub_domain='', page_no_iter=''): while True: try: url_list = j 阅读全文

摘要： 一、场景 场景描述：请求包host字段跟目的ip端口不一致（客户端设置了hosts） 测试方法： a)、在xray配置文件config.yaml中设置漏洞扫描代理（其中8080是burp的代理端口），启动xray监听7878端口做代理 xray_windows_amd64.exe webscan - 阅读全文

摘要： 1、挖洞 wget 递归下载整个网站 wget -r -p -np -k http://xxx.com/xxx 爬虫，js获取tab列表文字 var tb = $('#id'); // table 的 idvar rows = tb.rows; // 获取表格所有行var result = new 阅读全文

摘要： 最近想做一个扫描平台，包含主机漏洞扫描这一块东西，本来主机扫描想接巡风的，但是接进来发现巡风在服务识别这一块漏报、误报有点多（应该是我不会用，巡风肯定是没有问题的）。用的不顺手，所以打算换一个。 一、为什么不用nmap等 因为巡风用的不顺手想换一个，首先想到的是nmap、masscan等比较成熟的开 阅读全文

摘要： 最近在弄nginx流量镜像的事情，刚好涉及到HTTP代理这一块。所以用wireshark抓包分析了一下，代理流程的时序图如下： 如果客户端是curl其中要注意的有两点（不同客户端有自己组装http包的特点，不通代理也有不通处理数据包的特点，特别注意寻址等功能）： 1、数据包A请求头Proxy-Con 阅读全文