摘要：import smtplib from email.mime.multipart import MIMEMultipart from email.mime.text import MIMEText from email.mime.application import MIMEApplication 阅读全文

摘要：直播数据爬取 可以在 js 数据中找到 sign 的加密方式 分析得知 sign 加密方式为 (d.token + "&" + 时间戳 + "&" + appkey + "&" + data) d.token的值，发现这个值在cookie当中出现了，与时间戳结合在一起，这个token值会过期，大概是 阅读全文

摘要：postgresql 基础操作 查询 import psycopg2.extras import json conn = psycopg2.connect(database='web_fetching', user='crawler', password='crawler', host='0.0.0 阅读全文

摘要：使用Fiddler将线上文件映射到本地调试 抓取到的每一条记录都会在上面列出来，每一条都有请求状态、使用的传输协议（HTTP、HTTPS）、域名、具体的URL、文件大小、缓存期限、文件类型、使用的浏览器等信息。 要想将文件映射到本地，在左侧窗口列出的记录中选中你要映射的文件 **第一步：**在右侧窗 阅读全文