2023年1月13日
摘要: chrome chromedriver使用代理示例 from selenium import webdriver from selenium.webdriver import DesiredCapabilities option = webdriver.ChromeOptions() caps = 阅读全文
posted @ 2023-01-13 17:59 落叶虽美只活一世 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 今天遇到个小问题:selenium 启动 chrome crash,报错:DevToolsActivePort file doesn't exist。 在option中添加一下几行: option = webdriver.ChromeOptions() option.add_argument('-- 阅读全文
posted @ 2023-01-13 17:48 落叶虽美只活一世 阅读(4119) 评论(0) 推荐(0) 编辑
摘要: 需求 seo给了个开发小需求,查询搜索引擎站点后台的索引量 需求分析 难点在于怎么绕过登录 技术选型 使用selenium+firefox+geckodriver执行抓取 技术难点解析 获取cookie # 登录目标网站后,请求目标url复制请求头Cookie cookies = """xxx1=x 阅读全文
posted @ 2023-01-13 17:40 落叶虽美只活一世 阅读(110) 评论(0) 推荐(0) 编辑
  2022年5月25日
摘要: 最近爬一个网站,用的protobuf协议,报错查了半天。报错'NoneType' object has no attribute 'message_types_by_name',最后是因为protobuf版本太高,后来重新安装指定版本3.19.3解决。 阅读全文
posted @ 2022-05-25 14:34 落叶虽美只活一世 阅读(2616) 评论(0) 推荐(0) 编辑
  2021年4月20日
摘要: 1.Nginx HTTP模块调用的简化流程 Nginx HTTP模块调用的简化流程图如上: 1.worker进程会循环调用事件模块检测网络事件 2. 当事件模块检测到客户端发起TCP请求时,即收到SYN包了,建立TCP连接成功后,根据nginx.conf配置交由HTTP框架处理 3.HTTP框架接收 阅读全文
posted @ 2021-04-20 15:34 落叶虽美只活一世 阅读(289) 评论(0) 推荐(0) 编辑
  2021年2月26日
摘要: python实现斑马打印机网络打印 阅读全文
posted @ 2021-02-26 11:23 落叶虽美只活一世 阅读(3053) 评论(0) 推荐(1) 编辑
  2021年2月20日
摘要: Nginx的配置 运行中Nginx进程间的关系 # 为什么产品环境下安装master-worker方式配置同时启动多个进程? - master进程不会对用户提供服务,只用于管理真正提供服务的worker进程,所以master进程可以是唯一的,为管理员 提供命令行服务,如启停、重载配置文件、平滑升级程 阅读全文
posted @ 2021-02-20 17:43 落叶虽美只活一世 阅读(142) 评论(0) 推荐(0) 编辑
  2021年2月18日
摘要: 深入理解Nginx-模块开发与架构解析-研究Nginx前的准备工作 阅读全文
posted @ 2021-02-18 17:22 落叶虽美只活一世 阅读(113) 评论(0) 推荐(0) 编辑
  2021年2月10日
摘要: Django面试题 1.Python解释器有哪些类型,有什么特点? CPython:由C语言开发,而且使用范围最广泛IPython:基于CPython的一个交互式计时器PyPy:提高执行效率,采用JIT技术。对Python代码进行动态编译JPython:运行在Java上的解释器,直接把Python代 阅读全文
posted @ 2021-02-10 13:14 落叶虽美只活一世 阅读(164) 评论(0) 推荐(0) 编辑
  2021年2月9日
摘要: 一、即时通信 - AJAX技术:通过AJAX实现网页与服务器的无刷新交互,在网页上每隔一段时间就通过AJAX从服务器中获取数据。然后将数据更新并显示在网页上,这种方法简单明了,实时性不高。 - Comet(Pushlet)技术:Comet是一种Web应用架构,服务器以异步方式向浏览器推送数据,无须浏 阅读全文
posted @ 2021-02-09 11:23 落叶虽美只活一世 阅读(159) 评论(0) 推荐(0) 编辑
Live2D