I'm_江河湖海

摘要：使用多进程实现socket tcp协议 server端的并发 server端： client端对比图：阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(5) 评论(0) 推荐(0)

摘要： POST请求发送重写爬虫应用文件中继承Spider类的类的里面的start_requests（self）这个方法递归爬取 - 递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取且持久化存储 - 需求分析：每一个页... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(30) 评论(0) 推荐(0)

摘要：一.利用b模式，编写一个cp工具，要求如下： 1. 既可以拷贝文本又可以拷贝视频，图片等文件 2. 用户一旦参数错误，打印命令的正确使用方法，如usage: cp source_file target_file 提示：可以用import sys，然... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(11) 评论(0) 推荐(0)

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(13) 评论(0) 推荐(0)

摘要：一、ATM+购物车 1.一个项目是如何从无到有的需求分析：# 对项目需求进行分析，并提取出相应的功能程序架构设计分任务开发测试上线运行：# 将项目交给运维人员上线 2.部分流程具体案例功能需求本文程序功能目... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(17) 评论(0) 推荐(0)

摘要：基于终端指令的持久化存储保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作; 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储基于管道的持久... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(17) 评论(0) 推荐(0)

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(11) 评论(0) 推荐(0)

摘要：下载中间件下载中间件（Downloader Middlewares）位于scrapy引擎和下载器之间的一层组件。作用：（1）引擎将请求传递给下载器过程中，下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等（2）在下... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(11) 评论(0) 推荐(0)

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(12) 评论(0) 推荐(0)

摘要：在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那... 阅读全文

posted @ 2022-10-07 20:43 I'm_江河湖海阅读(14) 评论(0) 推荐(0)