摘要：
在爬虫的过程过，我们有时候往往是开多线程或者多进程或者是协程，有时间下载速度能达到2兆左右的数据，如果和这些数据插入到数据库中，使我们必须解决的问题： 目前去搞个数据库集群或者其他的对硬件的方案，可能是大公司无所谓，小公司未必能通过老板那一关。我想说的是通过代码去解决数据插入的问题，主要简单的介绍两 阅读全文
posted @ 2018-03-29 09:47
淋哥
阅读(414)
评论(0)
推荐(0)
摘要：
Python requests 下载 m3u8 格式 视频 最近爬取一个视频网站，遇到 m3u8 格式的视频需要下载。 抓包分析，视频文件是多个 ts 文件，什么是 ts文件，请去百度吧： 附图：抓包分析过程 直接把 ts文件请求下来，然后合并 ts文件，如果想把 ts文件转换 MP4 格式，请自行 阅读全文
posted @ 2018-03-29 09:47
淋哥
阅读(1885)
评论(0)
推荐(0)
摘要：
两个数据库表中合并数据 如果有 t1 和 t2 两个数据库表格，它们两个对应的字段是相同的。如何将 t2 的数据插入到t1中去呢？ INSERT INTO domestic_auction_artron_2018_detail_info_1_4_all SELECT *FROM domestic_a 阅读全文
posted @ 2018-03-29 09:03
淋哥
阅读(16508)
评论(2)
推荐(1)
摘要：
转载：https://kb.cnblogs.com/page/92320/ HTTP（HyperTextTransferProtocol）即超文本传输协议，目前网页传输的的通用协议。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括messag 阅读全文
posted @ 2018-03-29 09:02
淋哥
阅读(712)
评论(0)
推荐(0)
摘要：
来源于：http://www.sohu.com/a/168371748_714863 很多搞爬虫的总爱吹嘘分布式爬虫，仿佛只有分布式才有逼格，不是分布式简单不配叫爬虫，这是一种很肤浅的思想。 分布式只是提高爬虫功能和效率的一个环节而已，它从来不是爬虫的本质东西。爬虫的本质是网络请求和数据处理，如何稳 阅读全文
posted @ 2018-03-29 09:02
淋哥
阅读(1287)
评论(0)
推荐(0)
浙公网安备 33010602011771号