随笔分类 -  爬虫

python连接SQL报错：1366, "Incorrect string value: '\\xF0\\x9F\\x98\\x81'
摘要：python 代码形式（3.6） conn=pymysql.connect( host=’127.0.0.1’, port=3306, user=’root’, passwd=’343434’, db=’kmind8’, charset=’utf8mb4’, ) mysql字符编码的问题，将表编码类 阅读全文
posted @ 2020-04-10 20:09 GhostAnt 阅读(803) 评论(0) 推荐(0)
代理池搭建和验证码平台
摘要：验证码破解平台 阅读全文
posted @ 2020-04-08 19:34 GhostAnt 阅读(768) 评论(0) 推荐(0)
BS4使用
摘要：BS4的使用 查找文档树 阅读全文
posted @ 2020-04-08 19:33 GhostAnt 阅读(138) 评论(0) 推荐(0)
scrapy框架详解
摘要：一、介绍 Scrapy是一个开源和协作的框架，其最初是为了页面抓取（更确切地来说，网络抓取）所设计的，使用它可以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据（如Amaz Associat 阅读全文
posted @ 2020-03-20 22:08 GhostAnt 阅读(1030) 评论(0) 推荐(0)
爬虫高性能相关
摘要：前言 之前讨论过python中多线程和多进程的不同。 由于我们使用的python解释器是Cpython，并不是线程安全的，所以python解释器为了解决这个问题，引入了GIL全局解释器锁。这导致了在同一个进程(一个python解释器下)并不能真正的实现多线程的并行执行，在某一确定的时刻永远只有一个线 阅读全文
posted @ 2020-02-07 15:45 GhostAnt 阅读(91) 评论(0) 推荐(0)
mongodb详解
摘要：mongodb 一、数据库操作 1.增 use test 2.查 show dbs 3.删 先切换到要删的库 use test db.dropDatabase() 删除当前库 二、集合操作 当集合为空时，不显示，即不存在。 三、文档操作 1.增加数据 2.查询数据 比较查询 成员运算 正则运算 数组 阅读全文
posted @ 2020-02-06 19:11 GhostAnt 阅读(168) 评论(0) 推荐(0)