摘要: python 爬虫 32个项目(学会了你就牛了哈哈) 32个Python爬虫项目让你一次吃到撑 今天为大家整理了32个Python爬虫项目。整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1]- 微 阅读全文
posted @ 2018-12-21 12:36 北伽 阅读(954) 评论(0) 推荐(0) 编辑
摘要: 人生苦短,我用Python(目录) 人生苦短,我用Python(目录) 目录 一、计算机基础 二、Python基础 三、函数 四、常用模块 五、模块和包 六、面向对象 七、网络编程socket 八、数据库 九、前端 十、Python Web框架 十一、版本控制--GIT 十二、爬虫 十三、前端框架之 阅读全文
posted @ 2018-11-26 17:53 北伽 阅读(190) 评论(0) 推荐(0) 编辑
摘要: import requestsimport osimport zipfileurl="https://nvd.nist.gov/feeds/json/cve/1.1/nvdcve-1.1-modified.json.zip"headers={ "Host":"nvd.nist.gov", "Cook 阅读全文
posted @ 2019-12-20 17:58 北伽 阅读(764) 评论(0) 推荐(0) 编辑
摘要: from selenium.webdriver import ActionChainsfrom pynput.keyboard import Key, Controller as c2from pynput.mouse import Button, Controller as c1from sele 阅读全文
posted @ 2019-12-12 16:03 北伽 阅读(214) 评论(0) 推荐(0) 编辑
摘要: def get_track(distance): # distance为传入的总距离 # 移动轨迹 track = [] # 当前位移 current = 0 # 减速阈值 mid = distance * 4 / 5 # 计算间隔 t = 0.2 # 初速度 v = 0 while current 阅读全文
posted @ 2019-12-12 16:03 北伽 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 项目窗口 新项目 Ctrl+Alt+N 打开项目 Ctrl+O 打开项目时只打开项目窗口 按住Shift键 打开上次打开的项目 Ctrl+Alt+Shift+P 保存项目 Ctrl+S 选择上一子项 上箭头 选择下一子项 下箭头 打开选择的素材项或合成图像 双击 在AE素材窗口中打开影片 Alt+双 阅读全文
posted @ 2019-09-29 17:12 北伽 阅读(9220) 评论(0) 推荐(0) 编辑
摘要: 在做程序开发的时候,我们经常会用到一些测试数据,相信大多数同学是这么来造测试数据的: 1 2 3 4 5 6 7 8 test1 test01 test02 测试1 测试2 测试数据1 这是一段测试文本 这是一段很长很长很长的测试文本... 1 2 3 4 5 6 7 8 test1 test01 阅读全文
posted @ 2019-09-17 16:46 北伽 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 1 #打码平台 2 def dmpt(self,filename,bro): 3 result=fateadm_api.TestFunc(filename)#调用打码平台 4 print("准备输入验证码") 5 time.sleep(1) 6 bro.find_element_by_xpath(' 阅读全文
posted @ 2019-08-26 16:18 北伽 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 原因一部分网站反爬,会通过检查请求的请求头里是否有浏览器的user-agent来判断请求是否是爬虫。当你在请求头里加上user-agent,然后,进行反复的请求后,系统又会判断请求时爬虫,因为单一版本浏览器请求过多,为了达到以假乱真的目的,你需要构建一个user-agent池,然后随机调用,那样相对 阅读全文
posted @ 2019-08-22 17:15 北伽 阅读(574) 评论(0) 推荐(0) 编辑
摘要: import smtplibfrom email.mime.text import MIMEText# 第三方 SMTP 服务mail_host = "smtp.163.com" # SMTP服务器mail_user = "" # 用户名mail_pass = "" # 授权密码,非登录密码send 阅读全文
posted @ 2019-08-22 16:07 北伽 阅读(317) 评论(0) 推荐(0) 编辑
摘要: # Airflow 1.10+安装本次安装Airflow版本为1.10+,其需要依赖Python和DB,本次选择的DB为Mysql。本次安装组件及版本如下:Airflow == 1.10.0Python == 3.6.5Mysql == 5.7# 整体流程1. 建表2. 安装3. 配置4. 运行5. 阅读全文
posted @ 2019-07-19 10:40 北伽 阅读(4642) 评论(0) 推荐(0) 编辑
摘要: 彻底搞懂Scrapy的中间件(三) 在前面两篇文章介绍了下载器中间件的使用,这篇文章将会介绍爬虫中间件(Spider Middleware)的使用。 爬虫中间件 爬虫中间件的用法与下载器中间件非常相似,只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response;爬虫中间 阅读全文
posted @ 2018-12-25 15:54 北伽 阅读(353) 评论(0) 推荐(0) 编辑