摘要:往 dockerhub 上 push 本地镜像的时候 出现了下面这个提示: denied: requested access to the resource is denied 解决办法: 在 dodker 命令行里登录 docker 就在这时,二话不说直接输入:docker login 接着输入账
阅读全文
摘要:pipreqs pipreqs可以帮你找到当前项目的所有组件及其版本。就是当别人给你一个程序的时候,你要在自己电脑上运行起来,就需要安装程序所依赖的组件,总不能自己一个一个找吧。 转载于:https://www.cnblogs.com/believepd/p/10423094.html
阅读全文
摘要:Python 的作者既优雅又高冷又 鬼毛的 再 PEP8 里规定了 Python 程序编写规范。(风格和格式) 一、基本观念 1、可读性之上,代码被读的次数肯定比被写的次数多。因此作者十分重视代码的可读性,后文中的很多规定都是基于这个出发点考虑的。 2、一致性次之,如果所有的代码的 style 与本
阅读全文
摘要:首先参考博文一贴:https://blog.csdn.net/u014179267/article/details/80908790 1、那么安装这两个模块是为了爬虫的时候识别验证码用的,但是安装的过程中呢遇到了很多坑 通过上面这个连接和这个链接中的连接就可以解决了。心得当然有,但是现在不想总结,我
阅读全文
摘要:本人要在 win 10 上安装docker,找了安装教程,按照安装教程,第一步开启Hyper-V 虚拟机,但是发现自己电脑上没有这个选项 然后找到了这位仁兄 http://www.win7999.com/news/332510800.html 的解决方案 解决办法: 1、将下面的代码添加到记事本中并
阅读全文
摘要:1、什么是 cookie ? 当一个用户访问服务器的时候,服务器会给用户返回一些 name/value 键值对到客户端浏览器上,并将这些数据加上一些限制条件,用户下次访问服务器的时候,数据又并完整的带给服务器。 2、Cookie 怎样设置的? Cookie 中包含一个由名字 = 值 (name =
阅读全文
摘要:我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过 try 块去进行重试,但是每次都写那么一堆 try 块,真的是太麻烦了,所以今天就来说一个比较 pythonic 的模块,retrying 安装 使用 retrying 模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例
阅读全文
摘要:scrapy-redis 简介 scrapy-redis 是 scrapy 框架基于 redis 数据库的组件,用于 scraoy 项目的分布式开发和部署。 有如下特征: 分布式爬取: 你可以启动多个 spider 工程,相互之间共享单个的 requests 队列,最适合广泛的多个域名的内容的抓取。
阅读全文