摘要：最近在做一些接口，需要使用docker打包发布。 接口的内容不多，文件结构也不复杂，使用的是Flask框架开发的。 一、Docker file docker打包需要一个Dockerfile，指挥怎么打包怎么运行。 使用了一个简单的Dockerfile模板 FROM python:3.7.5 RUN 阅读全文

摘要：之前写了一个爬虫的包，主要是根据自己写爬虫的情况总结一下。 因为每次都要重复写一些代码，所以提炼出来，类似一个框架的样子吧。 开始是放在自己的项目里引用，但如果换了一个项目，就得重新拷一遍，很麻烦。 后面又学到了，放在site-package里面可以在自己的环境引用，但换一个环境也是不行的，于是想到 阅读全文

摘要：最近使用flask写了一些简单的服务。 服务部署到服务器上进行使用，这个过程会有一些问题，需要进行记录一下。 说明运行的环境情况。使用的是python3.6的虚拟环境，系统是centos7，其他的有uwsgi，supervisor，ngnix。 首先准备一个简单的flask服务。 代码ipapp.p 阅读全文

摘要：一、请求参数形式为xml 举例说明。 现在有这样一个网址：https://www.runff.com/html/live/s1484.html；想要查询图片列表，打开F12，观察到请求如下： 这里的请求参数形式为xml，使用python模仿请求的代码这样写 这里主要使用了post方法，将xml的参数 阅读全文

摘要：一、概述 1.中间件的作用 在scrapy运行的整个过程中,对scrapy框架运行的某些步骤做一些适配自己项目的动作. 例如scrapy内置的HttpErrorMiddleware,可以在http请求出错时做一些处理. 2.中间件的使用方法 配置settings.py.详见scrapy文档 http 阅读全文

摘要：一、安装 pip install scrapy. 如果提示需要什么包就装什么包 有的包pip安装不起,需要自己下载whl文件进行安装. 二、基本的爬虫流程 通用爬虫有如下几步: 构造url -->> 请求,获取页面内容 -->> 分析页面内容(解析) -->>　保存结果 三、scrapy的爬虫流程 阅读全文