逆欢

摘要： 数据分析: 是不把隐藏在看似杂乱无章的数据域背后的信息提炼出来,总结出所研究对象内在规律 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 创建ndarray 使用np.array()创建 阅读全文

摘要： crawlSpider 作用:为了方便提取页面整个链接url,不必使用创参寻找url,通过拉链提取器,将start_urls的全部符合规则的URL地址全部取出 使用:创建文件scrapy startproject xxx(文件名) cd xxx scrapy genspider -t crawl x 阅读全文

摘要： post请求 在scrapy组件使用post请求需要调用 请求传参 scrapy请求传参 主核心的就是 注意:这里存储的字段一定要与items.py 创建的一致,就是以items.py的字段为主 items.py pipelines.py 在执行时可以 省去--nolog,在setting中配置LO 阅读全文

摘要： 首先下载scrapy模块 这里有惊喜 https://www.cnblogs.com/bobo-zhang/p/10068997.html 创建一个scrapy文件 首先在终端找到一个文件夹 输入 修改setting文件配置 cd 到 spiders文件,在终端创建一个文件 在文件里执行我们的第一个 阅读全文

摘要： 点击这里有惊喜 https://www.cnblogs.com/bobo-zhang/p/9685362.html 安装selenium 使用后,会自动化跳转一个Chrome页面,应进行操作 通过selenium 获取 数据 关于谷歌无头浏览器 什么是无头浏览器?使用后不会弹出页面,也就是没有页面 阅读全文

摘要： 云打码平台 下载生成的DLL文件打开会有说明 import http.client, mimetypes, urllib, json, time, requests ################################################################### 阅读全文

摘要： 回顾 bs4 实例化bs对象,将页面源码数据加载到该对象中 定位标签:find('name',class_='xxx') findall() select() 将标签中的文本内容获取 string text get_text() a['href'] xpath 环境安装: pip install l 阅读全文

摘要： 1.首先需要下载Anaconda3 软件 一,简单使用 在新建的项目中,每一个模块引入时,都会存储在内存中,读取时无先后之分,但是要使模块运行一遍加载到内存中 快捷键: 插入cell: a b 删除: x 执行:shift+enter tab: cell模式切换: y(m->code) m(code 阅读全文

摘要： git的使用(二) GITHUB 简介 github可以是全世界最大的同性交友网站,其实就是和百度云一个性质。 gitHub于2008年4月10日正式上线，除了git代码仓库托管及基本的 Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等 阅读全文

摘要： openpyxl的简单使用 openpyxl 操作excel的库，只能操作xlxs 文件， xlrd/xlwt这两个库能兼容xls（2003版） 安装 pip install openpyxl如果excel里面有图片，需要安装图片处理模块pip install pillow excel的写入 创建一 阅读全文