05 2019 档案

matplotlib
摘要：五、数据可视化 1. 基本绘图 (1000,) 2. 线型、线宽和颜色 (1000,) 3. 设置坐标范围 4. 设置坐标刻度 5. 设置坐标轴 坐标轴名：left/right/bottom/top 6. 图例 7. 特殊点 mp.scatter(水平坐标, 垂直坐标, marker=点型, s=大 阅读全文
posted @ 2019-05-24 17:03 黑洞频率 阅读(558) 评论(0) 推荐(0)
numpy_basic2
摘要：六、numpy的常用函数 1. 读取文件 逻辑上可被解释为二维数组的文本文件： numpy.loadtxt( 文件路径, delimiter=分隔符(缺省一个空格), usecols=列序列(缺省所有列), unpack=是否展开列(缺省False), 返回一个二维数组(False)或多个一维数组( 阅读全文
posted @ 2019-05-24 17:03 黑洞频率 阅读(245) 评论(0) 推荐(0)
numpy_basic
摘要：一、Numpy是什么 1. Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力。 2. Numpy是其它数据分析及机器学习库的底层库。 3. Numpy完全标准C语言实现，运行效率充分优化。 4. Numpy开源免费。 二、Numpy的历史 1. 199 阅读全文
posted @ 2019-05-19 11:43 黑洞频率 阅读(157) 评论(0) 推荐(0)
Spider_scrapy
摘要：多线程爬虫 进程线程回顾 进程 系统中正在运行的一个应用程序 1个CPU核心1次只能执行1个进程,其他进程处于非运行状态 N个CPU核心可同时执行N个任务 线程 进程中包含的执行单元,1个进程可包含多个线程 线程可使用所属进程空间(1次只能执行1个线程,阻塞) 锁：防止多个线程同时使用共享空间 GI 阅读全文
posted @ 2019-05-19 11:40 黑洞频率 阅读(254) 评论(0) 推荐(0)
Spider_selenium
摘要：json模块 什么是json? javascript中的对象和数组 对象： 取值：对象名.key 数组： 取值：数组[索引值] 作用 json格式的字符串和Python数据类型之间的转换 常用方法 1. json.loads():json格式 Python数据类型 json python 对象 字典 阅读全文
posted @ 2019-05-12 17:35 黑洞频率 阅读(349) 评论(0) 推荐(0)
Spider_lxml
摘要：xpath工具（解析） xpath 在XML文档中查找信息的语言,同样适用于HTML文档的检索 xpath辅助工具 Chrome插件 ：XPath Helper 打开 ：Ctrl + Shift + X 关闭 ：Ctrl + Shift + X Firefox插件 ：XPath checker XP 阅读全文
posted @ 2019-05-12 17:33 黑洞频率 阅读(188) 评论(0) 推荐(0)
Spider_reg
摘要：解析 数据的分类 结构化数据 有固定的格式，如 ：HTML、XML、JSON 非结构化数据 图片、音频、视频，这类数据一般都存储为二进制 正则表达式 re 使用流程 1. 创建编译对象：p = re.compile("正则表达式") 2. 对字符串匹配：r = p.match("字符串") 3. 获 阅读全文
posted @ 2019-05-12 17:32 黑洞频率 阅读(309) 评论(0) 推荐(0)
Spider_req
摘要：requests模块 1. 安装(用管理员身份去打开Anaconda Prompt) 以管理员身份去执行pip安装命令 2. 常用方法 1. get(url,headers=headers)：发起请求,获取响应对象 2. response属性 ：返回字符串类型 ：返回bytes类型，应用场景：爬取非 阅读全文
posted @ 2019-05-12 17:29 黑洞频率 阅读(252) 评论(0) 推荐(0)
Spider_basic
摘要：网络爬虫 定义：网络蜘蛛、网络机器人,抓取网络数据的程序 总结：用Python程序去模仿人去访问网站,模仿的越逼真越好 目的：通过有效的大量数据分析市场走势、公司决策 企业获取数据的方式 1. 公司自有数据 2. 第三方数据平台购买 数据堂、贵阳大数据交易所 3. 爬虫爬取数据 市场上没有或者价格太 阅读全文
posted @ 2019-05-12 17:23 黑洞频率 阅读(372) 评论(0) 推荐(0)
在MacOS下使用Fiddler抓包
摘要：在MacOS下使用Fiddler抓包 有两种方式，分别是安装Mac版的Fiddler，或者是用虚拟机，安装Windows系统，在Windows系统下运行Fiddler对Mac系统中的内容进行抓包。 Mac版的Fiddler 请参考官网的说明以及步骤 "Fiddler Free Web Debuggi 阅读全文
posted @ 2019-05-09 15:37 黑洞频率 阅读(5152) 评论(0) 推荐(0)