随笔分类 -  数据分析

学习ing
pandas（一）
摘要：基于Numpy的一种工具，纳入了大量库和一些标准的数据模型，提供了高有效地操作大型数据集所需地工具 series对象 series : 一维数组(列放置) 常用操作 import pandas as pd from pandas import Series,DateFrame 1. 创建 # Ser 阅读全文
posted @ 2021-10-10 15:56 突然跳舞的咸鱼 阅读(64) 评论(0) 推荐(0)
numpy
摘要：数组 Ndarray对象 是N维数组对象，是一系列同类型数据的集合，以0为下标开始进行集合中元素的索引。 Ndarray对象：用于存放同类型元素的多维数组。 import numoy as np 1. 创造一维数组 # 直接传入列表 list1=[1,2,3,4] array1=np.array(l 阅读全文
posted @ 2021-10-08 16:57 突然跳舞的咸鱼 阅读(148) 评论(0) 推荐(0)
matplotlib
摘要：matplotlib 是一个2D绘图库。 折线图： 能够显示数据的变化趋势，反映事物的变化情况（变化） 散点图：判断变量之间是否存在数量关联趋势，展示离群点（分布规律） 柱状图： 绘制离散额数据，比较数据之间的差别（统计/对比） 直方图：绘制连续性的数据，展示一组或多组数据的分布状况（统计） 饼图： 阅读全文
posted @ 2021-09-22 17:44 突然跳舞的咸鱼 阅读(192) 评论(0) 推荐(0)
python面向对象
摘要：面向对象编程 面向对象编程：简称OOP。把对象作为程序的基本单元 面向过程的程序：计算机程序视为一系列命令集合 面向对象的程序：计算机程序视为一组对象的集合 python中所有数据类型都可视为对象 面对对象是抽象出Class，根据Class创建Instance 类和对象 对象：某一具体事物的存在，可 阅读全文
posted @ 2021-09-06 20:58 突然跳舞的咸鱼 阅读(53) 评论(0) 推荐(0)
python函数
摘要：函数的简介 函数：程序中，将需要多次使用的代码块组成一个小模块，叫做函数。可以提高编写效率以及代码的重用。 python内建函数 用户自定义问题 函数的定义和调用 函数必须先定义再调用 定义函数的格式 def 函数名(): 代码 调用函数的格式：函数名() 函数名() 调用函数时，函数从头执行，代码 阅读全文
posted @ 2021-09-01 17:04 突然跳舞的咸鱼 阅读(51) 评论(0) 推荐(0)
python 容器
摘要：列表 list[1,5] #切片取左不取右 list.index(a) #查找是列表否含有a元素，返回第一个该元素的索引 list.count(a) #查找a含的数量 del list[2] #删除下标是2的元素 list.pop() #输出最后面的元素 list.remove(a) #删除a元素 阅读全文
posted @ 2021-08-23 23:40 突然跳舞的咸鱼 阅读(45) 评论(0) 推荐(0)
爬虫（五）：储存爬到的数据
摘要：储存数据的方式 常用的存储数据方式其实有很多种：把数据存储在文件中，例如csv格式文件或者Excel文件；用csv格式存储数据，读写比较方便，易于实现，文件也会比Excel文件小；Excel文件本身的功能更为强大。 也可以将数据存储在数据库中，例如mysql。 csv： csv是一种字符串文件格式， 阅读全文
posted @ 2021-07-15 21:54 突然跳舞的咸鱼 阅读(151) 评论(0) 推荐(0)
爬虫（四）：带参数请求数据和request Header
摘要：爬取思路： 分析网页结构 找到/并确定请求的数据接口、url （url是否是规律的？ 是否需要手动的构造？ 是否需要携带params参数进行请求） 分析请求的接口数据格式 HTML json 爬虫代码实现 url 组成 url由两部分组成，“?”（有时候是“#”）的前半部分是我们请求的地址，“?”的 阅读全文
posted @ 2021-07-13 16:11 突然跳舞的咸鱼 阅读(429) 评论(0) 推荐(0)
爬虫（三）：Network、XHR、json
摘要：什么是Network F12 > Network Network的功能：记录当前页面发生的所有请求。 用requests.get()所获得的请求，只是模拟了这些请求的第一个请求， 点击第一个请求：search.html。然后再来点击Response，在下方的内容是用requests.get()获取到 阅读全文
posted @ 2021-07-06 23:03 突然跳舞的咸鱼 阅读(1411) 评论(0) 推荐(0)
爬虫（三）：BeautifSoup
摘要：BeautifulSoup 是什么？ BeautifulSoup ：第三方库 解析提取数据的工具 解析数据： 将HTML“翻译”成程序能读懂的代码，才能通过程序提取到想要的数据； 提取数据： 指把需要的数据从源数据中有针对性地挑选出来 1. 准备 安装： Windows: pip install b 阅读全文
posted @ 2021-07-04 18:36 突然跳舞的咸鱼 阅读(180) 评论(0) 推荐(0)
爬虫（一）：html学习
摘要：HTML 基本学习 HTML(Hyper text markup language) 是用来描述网页的一种语言，也叫做超文本标记语言。 HTML标签 格式： <开始标签>标签内容</结束标签> 举例： <p>这是一个p标签</p> 说明： 大部分标签都是成对出现的 极少数是单个标签，比如<meta> 阅读全文
posted @ 2021-07-04 17:49 突然跳舞的咸鱼 阅读(109) 评论(0) 推荐(0)