百里屠苏top - 博客园

2020年1月12日

20200113（数据加载、存储和文件格式）

摘要： 6. 数据加载、存储和文件格式输出输出通常包括几个大类：读取文本文件和其他更高效的磁盘存储格式；加载数据库中的数据；利用Web API 操作网络资源。这里着重介绍pandas的输入输出对象。 6.1 读取文本格式的数据 pandas 提供了一些用于将表格数据读取为DataFrame 对象的阅读全文

posted @ 2020-01-12 17:13 百里屠苏top 阅读(209) 评论(0) 推荐(0)

20200112（pandas）

摘要： pandas 入门: pandas 含有使数据分析工作变得更快更简单的高级数据结构和操作工具。pandas 是基于Numpy 构建的。导入pandas包： from pandas import Series , DataFrame import pandas as pd pandas 的数据结构介阅读全文

posted @ 2020-01-12 10:25 百里屠苏top 阅读(177) 评论(0) 推荐(0)

20200111（Numpy）

摘要： Numpy 基础：数组和矢量计算 Numpy 是高性能科学计算和数据分析的基础包。部分功能如下： ndarray,一个具有矢量算数运算和复杂广播能力的快速且节省空间的多维数组。对数组数据进行快速运算（无需编写循环）读写磁盘数据、操作内存映射文件。线性代数、随机数生成，傅里叶变换。集成由C/ 阅读全文

posted @ 2020-01-12 10:02 百里屠苏top 阅读(182) 评论(0) 推荐(0)

2020年1月11日

20191227

摘要：高效处理数据的Python工具基本可以完成以下几个大类的任务：与外界进行交互：读写各式各样的文件格式和数据库。准备：对数据进行清理、修整、整合、规范化、重塑、切片切块、变形等以便进行分析。转换：建模和计算：展示： IPython介绍 ipython是一个python的交互式shell，阅读全文

posted @ 2020-01-11 17:36 百里屠苏top 阅读(143) 评论(0) 推荐(0)

2019年12月26日

20191226

摘要： 1.术语 scripting 脚本 scientific computing 科学计算 2.为什么不选Python Python 是一种解释型编程语言，因此大部分pytnon 代码都要比用编译型语言（如 java 和 C++ ）编写的代码运行慢的多。由于程序员的时间要比CPU时间值钱。 3.几个重阅读全文

posted @ 2019-12-26 15:34 百里屠苏top 阅读(162) 评论(0) 推荐(0)

2019年10月22日

python--Charles—APP爬取

摘要：前面介绍了爬取web 网页的内容，随着移动互联网的发展，越来越多的企业直接开发了APP，更多更全的信息都是通过App来展示的。 APP的爬取相比web 端爬取更容易一些，反爬虫能力没有那么强，而且数据大多数是以JSON 形式传输的，解析更加简单。在web端，我们是通过浏览器的开发者工具监听各个网络阅读全文

posted @ 2019-10-22 21:53 百里屠苏top 阅读(1170) 评论(0) 推荐(0)

2019年10月20日

python--spider模拟登录

摘要：很多情况下，页面的某些信息需要登录才可以查看。这里的核心是获取登陆之后的 Cookies 。话不多说，操练起来。 1. 模拟登录并爬取GitHub 1.1 环境准备 requests库 lxml库 1.2 分析登录过程打开Github的登录页面，https://github.com/login. 阅读全文

posted @ 2019-10-20 17:09 百里屠苏top 阅读(1204) 评论(0) 推荐(0)

2019年10月16日

Redis数据库

摘要：安装Redis 数据库并启动服务 Windows下安装：下载地址：https://github.com/MSOpenTech/redis/releases 下载之后解压目录如下：修改redis.windows.conf文件，设置maxmemory 大小：设置redis密码：启动redis 阅读全文

posted @ 2019-10-16 16:54 百里屠苏top 阅读(113) 评论(0) 推荐(0)

2019年10月14日

python--spider验证码

摘要：目前，许多网站采取各种各样的措施来反爬虫，其中一个措施就是使用验证码。验证码的花样也越来越多，几个数字组合的简单的图形验证码，英文字母和混淆曲线相结合的方式。大概包括：普通图形验证码极验滑动验证码点触验证码微博宫格验证码接下里我们来具体了解一下。 1 图形验证码图形验证码是最早出现也是阅读全文

posted @ 2019-10-14 20:52 百里屠苏top 阅读(496) 评论(0) 推荐(1)

2019年10月13日

python--Selenium(动态渲染页面爬取）

摘要：上一节，学习了Ajax，Ajax 其实也是JS 动态渲染的页面的一种形式，通过直接分析Ajax，仍然可以借助requests 或者 urllib 来实现数据爬取。但是JS动态渲染的页面不止Ajax 一种；还有就是像淘宝这种页面，即使是Ajax 获取的数据，但是其Ajax 接口含有很多加密参数，我们阅读全文

posted @ 2019-10-13 16:37 百里屠苏top 阅读(467) 评论(0) 推荐(0)