摘要：
我们先要了解，pandas是基于Numpy构建的，pandas中很多的用法和numpy一致。pandas中又有series和DataFrame，Series是DataFrame的基础。 pandas的主要功能： 具备对其功能的数据结构DataFrame，Series 集成时间序列功能 提供丰富的数学 阅读全文
posted @ 2019-12-03 20:49
只会玩辅助
阅读(13538)
评论(0)
推荐(3)
摘要：
一、jupyter notebook 两种安装和启动的方式： 第一种方式： 命令行安装：pip install jupyter 启动：cmd 中输入 jupyter notebook 缺点：必须手动去安装数据分析包（比如numpy,pandas...） 第二种方式： 下载anaconda软件 优点： 阅读全文
posted @ 2019-12-02 17:17
只会玩辅助
阅读(706)
评论(0)
推荐(1)
摘要：
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2019-11-28 21:24
只会玩辅助
阅读(866)
评论(0)
推荐(0)
摘要：
一、简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库（非关系型数据库） 1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。 不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“ 阅读全文
posted @ 2019-11-28 19:53
只会玩辅助
阅读(321)
评论(0)
推荐(0)
摘要：
一、介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文
posted @ 2019-11-26 20:50
只会玩辅助
阅读(270)
评论(0)
推荐(0)
摘要：
一、介绍 Beautiful Soup是一个可以从HTML或XML文件中提取数据的python库。 #安装Beautiful Soup pip install beautifulsoup4 #安装解析器 Beatiful Soup支持python标准库中的HTML解析器，还支持一些第三方的解析器，其 阅读全文
posted @ 2019-11-26 19:45
只会玩辅助
阅读(288)
评论(0)
推荐(0)
摘要：
一、介绍 介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便 注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 安装：pip install requests 常用的请求方式：requ 阅读全文
posted @ 2019-11-25 20:08
只会玩辅助
阅读(549)
评论(0)
推荐(0)
摘要：
爬虫目录 （一）爬虫的基本流程 （二）爬虫请求库之requests库 （三）爬虫解析库beautifulsoup （四）爬虫请求库之selenium （五） 存储库之MongoDB （六）Scrapy框架 阅读全文
posted @ 2019-11-25 15:23
只会玩辅助
阅读(189)
评论(0)
推荐(0)
摘要：
爬虫的基本流程 1.发送请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头、请求体、路由等 2.获取响应内容 如果服务器能正常响应，则会得到一个Response 包含：html页面，json,图片 3.解析内容 解析html数据：正则表达式，第三方解析库如b 阅读全文
posted @ 2019-11-25 15:17
只会玩辅助
阅读(2549)
评论(0)
推荐(0)
摘要：
以下流程都是使用沙箱环境完成，不是正式环境。使用drf后台和vue前端 支付宝一些注意事项和文档链接地址： # 1、在沙箱环境下实名认证：https://openhome.alipay.com/platform/appDaily.htm?tab=info # 2、电脑网站支付API：https:// 阅读全文
posted @ 2019-11-21 22:56
只会玩辅助
阅读(4069)
评论(0)
推荐(0)
浙公网安备 33010602011771号