06 2019 档案

摘要:线性代数基础 标量 scalar 单独的数,自然数,整数,实数、、、 斜体小写,表示 向量 vector 一组一维数组 有序的一列数,一般定义纵向量。 但是,书写不方便,多使用向量的转置的进行书写 通常用粗体的小写变量名称表示向量,如 x 向量的一组元素,定义集合S={1,3,6},然后写做 xs 向量的元素用带脚标的斜体表示,如向量 x的第1个元素为 x1,... 阅读全文
posted @ 2019-06-13 20:04 binyang 阅读(1144) 评论(0) 推荐(0)
摘要:概率基础-随机试验-古典概型-几何概型 1 随机试验 对某种自然现象做一次观察或者进行一次科学实验 实验特点: 可以在相同的条件下进行 实验的结果可能不止一个,但是实验前知道所有的可能结果 实验前不知道哪个结果会出现,即实验结果等概率随机 随机实验示例: 2 样本空间 随机实验E所有的可能的结果组成的集合,称为E的样本空间... 阅读全文
posted @ 2019-06-12 16:31 binyang 阅读(1144) 评论(0) 推荐(0)
摘要:概率基础 1 随机试验 对某种自然现象做一次观察或者进行一次科学实验 实验特点: 可以在相同的条件下进行 实验的结果可能不止一个,但是实验前知道所有的可能结果 实验前不知道哪个结果会出现,即实验结果等概率随机 随机实验示例: 2 样本空间 随机实验E所有的可能的结果组成的集合,称为E的样本空间,记为S。 其中,E... 阅读全文
posted @ 2019-06-12 16:28 binyang 阅读(468) 评论(0) 推荐(0)
摘要:Tableau 地图 1 tableau支持的地图数据 全球的机场代码,国家,城市,地区的邮政编码,代码,经纬度 自定义的TMS的离线地图的数据 2 Tableau 自定义数据地理编码 当tableau无法识别数据中的地理数据时候,需要自定义地图数据,进行地图数据修正 点击地图页中的未知地图问题,在精度查询网站中查询精确的地图位置的经纬度,... 阅读全文
posted @ 2019-06-11 21:52 binyang 阅读(1320) 评论(0) 推荐(0)
摘要:Tableau 地图 1 tableau支持的地图数据 全球的机场代码,国家,城市,地区的邮政编码,代码,经纬度 自定义的TMS的离线地图的数据 2 Tableau 自定义数据地理编码 当tableau无法识别数据中的地理数据时候,需要自定义地图数据,进行地图数据修正 点击地图页中的未知地图问题,在精度查询网站中查询精确的地图位置的经纬度,... 阅读全文
posted @ 2019-06-11 21:31 binyang 阅读(2695) 评论(0) 推荐(0)
摘要:Tableau 图表分析 1 散点图 利于查看数据的分布情况 2 趋势线 使用趋势线查看数据的趋势走向 3 文本报表展示数据 在行列中放置维度数据 对显示的数据进行统计展示 百分比 3 热图 颜色进行数据对比 将 一个多个维度放置在行列 标记类型:方形 相关度量:颜色 1 加入数据: ... 阅读全文
posted @ 2019-06-11 17:00 binyang 阅读(3451) 评论(0) 推荐(0)
摘要:Tableau 数据集 数据集 自定义字段的集合 将特定的字段添加到一个数据集合中 对数据集或者成批量的数据进行比较 分析一个数据集合中有多少个成员存在于另一个数据集合中 示例: 使用销售数据确定有多少客户在2013和2014均有订单产生 解决步骤: 1 创建 2017客户 购买集 2013年的客户购买记录 2 创... 阅读全文
posted @ 2019-06-11 11:21 binyang 阅读(3696) 评论(0) 推荐(0)
摘要:Tableau字段以及支持文件 数据可视化,简单高效的传达信息 数据可视化优势 迅速传达信息 直接关注重点 明确简要表明关系 数据可视化关注的要点—讲数据 模式 数据中的某种规律 关系 各个影响因素之间的相关性,各个图形之间的关系 异常 异... 阅读全文
posted @ 2019-06-11 03:56 binyang 阅读(950) 评论(0) 推荐(0)
摘要:Tableau数据可视化设计流程 连接到数据源 进行数据源的连接 支持文本,excel,数据库,大数据平台 构建数据视图 连接数据源以后,可清晰的列出所有可用的数据行列 使用行列,以及度量值创建视图 增强视图 使用过滤器 聚合 轴标签 颜色 边框 创建工作表 创建工作表,对相投的数据或者不同的数据进行数据视图创建 传创建组织仪表板 仪表板链接多个工作表 工作表中的操作可以相应的改变仪表板中... 阅读全文
posted @ 2019-06-11 03:52 binyang 阅读(1355) 评论(0) 推荐(0)
摘要:Tableau如何用数据将故事 数据可视化,简单高效的传达信息 数据可视化优势 迅速传达信息 直接关注重点 明确简要表明关系 数据可视化关注的要点—讲数据 模式 数据中的某种规律 关系 各个影响因素之间的相关性,各个图形之间的关系 异常 异... 阅读全文
posted @ 2019-06-10 19:21 binyang 阅读(222) 评论(0) 推荐(0)
摘要:# -*- coding:utf8 -*-# 工程路径:selenium驱动浏览器详解.py# 工程日期:10/6/2019# 工程目标:selenium 自动化测试库#%% 用来驱动浏览器模拟人的操作# 主要用于解析JS渲染的页面from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom seleni... 阅读全文
posted @ 2019-06-10 16:25 binyang 阅读(277) 评论(0) 推荐(0)
摘要:# -*- coding:utf8 -*-# 工程路径:pyquery详解.py# 工程日期:10/6/2019# 工程目标:pyquery的使用#%% 使用pyquery解析网页元素html = ''' first item second item third item fourth item fifth i... 阅读全文
posted @ 2019-06-10 13:11 binyang 阅读(303) 评论(0) 推荐(0)
摘要:CSS选择器 通过以下的规则,CSS选择器用于选择想要的HTML中的元素的样式。(摘至菜鸟教程) "CSS"列表示在CSS版本的属性定义(CSS1,CSS2,或对CSS3)。 选择器示例示例说明CSS.class.intro选择所有class="intro"的元素1#id#firstname选择所有id="firstname"的元素1**选择所有元素2elementp选择所有元... 阅读全文
posted @ 2019-06-10 06:58 binyang 阅读(295) 评论(0) 推荐(0)
摘要:Beautifulsoup 库详解 # -*- coding:utf8 -*-# 工程路径:3.3 beautifulsoup库.py# 工程日期:9/6/2019# 工程目标:beautifulsoup使用详解"""bs支持lxml, HTML 解析, html5解析"""#%%html = """The Dormouse's storyThe Dormouse's storyOnce u... 阅读全文
posted @ 2019-06-10 02:00 binyang 阅读(224) 评论(0) 推荐(0)
摘要:Beautifulsoup 库详解 # -*- coding:utf8 -*- # 工程路径:3.3 beautifulsoup库.py # 工程日期:9/6/2019 # 工程目标:beautifulsoup使用详解 """ bs支持lxml, HTML 解析, html5解析 """ #%% html = """ The Dormouse's story The Dormouse... 阅读全文
posted @ 2019-06-10 01:54 binyang 阅读(804) 评论(0) 推荐(0)
摘要:Requests请求库 import requests # -*- coding:utf8 -*- # -*- coding:utf8 -*- # 工程路径:3 requests请求库使用.py # 工程日期:8/6/2019 # 工程目标: """ requests 7个主要方法: requests.request(): 构造一个请求,支撑一下各方法的基础方法 reque... 阅读全文
posted @ 2019-06-09 22:16 binyang 阅读(404) 评论(0) 推荐(0)
摘要:Requests请求库 import requests# -*- coding:utf8 -*-# -*- coding:utf8 -*-# 工程路径:3 requests请求库使用.py# 工程日期:8/6/2019# 工程目标:"""requests 7个主要方法: requests.request(): 构造一个请求,支撑一下各方法的基础方法 requests.get()... 阅读全文
posted @ 2019-06-09 22:14 binyang 阅读(236) 评论(0) 推荐(0)
摘要:2.5 代理基本原理 使用代理是为了防止同一个ip频繁的请求而被服务封掉,无法再发起有效的请求。 使用代理服务器发起请求,由代理服务器替代本机向目标站点发起请求,再将响应数据转发到本机。即网站所看到的ip实际上是代理ip非本机ip 2.5.1 代理的作用 突破自身IP访问限制,访问一些平时不能访问的站点 访问一些单位或团体内部资惊 :比如使用教育网内地... 阅读全文
posted @ 2019-06-08 17:08 binyang 阅读(295) 评论(0) 推荐(0)
摘要:2.4 会话和cookie 2.4.1 静态网页和动态网页 1 静态网页 静态网页是标准的HTML文档,不可以传参数,只展示信息 2 动态网页 动态网页可以动态的解析网页中的URL的参数变化,关联到数据库,根据参数的不同呈现不同的页面,可以实现登录,注册,验证。 2.4.2 无状态 http 无状态http 即使用该协议连接客户端以及服务... 阅读全文
posted @ 2019-06-08 16:54 binyang 阅读(239) 评论(0) 推荐(0)
摘要:2.3 爬虫基本原理 2.3.1 爬虫概述 1 获取网页 使用请求库 urllib、 urllib2、request 请求库,向服务器发起数据请求,得到响应后,解析数据中的body部分可得到网页源代码。 2 提取信息 获取网页源代码后,分析源代码,提取信息 提取信息方式: 正则表达式匹配 (比较麻烦) ... 阅读全文
posted @ 2019-06-08 16:29 binyang 阅读(185) 评论(0) 推荐(0)
摘要:2.2 网页基础 浏览器浏览的网页,均是浏览器根据超文本,CSS,以及,JS,的解解析规则,对服务器返回的数据进行解析加载,进而变成我们所见的页面。 2.21 网页的组成 1 HTML 构成网页的框架 定义网页的内容 2 CSS 构成框架中的元素的样式 规定网页的布局 3 JavaScript 对网页行为进行编程 动画,酷炫的效果等 1 HT... 阅读全文
posted @ 2019-06-08 16:07 binyang 阅读(320) 评论(0) 推荐(0)
摘要:爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可以获得的内容的统称 2.12 超文本 网页的... 阅读全文
posted @ 2019-06-08 14:08 binyang 阅读(151) 评论(0) 推荐(0)
摘要:爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可以获得的内容的统称 2.12 超文本 网页的... 阅读全文
posted @ 2019-06-08 14:06 binyang 阅读(127) 评论(0) 推荐(0)
摘要:爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可以获得的内容的统称 2.12 超文本 网页的... 阅读全文
posted @ 2019-06-08 14:02 binyang 阅读(213) 评论(0) 推荐(0)
摘要:爬虫环境配置 爬虫环境配置,主要安装爬虫所需要的软件以及包含库 软件: Anaconda 库环境支持软件 Python3 Jupyter / jupyter lab pythonIDE Pycharm pythonIDE 相关库安装: 1 请求库 向浏览器发送请求 2 解析... 阅读全文
posted @ 2019-06-07 23:15 binyang 阅读(3428) 评论(0) 推荐(0)
摘要:数据分析师能力一 理解业务收集信息 理解业务的关键在于收集信息。收集信息便于理解业务的背景 1.1什么是业务?业务就是可以让企业获得收益的经营的各种事务 业务的分级 在企业的实际中业务时分级出现的 企业级别 部门级别 个人级别 其中具体到个人的业务更为复杂: 1.2 什么是理解业务? 业务能力... 阅读全文
posted @ 2019-06-03 22:20 binyang 阅读(851) 评论(0) 推荐(0)
摘要:测测 阅读全文
posted @ 2019-06-03 16:30 binyang 阅读(90) 评论(0) 推荐(0)