摘要: #一、阿里云大数据平台 ##1.阿里云大数据与Hodoop生态的产品映射 ##2.阿里云产品构建离线数据仓库 ##3.阿里云大数据产品实时流处理 ##4.阿里云产品构建应用系统 ##5.阿里云产品构建海量营销数据分析系统 ##6.应用案例-XX典型数据分析系统 #二、大数据计算服务MaxComput 阅读全文
posted @ 2021-07-29 11:12 旭东东 阅读(791) 评论(0) 推荐(1) 编辑
摘要: #一、Pandas数据转换函数 map、apply、applymap ●map:只用于Series,实现每个值->值的映射; ●apply:用于Series实现每个值的处理,用于Dataframe实现某个轴的Series的处理; ●applymap:只能用于DataFrame,用于处理该DataFr 阅读全文
posted @ 2020-11-23 15:14 旭东东 阅读(208) 评论(0) 推荐(0) 编辑
摘要: #一、Pandas中的表连接Merge语法 ##1.merge的语法 pd.merge(left, right, how="inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort= 阅读全文
posted @ 2020-10-26 09:49 旭东东 阅读(543) 评论(0) 推荐(0) 编辑
摘要: #一、什么是Pandas? 一个开源的Python类库:用于数据分析、数据处理、数据可视化 ●高性能 ●容易使用的数据结构 ●容易使用的数据分析工具 很方便和其它类库一起使用: ●numpy: 用于数学计算 ●scikit-learn: 用于机器学习 #二、Pandas数据读取 Pandas需要先读 阅读全文
posted @ 2020-10-14 15:17 旭东东 阅读(342) 评论(0) 推荐(0) 编辑
摘要: #一、匿名函数 lambda #二、map函数 ###定义 ●map(方法会将一个函数映射到序列的每一个元素上,生成新序列,包含所有函数返回值。序列里每一个元素都被当做x变量,放到一个函数f(x)里,其结果是f(x1)、f(x2)、f(x3)..... 组成的新序列 #三、reduce函数 ###定 阅读全文
posted @ 2020-09-20 15:07 旭东东 阅读(479) 评论(0) 推荐(0) 编辑
摘要: #一、Excel使用场景 #二、Excel的常见函数 ###Excel函数分类 文本清洗类、关联匹配类、逻辑运算类、计算统计类、时间序列类 ##1.常用的文本清洗函数 ###●Find 查找函数与 Left Right 截取函数 ####①使用find和left函数得到最低薪资 找到第一个k的索引 阅读全文
posted @ 2020-09-06 15:48 旭东东 阅读(477) 评论(0) 推荐(0) 编辑
摘要: #一、为什么业务重要 ###案例 一家O2O领域的公司,他们的数据分析师发现在重庆地区。线下订单的效率始终提升不上去,在不断对数据分析的过程中,它们研究了配送员的工作状态,路线距离,用户评价,高峰时期订单量等指标,但是始终发现不了问题。后来问了当地的业务员,业务员翻了一个白眼说,重庆是山城啊,送订单 阅读全文
posted @ 2020-08-29 12:50 旭东东 阅读(744) 评论(0) 推荐(0) 编辑
摘要: #一、三种核心思维 ##1.结构化 ##2.公式化 ##3.业务化 ###用结构化思考+公式化拆解,获得的最终分析论点。很多时候,是现象。数据是某个结果的体现,但不代表原因。 #二、数据分析思维技巧 ##1.象限法 ##2.多维法 用户统计维度:性别、年龄... 用户行为维度:注册用户、用户偏好、用 阅读全文
posted @ 2020-08-27 22:04 旭东东 阅读(383) 评论(0) 推荐(0) 编辑
摘要: ##技术体系 #一、JDBC概述 ##1.数据的持久化 ●持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用。大多数情况下,特别是企业级应用,数据 ●持久化意味着将内存中的数据保存到硬盘上加以”固化”,而持久化的实现过程大多通过各种关系数据库来完成。 ●持久化的主要应用是将 阅读全文
posted @ 2020-08-13 11:41 旭东东 阅读(438) 评论(0) 推荐(0) 编辑
摘要: #一、二分查找算法(非递归) ●二分查找法只适用于从有序的数列中进行查找(比如数字和字母等),将数列排序后再进行查找 ●二分查找法的运行时间为对数时间O(log2 n),即查找到需要的目标位置最多只需要log2 n步,假设从[0,99]的队列(100个数,即n=100)中 寻到目标数30,则需要查找 阅读全文
posted @ 2020-08-08 10:58 旭东东 阅读(1464) 评论(0) 推荐(0) 编辑