随笔分类 - 分析与开发
摘要：查看hive的数据库 hive> show databases; OK bigdata default Time taken: 0.592 seconds, Fetched: 2 row(s) 将json数据上传到服务器 [root@master data]# pwd /home/data [roo
阅读全文
摘要：启动hadoop，浏览器访问：http://192.168.128.78:9870/ 显示目录结构 [root@master ~]# hadoop dfs -ls -R / WARNING: Use of this script to execute dfs is deprecated. WARNI
阅读全文
摘要：启动hadoop，启动hive [root@master ~]# start-dfs.sh [root@master ~]# nohup hive --service metastore & 使用navicat连接mysql 常用命令 # 进入hive [root@master ~]# hive h
阅读全文
摘要：在pycharm中右键文件，将数据源文件如csv、json文件上传到服务器 上传excel文件，读取数据，生成折线图 from pyspark.sql import SparkSession import pandas as pd import matplotlib.pyplot as plt #
阅读全文
摘要：散点图 import pandas as pd import matplotlib.pyplot as plt import numpy as np # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 plt.rcParams[
阅读全文
摘要：算数运算 """ 前面减后面 add 加法 sub 减法 div 除法 floordiv 整除 mul 乘法 pow 幂次方 后面减前面 rsub 减法 rdiv 除法 rfloordiv 整除 rpow 幂次方 替换无穷大 replace(np.inf,0) np.nan NaN np.inf i
阅读全文
摘要：打开cmd安装 pip install matplotlib 运行报错：AttributeError: module 'backend_interagg' has no attribute 'FigureCanvas'. Did you mean: 'FigureCanvasAgg' # 解决方案
阅读全文
摘要：组件交互 钻取：在实际使用仪表板时，往往会先通过统计图表从宏观层面把握业务问题所在，再通过一个页面内的钻取联动逐级向下钻取，直到明细数据，定位到具体的问题 跳转：实现从一个仪表板跳转到另一个仪表板（或另一个网页），也可以设置过滤字段，在跳转的同时进行过滤 联动：指当组件之间含有逻辑关系时，实现点击一
阅读全文
摘要：使用技巧 点击查看详情 查看不同维度的结果 例如查看不同省份的所有城市的销售额，拖动字段到[维度]和[指标] 点击前面的"+"号展开，或者点击[组件样式]，展开行表头节点 点击字段后面的倒三角，值汇总方式，可以求最大值、最小值等 修改数值单位，点击字段后面的倒三角，数值格式 选中[数字]，设置单位
阅读全文
摘要：describe函数 """ describe() count 该列的非NaN的个数 mean 平均值 std 标准差 min 最小值 25% 1/4分位数 50% 2/4分位数 75% 3/4分位数 max 最大值 其他 count 统计个数 sum 求和 mean 求平均值 mad 求平均绝对方
阅读全文
摘要：案例数据下载 我的分析，新建文件夹，选中文件夹，新建分析主题，本地数据，本地Excel文件，上传数据，选中excel文件，点击右上角确认 多表合并 点击查看详情 商品销售明细表中每条销售信息都有：商品编码、门店编码 门店信息维度表中一条门店编码对应一条门店信息 商品信息维度表中一条商品编码对应一条商
阅读全文
摘要：简介 点击查看详情 FineBI为企业提供了一站式商业智能解决方案，提供了从数据准备、数据处理、可视化分析、数据共享与管理于一体的完整解决方案 功能结构 数据层：设计用户创建数据源 应用层：设计用户进行仪表板设计，管理用户配置用户和权限体系 展示层：普通用户在前端进行可视化展示和分享来编辑和查看仪表
阅读全文
摘要：字符串函数 path = r"C:\work\python\pandas_files\字符串.xlsx" data = pd.read_excel(path) print(data) output 日期 工号 姓名 年龄 战斗力 温度 状态 里程 特常 地区 拼英 0 2020-05-01 21 丁
阅读全文
摘要：填充 path = r"C:\work\python\pandas_files\数据统计.xlsx" data = pd.read_excel(path,index_col=0) print(data) output 姓名 性别 语文 数学 英语 序号 1 张三 男 89 60 88 2 李四 女
阅读全文
摘要：复合类型 """ 第一层必须是元组 默认情况下，需要每个元素的数据类型保持一致 如果每个元素的元素类型不一致，需要分别指定每个元素的类型 指定元素类的方式： 方式一： np.array(data,dtype="3str,int,3int") 方式二：简写 np.array(data,dtype="U
阅读全文
摘要：安装库 # 打开cmd pip install Numpy # 使用 import numpy as np 创建列表 lst = np.arange(1,11) print(lst) a = lst * 3 print(a) a = lst + 3 print(a) # 输出打印 [ 1 2 3 4
阅读全文
摘要：读取数据源 安装库 pip install pandas # 读取.xls pip install xlrd # 读取.xlsx pip install openpyxl 读取excel import pandas as pd path = r"C:\work\test.xlsx" data = p
阅读全文
摘要：有一组数据，个数为单数 # 位置和具体的值如下 [1][2][3][4][5] 1 3 5 7 36 q1的位置是：(N + 1) * 0.25 = 1.5 q2的位置是：(N + 1) * 0.5 = 3 q3的位置是：(N + 1) * 0.75 = 4.5 q1 = 第1个数 * 0.5 +
阅读全文
摘要：方差、标准差 # 有1组数据 1, 2, 3, 4, 5 平均值 = 3 X1 = 每个值 - 平均值 -2， -1， 0， 1， 2 X2 = X1的平方 4， 1， 0， 1， 4 SX2 = 所有X2相加 SX2 = 10 方差 = SX2/个数 方差 = 2 标准差 = 方差开平方 标准差
阅读全文
摘要：清洗类函数 # 截取指定单元格的前3格字符 =LEFT(D6,3) # 截取右边2个长度 =right(D6,2) # 从第3个字符开始截取，截取3个 =MID(D6,3,3) # 返回字符长度 =len(D6) # 如果时中文，长度返回2 =LENB(D6） # 将字符拼接 =CONCATENAT
阅读全文
浙公网安备 33010602011771号