随笔分类 -  大数据

MathorCup 高校数学建模挑战赛——大数据竞赛 （源代码）
摘要：练习题：观影大数据分析 王 S 聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。 所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是 阅读全文
posted @ 2023-11-30 09:02 YE- 阅读(71) 评论(0) 推荐(0)
虚拟机打开Hbase shell
摘要：1、打开所有hadoop的进程 start-all.sh 2、打开yarn的进程 start-yarn.sh 这是为了防止start-all.sh，没有打开所有，其实不用管他的。 3、node1,node2,node3都打开zookeeper cd /export/server/apache-zoo 阅读全文
posted @ 2023-11-28 17:32 YE- 阅读(149) 评论(0) 推荐(0)
python数据清洗日期格式和ipv4地址格式
摘要：清洗日期格式 import re from datetime import datetime # 读取文件 with open('result.txt', 'r') as file: data = file.read() # 使用正则表达式查找日期时间字符串 pattern = r'(\d{2}/[ 阅读全文
posted @ 2023-10-19 12:04 YE- 阅读(106) 评论(0) 推荐(0)
虚拟机如何打开hive数据库
摘要：1、启动hodoop 2.、启动 hive的服务: metastore cd /export/server/apache-hive-3.1.2-bin/bin ./hive --service metastore 后台启动 nohup ./hive --service metastore & 3、 阅读全文
posted @ 2023-10-13 10:38 YE- 阅读(569) 评论(0) 推荐(0)
HIVE数据分析-数据化可视化展示
摘要：5、数据可视化展示： 利用Echarts将上述统计结果以图形化展示的方式展现出来：饼图、柱状图、地图、折线图等。 界面代码 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>带背景的柱状图</title> <script src= 阅读全文
posted @ 2023-09-23 18:14 YE- 阅读(479) 评论(0) 推荐(0)
HIVE数据分析-数据分析处理
摘要：题目 数据分析处理： （1）统计每天各个机场的销售数量和销售金额。 要求的输出字段 day_id,sale_nbr,,cnt,round 日期编号，卖出方代码，数量，金额 1、创建jichang表存放信息： create table jichang(day_id string,sale_nbr st 阅读全文
posted @ 2023-09-23 17:47 YE- 阅读(78) 评论(0) 推荐(0)
HIVE数据分析-数据清洗
摘要：题目：2、数据清洗： 要求将day_id一列中的数值清洗为真实的日期格式，可用字符串表示。 数据1对应日期2023-09-01，依次类推，15对应日期2023-09-15 二、数据清洗 （2）创建表格存放清洗后的数据： create table sales_y(day_id string,sale_ 阅读全文
posted @ 2023-09-23 17:04 YE- 阅读(153) 评论(0) 推荐(0)
HIVE数据分析-导入数据库
摘要：题目：1、数据导入： 要求将样表文件中的（sales_sample_20170310）数据导入HIVE数据仓库中。 首先，启动hadoop以及hive 出现以上进程，显示成功 将改名后的文件上传到虚拟机 在hive里面的defaul数据库创建表格 use default; show tables; 阅读全文
posted @ 2023-09-22 12:15 YE- 阅读(67) 评论(0) 推荐(0)
FinalShell 安装，连接虚拟机
摘要：# 安装 ## 一、登录 hostbuf.com 网站 [跳转按钮](hostbuf.com) 点击第一条 ![](https://img2023.cnblogs.com/blog/2913371/202307/2913371-20230730164515333-1949603110.png) ## 阅读全文
posted @ 2023-07-30 16:58 YE- 阅读(394) 评论(0) 推荐(0)
基本的Linux命令学习
摘要：1.cd: 改变目录 2.cd.. 回退到上一个目录，直接cd进入默认目录 3. pwd： 显示当前所在目录路径 4.ls(ll)： 都是列出当前目录中的所有文件，只不过ll(l) ... 1、push命令；2、pull命令；3、commit命令；4、add命令；5、checkout命令；6、fet 阅读全文
posted @ 2023-04-30 14:27 YE- 阅读(156) 评论(0) 推荐(0)