会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
adataer
博客园
首页
新随笔
新文章
联系
管理
订阅
2023年6月28日
《数据仓库工具箱》笔记
摘要: 维度建模 1 选择业务过程 2 声明粒度 3 确认维度 4 确认事实 业务过程是组织完成的操作型活动。 粒度用于确定某一事实表中的行表示什么。在选择维度或事实前必须声明粒度,因为每个候选维度或事实必须与定义的粒度保持一致。 维度提供围绕某一业务过程事件所涉及的 “谁、什么、何处、何时、为什么、如何”
阅读全文
posted @ 2023-06-28 15:21 ADataer
阅读(338)
评论(0)
推荐(0)
2022年10月22日
Hive创建事务表
摘要: 在Hive 0.14版本后,ORC文件能够确保Hive在工作时的ACID性质被正确地得到使用,使得对数据进行更新操作成为可能,但Hive的事务仍被设计成每个事务适用于更新大批量的数据,而不建议用事务频繁地更新小批量的数据。 -- (1) 设置hive环境参数 -- 开启并发支持,支持插入、删除和更新
阅读全文
posted @ 2022-10-22 17:08 ADataer
阅读(783)
评论(0)
推荐(0)
2022年7月17日
Hive Data Definition Language (DDL)
摘要: Create/Drop/Alter/Use Database Create Database CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --REMOTE: hive4使用 [COMMENT database_com
阅读全文
posted @ 2022-07-17 16:34 ADataer
阅读(251)
评论(0)
推荐(0)
2022年6月24日
Hadoop File System Shell Guide
摘要: 官方文档 用法:hdfs dfs | hadoop fs [COMMAND [COMMAND_OPTIONS]] appendToFile 用法:hadoop fs -appendToFile <localsrc> ... <dst> 将本地文件系统中的单个 src 或多个 src 追加到目标文件系
阅读全文
posted @ 2022-06-24 16:11 ADataer
阅读(135)
评论(0)
推荐(0)
2022年6月10日
Hive集成tez引擎
摘要: 在使用Hive 2的时候,启动时会提示:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i
阅读全文
posted @ 2022-06-10 21:11 ADataer
阅读(213)
评论(0)
推荐(0)
Hive元数据配置到MySQL
摘要: cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib vi $HIVE_HOME/conf/hive-site.xml #添加 <?xml version="1.0"?> <?xml-stylesheet type="text
阅读全文
posted @ 2022-06-10 18:01 ADataer
阅读(32)
评论(0)
推荐(0)
Hadoop集成lzo(含maven安装)
摘要: Hadoop本身并不支持lzo压缩,其配置步骤如下 1 maven安装 #下载 https://maven.apache.org/download.cgi #最新版本为apache-maven-3.8.5-bin.tar.gz #解压 tar -zxvf /opt/software/apache-m
阅读全文
posted @ 2022-06-10 17:51 ADataer
阅读(252)
评论(0)
推荐(0)
2022年6月9日
一、大数据环境准备
摘要: ####1.Linux版本选择 CentOS-7-x86_64-DVD-2009.iso ####2.修改ip #查看ip ip addr //hostname -I 仅查看ip地址 #进入配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改
阅读全文
posted @ 2022-06-09 15:41 ADataer
阅读(37)
评论(0)
推荐(0)
2022年5月28日
WindowsOS安装
摘要: ###U盘启动盘制作流程 现在流行用U盘来安装系统,但要用U盘来安装系统的前提条件下是如何将镜像文件写入到U盘里。写入U盘的程序有很多,在下方使用Ultra ISO进行演示。 首选需要准备一个8GB的空U盘插入电脑usb接口当中。 Ultra ISO下载地址 鼠标右键“以管理员身份运行”UltraI
阅读全文
posted @ 2022-05-28 21:44 ADataer
阅读(440)
评论(0)
推荐(0)
公告