2023年6月28日
摘要: 维度建模 1 选择业务过程 2 声明粒度 3 确认维度 4 确认事实 业务过程是组织完成的操作型活动。 粒度用于确定某一事实表中的行表示什么。在选择维度或事实前必须声明粒度,因为每个候选维度或事实必须与定义的粒度保持一致。 维度提供围绕某一业务过程事件所涉及的 “谁、什么、何处、何时、为什么、如何” 阅读全文
posted @ 2023-06-28 15:21 ADataer 阅读(128) 评论(0) 推荐(0) 编辑
  2022年10月22日
摘要: 在Hive 0.14版本后,ORC文件能够确保Hive在工作时的ACID性质被正确地得到使用,使得对数据进行更新操作成为可能,但Hive的事务仍被设计成每个事务适用于更新大批量的数据,而不建议用事务频繁地更新小批量的数据。 -- (1) 设置hive环境参数 -- 开启并发支持,支持插入、删除和更新 阅读全文
posted @ 2022-10-22 17:08 ADataer 阅读(520) 评论(0) 推荐(0) 编辑
  2022年7月17日
摘要: Create/Drop/Alter/Use Database Create Database CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --REMOTE: hive4使用 [COMMENT database_com 阅读全文
posted @ 2022-07-17 16:34 ADataer 阅读(184) 评论(0) 推荐(0) 编辑
  2022年6月24日
摘要: 官方文档 用法:hdfs dfs | hadoop fs [COMMAND [COMMAND_OPTIONS]] appendToFile 用法:hadoop fs -appendToFile <localsrc> ... <dst> 将本地文件系统中的单个 src 或多个 src 追加到目标文件系 阅读全文
posted @ 2022-06-24 16:11 ADataer 阅读(57) 评论(0) 推荐(0) 编辑
  2022年6月10日
摘要: 在使用Hive 2的时候,启动时会提示:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i 阅读全文
posted @ 2022-06-10 21:11 ADataer 阅读(131) 评论(0) 推荐(0) 编辑
摘要: cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib vi $HIVE_HOME/conf/hive-site.xml #添加 <?xml version="1.0"?> <?xml-stylesheet type="text 阅读全文
posted @ 2022-06-10 18:01 ADataer 阅读(22) 评论(0) 推荐(0) 编辑
摘要: Hadoop本身并不支持lzo压缩,其配置步骤如下 1 maven安装 #下载 https://maven.apache.org/download.cgi #最新版本为apache-maven-3.8.5-bin.tar.gz #解压 tar -zxvf /opt/software/apache-m 阅读全文
posted @ 2022-06-10 17:51 ADataer 阅读(169) 评论(0) 推荐(0) 编辑
  2022年6月9日
摘要: ####1.Linux版本选择 CentOS-7-x86_64-DVD-2009.iso ####2.修改ip #查看ip ip addr //hostname -I 仅查看ip地址 #进入配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改 阅读全文
posted @ 2022-06-09 15:41 ADataer 阅读(16) 评论(0) 推荐(0) 编辑
  2022年5月28日
摘要: ###U盘启动盘制作流程 现在流行用U盘来安装系统,但要用U盘来安装系统的前提条件下是如何将镜像文件写入到U盘里。写入U盘的程序有很多,在下方使用Ultra ISO进行演示。 首选需要准备一个8GB的空U盘插入电脑usb接口当中。 Ultra ISO下载地址 鼠标右键“以管理员身份运行”UltraI 阅读全文
posted @ 2022-05-28 21:44 ADataer 阅读(373) 评论(0) 推荐(0) 编辑