随笔分类 -  Data_Warehouse

数据仓库_重刷机制(抛砖引玉)
摘要：先抛出几个问题 1. 存储是不是基石？ 2. 假如存储不挂，数据真的准确吗？ 3. 存储挂了，数据还准确吗？ 4. 如何校验是否正确？如何让其正确？机制是不是必须有？ 注：sqoop抽数据，无error丢数据的概率很小 数据质量校验：数据量校验 count相同吗？count相同内容相同吗？ 数据量相 阅读全文
posted @ 2019-11-30 01:51 tunan96 阅读(351) 评论(0) 推荐(0)
数据仓库_hadoop(1)
摘要：1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ 阅读全文
posted @ 2019-11-28 12:35 tunan96 阅读(239) 评论(0) 推荐(0)
数据仓库_MySQL(3)
摘要：1.整理 sql的where各种条件 2.整理 sql的group 3.整理 sql的join4. 04txt文件的案例 9句sql5.整理刚才分享的小知识点6.补充资料文件夹 去看看执行7.彩蛋 视频 sql 1.整理 sql 的 where 各种条件 where 子句 如需有条件地从表中选取数据 阅读全文
posted @ 2019-11-26 23:11 tunan96 阅读(156) 评论(0) 推荐(0)
数据仓库_MySQL(2)
摘要：整理 建表规范整理 DDL语句的整理 三句话 首先看一个建表例子，再去研究应该遵循哪些规范 create table rzdata( id int(11) not null auto_increment, name varchar(200), age int(3), createuser varch 阅读全文
posted @ 2019-11-23 13:59 tunan96 阅读(276) 评论(0) 推荐(0)
数据仓库_Linux(5)&MySQL(1)
摘要：1.整理 后台执行脚本2.整理 rundeck 视频 部署3.整理 crontab 每隔10s4.整理 软连接 场景 坑5.二进制部署mysql6.重新部署7.部署dbeaver 打通 mysql 1.整理 后台执行脚本 后台执行后命令有三个，分别是： ./test.sh & nohup ./tes 阅读全文
posted @ 2019-11-21 18:14 tunan96 阅读(209) 评论(0) 推荐(0)
数据仓库_Linux(4)
摘要：1.整理 vi2.整理 进程 端口号 3.整理 连接拒绝 (权限受限)4.整理 高危命令5.常用的 wget yum rpm 压缩 vim中的常见用法(部分) 复制 yy 复制多行 nyy 当前行向下粘贴 p 当前行下上粘贴 P 当前位置插入 i(I) 当下位置的下一个位置插入 a(A) 当前行的下 阅读全文
posted @ 2019-11-18 12:13 tunan96 阅读(311) 评论(0) 推荐(0)
数据仓库_Linux(3)
摘要：1.整理 用户用户组2.整理 sudo命令3.整理 用户无法登录 passwd文件4.权限 rwx chmod chown 案例5.其他命令 - su find du等 用户和用户组 针对用户的相关文件在：/usr/sbin/user* [root@aliyun ~]# ll /usr/sbin/u 阅读全文
posted @ 2019-11-17 10:37 tunan96 阅读(282) 评论(0) 推荐(0)
数据仓库_Linux(2)
摘要：1.整理 全局环境变量 个人环境变量 which的理解2.整理 别名3.整理 删除 4.整理 history 全局环境变量 全局环境变量的配置文件是：/etc/profile 全局环境变量中一般配置的是共用的程序环境 比如java 下面以java为例子配置 [root@aliyun ~]# vim 阅读全文
posted @ 2019-11-15 20:15 tunan96 阅读(222) 评论(0) 推荐(0)
数据仓库_Linux(1)
摘要：置空文件的一些坑 1. 最简单的是直接创建一个空文件: [root@aliyun var]# touch test.txt | ll test.txt -rw-r--r-- 1 root root 0 Nov 11 22:29 test.txt [root@aliyun var]# 2. 慎用 ec 阅读全文
posted @ 2019-11-15 19:37 tunan96 阅读(185) 评论(0) 推荐(0)