09 2019 档案

大数据各个工具随笔
摘要：# 基本配置 ```shell#目录结构： bin：二进制的客户端命令 etc：存放配置文件 etc/conf lib：存放jar包的目录 sbin：存放管理类的脚本启动服务 share：hadoop所有的jar包 #查看主机名 hostname#临时修改主机名 hostname hadoop#永久 阅读全文
posted @ 2019-09-20 21:01 DiYong 阅读(903) 评论(0) 推荐(0)
初入Shell
摘要：shell 第1章 Shell概述 大数据程序员为什么要学习Shell呢？ 1）需要看懂运维人员编写的Shell程序。 2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。 第2章 Shell解析器 （1）Linux提供的Shell解析器有： （2）bash和sh的关系 （3）Centos 阅读全文
posted @ 2019-09-19 09:15 DiYong 阅读(320) 评论(0) 推荐(0)
第4章 DDL数据定义
摘要：第4章 DDL数据定义 4.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） 3）创建一个数据库，指定数据库在HDFS上存放的位置 4.2 阅读全文
posted @ 2019-09-05 00:00 DiYong 阅读(306) 评论(0) 推荐(0)
第3章 Hive数据类型
摘要：Hive数据类型 阅读全文
posted @ 2019-09-04 23:49 DiYong 阅读(323) 评论(0) 推荐(0)
第2章 Hive安装
摘要：第2章 Hive安装 2.1 Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://arch 阅读全文
posted @ 2019-09-04 23:42 DiYong 阅读(510) 评论(0) 推荐(0)
第1章 Hive入门
摘要：Hive架构原理 阅读全文
posted @ 2019-09-04 23:16 DiYong 阅读(240) 评论(0) 推荐(0)
Hive学习目录
摘要：Hive学习目录 阅读全文
posted @ 2019-09-04 16:31 DiYong 阅读(453) 评论(0) 推荐(0)
Hive笔记
摘要：* hadoop的主节点 hdfs集群启动用户下1 解压2 配置环境变量3 初始化元数据库 hive命令初始化元数据库schematool -dbType derby -initSchemaschematool -dbType mysql -initSchema 初始化元数据* mv metasto 阅读全文
posted @ 2019-09-04 15:08 DiYong 阅读(284) 评论(0) 推荐(0)
Hbase写入流程图
摘要：写入流程图 阅读全文
posted @ 2019-09-03 16:46 DiYong 阅读(542) 评论(0) 推荐(0)
META.表
摘要：META.表 阅读全文
posted @ 2019-09-03 16:45 DiYong 阅读(152) 评论(0) 推荐(0)
hbase运行流程图
摘要：hbase运行流程图 阅读全文
posted @ 2019-09-03 16:44 DiYong 阅读(594) 评论(0) 推荐(0)
9.hbase相关进程作用
摘要：1、协调服务组件Zookeeper Zookeeper的作用如下： 1. 保证任何时候，集群中只有一个HMaster； 2. 存储所有的HRegion的寻址入口； 3. 实时监控HRegionServer的上线和下线信息，并实时通知给HMaster； 4. 存储HBase的schema和table元 阅读全文
posted @ 2019-09-03 16:43 DiYong 阅读(1198) 评论(0) 推荐(0)
8.hbase写入流程和读取流程
摘要：1 hbase写入流程 hbase中无论是新增数据还是修改已有行，其内部流程都是一样的，hbase执行写入时会写到两个地方，write-ahead log 简称wal 也叫hlog 预写式日志 和 MemStore，hbase默认把数据先写到这两个地方，只有这两个地方的变化都写入并确认后，才认为写动 阅读全文
posted @ 2019-09-03 16:42 DiYong 阅读(1040) 评论(0) 推荐(0)
7.hbase shell命令 cmd
摘要：$HADOOP_USER_NAME #创建命名空间create_namespace 'bd1902' #展示所有命名空间 list_namespace #删除命名空间,The namespace must be empty.drop_namespace 'IMUT' create 't1', 'f1 阅读全文
posted @ 2019-09-03 16:41 DiYong 阅读(503) 评论(0) 推荐(0)
6.ssh免密码登录原理图
摘要：ssh免密码登录原理图 阅读全文
posted @ 2019-09-03 16:40 DiYong 阅读(224) 评论(0) 推荐(0)
4.设置静态IP
摘要：由于Ubuntu重启之后，ip很容易改变，可以用以下方式固定ip地址 1.设置ip地址 vi /etc/network/interface # The loopback network interfaceauto loiface lo inet loopback # The primary netw 阅读全文
posted @ 2019-09-03 16:39 DiYong 阅读(470) 评论(0) 推荐(0)
5.SSH 免密码登陆
摘要：SSH 免密码登陆 serverA 机器上 userA 用户，想要免密钥登陆到serverB机器上 1、集群中的所有机器 安装ssh 服务端sudo apt-get updatesudo apt-get install openssh-server 2、查看ssh运行状态 ps -e | grep 阅读全文
posted @ 2019-09-03 16:39 DiYong 阅读(146) 评论(0) 推荐(0)
3.配置及其名ip映射
摘要：sudo vi /etc/hosts 192.168.117.50 master192.168.117.60 slave1192.168.117.70 slave2192.168.117.80 slave3添加以上内容，避免有重复机器名出现 阅读全文
posted @ 2019-09-03 16:38 DiYong 阅读(240) 评论(0) 推荐(0)
2.修改机器时间或者时区
摘要：HBase配置修改机器时间或者时区 阅读全文
posted @ 2019-09-03 16:37 DiYong 阅读(410) 评论(0) 推荐(0)
1.配置文件内容
摘要：单机模式 部署创建目录sudo mkdir /home/briup/software/data/hbase/logs sudo chown hbase:hadoop /home/briup/software/data/hbase/logs 1 解压后 进入 hbase-2.0.1/conf 目录 修 阅读全文
posted @ 2019-09-03 16:36 DiYong 阅读(243) 评论(0) 推荐(0)
个人笔记
摘要：JDBC操作 固定6个步骤 1.注册驱动【源码装入内存 2.建立数据库连接 3.获取一个Statement对象 4.执行sql语句 5.处理结果集【如果有的话】 比较繁琐 用户自己提取数据 封装处理 6.释放资源 结论: 1.jdbc操作固定6步骤 代码复用率太低 重复动作 2.结果集处理 过于繁琐 阅读全文
posted @ 2019-09-03 16:08 DiYong 阅读(333) 评论(0) 推荐(0)
Mybatis_day3
摘要：三 使用XML配置SQL映射器(映射文件) 关系型数据库和SQL是经受时间考验和验证的数据存储机制。和其他的ORM 框架如Hibernate不同，【MyBatis鼓励】开发者可以直接【使用数据库】，而不是将其对开发者隐藏，因为这样可以充分发挥数据库服务器所提供的SQL语句的巨大威力。 与此同时，My 阅读全文
posted @ 2019-09-03 15:22 DiYong 阅读(244) 评论(0) 推荐(0)
Mybatis_day2
摘要：二 mybatis配置详解 MyBatis最关键的组成部分是SqlSessionFactory，我们可以从中获取SqlSession， 并执行映射的SQL语句。SqlSessionFactory对象可以通过基于XML的配置信息或者JavaAPI创建。而mybatis-config.xml配置文件就是 阅读全文
posted @ 2019-09-03 15:16 DiYong 阅读(187) 评论(0) 推荐(0)
Mybatis_day1
摘要：mybatis框架的引入: JDBC里面 对功能实现的进一步封装，可以按照以下方式操作 Student s = new Student(id,name); util.save(s); ORM: object relation mapping 【对象】【关系】映射 将对象 映射到 数据库中 类名 数据 阅读全文
posted @ 2019-09-02 14:10 DiYong 阅读(214) 评论(0) 推荐(0)