xiaolaotou

2019年2月22日

摘要： maven 默认使用的 jdk 版本新建一个 maven 项目，如下：项目左下方出现一个感叹号，JRE 显示的是 1.5 版本。解决方式有两种， (1).一种是配置 pom.xml. (2).一种是配置 settings.xml 方式一：settings.xml 配置打开 %maven%/c 阅读全文

posted @ 2019-02-22 10:59 xiaolaotou 阅读(11638) 评论(0) 推荐(0)

java操作hive和beeline的使用

摘要：一、java操作hive 1、启动服务:hiveserver2，让hive开启与外部连接的服务 nohup hiveserver2 1>/dev/null 2>/dev/null &2、加入hive的依赖包 <dependency> <groupId>org.apache.hive</groupId 阅读全文

posted @ 2019-02-22 10:46 xiaolaotou 阅读(3337) 评论(0) 推荐(0)

Hbase读写流程

摘要：一、hbase的读操作： ZooKeeper meta--regionserver--region--memstore--storefile 1、首先从zookerper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息 2、根据namesp 阅读全文

posted @ 2019-02-22 10:39 xiaolaotou 阅读(10324) 评论(1) 推荐(2)

TDH-Search常用命令

摘要：一、指令部分： 1.search管理界面地址： http://172.20.230.110:9200/_plugin/head/ 2.集群状态查看命令： curl -XGET 'localhost:9200/_cluster/health?pretty' curl -XGET 'localhost: 阅读全文

posted @ 2019-02-22 10:31 xiaolaotou 阅读(550) 评论(0) 推荐(0)

2019年2月21日

选择分桶字段和计算分桶的正确方法

摘要：一、选出合理的分桶字段。可以拿 (字段中重复值最多的记录数/表的总记录数) 的值作为是否可以作为分桶字段的依据。  查询字段中重复值最多的记录数： COL_COUNT=select column1，count(1) cnt from table_name group by column1 or 阅读全文

posted @ 2019-02-21 18:04 xiaolaotou 阅读(4357) 评论(3) 推荐(0)

ssh 免密设置

摘要：在master中生成dsa： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 让matser与slave01做免密： ssh-copy-id -i slave01 测试在master中输入ssh slave01，成功就可以了让matser与slave02做免密：阅读全文

posted @ 2019-02-21 17:58 xiaolaotou 阅读(204) 评论(0) 推荐(0)

hdfs读写删除过程解析

摘要：一、hdfs文件读取过程 hdfs有一个FileSystem实例，客户端通过调用这个实例的open()方法就可以打开系统中希望读取的文件，hdfs通过rpc协议调用Nadmenode获取block的位置信息，对于文件的每一块，Namenode会返回含有该block副本的Datanode的节点地址；客阅读全文

posted @ 2019-02-21 17:55 xiaolaotou 阅读(2270) 评论(0) 推荐(0)

flume集成hdfs(hdfs开启kerberos认证)

摘要：）当 sink 到 hdfs 时： ) 需修改 flume-env.sh 配置，增添 hdfs 依赖库： FLUME_CLASSPATH="/root/TDH-Client/hadoop/hadoop/*:/root/TDHClient/hadoop/hadoop-hdfs/*:/root/TDH- 阅读全文

posted @ 2019-02-21 17:18 xiaolaotou 阅读(1399) 评论(0) 推荐(0)

flume集成kafka(kafka开启kerberos)配置

摘要：根据flume官网：当kafka涉及kerberos认证：涉及两点配置，如下：配置一：见下实例中红色部分配置conf实例： [root@gz237-107 conf]# cat flume_slipstream.conf a1.sources =r1 a1.sinks = k1 a1.chan 阅读全文

posted @ 2019-02-21 14:21 xiaolaotou 阅读(3086) 评论(0) 推荐(0)

Hbase面试题总结

该文被密码保护。阅读全文

posted @ 2019-02-21 14:17 xiaolaotou 阅读(19) 评论(0) 推荐(0)

公告