床上小老虎

摘要： 碰到的问题 （1）线程操作问题，因为单机节点，代码加锁就好了，后续再写 （2） 消费者写hdfs的时候以流的形式写入，但是什么时候关闭流就是一个大问题了，这里引入了 fsDataOutputStream.hsync(); 生产者 1 package com.xuliugen.kafka.demo; 阅读全文

摘要： 经常用到，做个眼 如果是单机版 centos（参照给力星 Hadoop配置），要在 core-site.xml 里面配置 ip：9000 别 localhost：9000 windows 不识别 阅读全文

摘要： 启动zookeeper服务（采用kafka内置的zk） 启动kafka服务 创建一个topic kafka生产者生产消息 消费者消费消息 代码测试： 这里用了idea produce comsumer pom.xml 1 抄袭自 2 https://blog.csdn.net/xlgen157387 阅读全文

摘要： hive 处理 时间问题 （1） hive 获取 近一个月，近几个月的 信息 当前时间为 2019-03-18 运行结果为 2019-02-18 ，，-1 代表月，+n是向前推，-n是向后推，0是天数的加减，0 为不改变天数日期 yyyy-mm-dd 是需要生成日期函数的格式（也可yyyyMMd） 阅读全文

摘要： https://www.cnblogs.com/xxbbtt/p/8143593.html 阅读全文

摘要： 他所解析的json为 阅读全文

摘要： 1.安装就不说了，说了也没意思 2. sqoop shell命令（create table tang（int id primary key，name varchar(50) ） 1.列出mysql数据库所有的数据库 2.在sqoop上运行sql语句，用于检测sqoop连接mysql的可用性 3.sq 阅读全文

摘要： 准备环境 3台节点，主节点 建议 2G 内存，两个从节点 1.5G内存， 桥接网络 关闭防火墙 配置ssh，让节点之间能够相互 ping 通 准备 软件放到 autoInstall 目录下，已存放 hadoop-2.9.0.tar.gz 备注： hadoop2系列应该都可以使用jdk-8u151-l 阅读全文

摘要： 1。如果本机代码没问题，jar包没问题的话，检查集群也没用问题，但是代码运行显示 找不到对应的映射主机，需要在 C:\Windows\System32\drivers\etc 中修改host文件，增加主机映射 2.代码的话，只需要更改配置项 zk的列表就可以了 具体的结果需要自己去演示，关于hbas 阅读全文