摘要： hive的安装比较简单，百度找一个教程照着来即可，这里将一下安装使用过程中需要注意的点。 当使用或开启hive2server时，需要使用beeline进行连接时，要在hadoop的hdfs-site.xml里面添加如下属性 </property> <property> <name>dfs.webhd 阅读全文

摘要： 以3台linux机器的hdfs集群安装为例，使用hadoop-3.xx版本安装，安装步骤如下 在3台机器上安装好java环境，使用java -version测试是否安装成功 在三台机器上配置静态IP和主机名的映射，vim /etc/hosts进行修改 配置免密码登陆，在主节点上顺序指定以下命令 ss 阅读全文

摘要： 为了监控方便，想把研发环境中的主机节点都纳入Cloudera Manager的管理中，这样在遇到问题时可方便的查看主机的硬件资源情况。 添加主机节点有多种方式，由于我是离线工作，所以选择rpm包的方式安装agent，然后添加节点（还有一种部署本地仓库的方式更简单方便，回头有时间整理一下再发出来）。在 阅读全文

摘要： 如果一个对象想要被多个线程安全的并发访问，那么这个对象必须是或线程安全的或事实不可变的或由锁来保护的。 1.java监视器模式 大多数对象都是组合对象。当从头开始构建一个类，或者将多个非线程安全的类组合为一个类时，java监视器模式是非常有用的。 遵循java监视器模式的对象会把对象的所有可变状态都 阅读全文

摘要： 使用sqluldr2进行oracle数据库表数据抽取时遇到执行后无反应，也不报错，也无日志输出的情况。 经过排查之后发现时由于oracle账户密码快要过期导致的（这也能出问题，我服，类似的plsql连接oracle数据库时也会因为这个原因出现连接不上的问题），把账户密码的期限修改一下即可。注意的是， 阅读全文

摘要： 当访问共享的可变数据时，通常需要同步。一种避免使用同步的方式就是不共享数据。 如果数据仅在单线程内访问，就不需要同步，这种技术称为“线程封闭”，它是实现线程安全性最简单方式之一。 因此，每个线程都new一个类对象去执行的话，同样不会存在线程安全问题。 线程安全问题讨论的是同一个对象在多个线程中使用时 阅读全文

摘要： 类内部方法外部定义的变量为成员变量，方法内部定义的变量为局部变量。 局部变量为基本数据类型（int，long，string，double等）的存储在虚拟机栈中，相应的数据也存放在栈中。 局部变量为引用类型（new）的变量本身存储在虚拟机栈中，相应的引用对象存放在堆中。 成员变量存储在该类在堆中生成的 阅读全文

摘要： 使用maven可以对项目进行很方便的管理，方便体现之一便是项目的打包发布变得方便，本文主要是讲一下maven打包时的一些命令和注意事项（皆是自己从应用中总结的理解，或有不对之处）。 maven项目打包时除了项目源文件代码、shell脚本代码、配置文件等之外，一般还需要pom.xml文件和assemb 阅读全文

摘要： 场景： 由于项目需求，需要借用NIFI进行二次开发，因此需要将NIFI源码进行修改，然后编译，办公环境无外网。 步骤： (1) 找一台可以上网（外网）的机器，安装java环境和maven环境，安装完成后使用java –version 和maven –v命令测试是否安装正确。 (2) 设置maven安 阅读全文

摘要： 1.导入log4j的jar包 2.写log4j.properties文件，配置日志记录参数，一般参数如下所示： 第二行指定了输出日志的目录，此处用的相对路径，也可换成绝对路径； 第三行指定了输出的记录格式，此处为时间 信息类型 程序名称 日志记录所在行数 日志信息，输出如下形式： 3.在程序开始初始 阅读全文