03 2018 档案
摘要：开发中经常会碰到将IP转为地域的问题，所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库，分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb，不管哪个版本，开发的接口都是相同。 开发环境： hive-2.3.0
阅读全文
摘要：Java依赖环境： 根据官方提供的API，开发测试时，出现以下兼容性问题： GeoIP2 java API : http://maxmind.github.io/GeoIP2-java/ 根据错误信息，定位到fasterxml的兼容出现故障，最后追综到hive2.3.0版本中avatica-1.8.
阅读全文
摘要：解决方案： 在bash提示符下输入： core.quotepath设为false的话，就不会对0x80以上的字符进行quote。中文显示正常。
阅读全文
摘要：oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误：
阅读全文
摘要：在maven项目中出现下面错误信息： 解决方法： 在POM.xml中添加以下依赖包：
阅读全文
摘要：使用jdk1.8后，控制台出现下面提示信息： 在windows-》preferences中： 在edit中，将下面jvm中PermSize和MaxPermSize去掉即可。
阅读全文
摘要：操作步骤： 1. 修改.hiverc文件 在hive的conf文件夹下面，如果没有.hiverc文件，手工自己创建一个。 参照如下格式添加： 第一行为自定义jar包存放的路径。 第二行为定义的funtion全类名，并且指定函数名为myexp; 2.上传jar包 将jar包上次到上面的目录中/usr/
阅读全文
摘要：经常会提示日志类找不到，虽然无关紧要，但是看起来确实别扭。 解决方法：加入相应的依赖包。
阅读全文
摘要：1. 启动脚本 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 参数配置在mapred-site.xml文件中。如
阅读全文
摘要：一、使用单元测试 单元测试在每个项目环境中必不可少，springboot中如何使用单元测试 在src/test/java中新建测试类DemoApplicationTest.java 项目结构： 此时，直接右键运行Junit测试即可 二、查询方法 1. 使用jpa的命名查询 当使用findBy/rea
阅读全文
摘要：在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. A. DataNode的主要工作流程1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2.
阅读全文
摘要：一、介绍默认Yarn NodeManager重启后会断开所有当前正在运行的container的状态，这意味着重启后需要重新启动container进程，该特性的作用就是把NM的状态临时保存到本地，重启后从之前的状态恢复运行。 二、配置 配置以下三个参数到conf/yarn-site.xml中1、yar
阅读全文
摘要：在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：server7server8 resourcemanag
阅读全文
浙公网安备 33010602011771号