上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 22 下一页
2018年4月18日
KafkaStream时间戳问题CreateTime = -1引起的程序中断
摘要： 之前直接改了源码。后来从度娘中找到解决方法： 新增时间异常捕获类MyEventTimeExtractor.class, 直接返回0 然后在属性添加下面配置： 编译执行，ok 阅读全文
posted @ 2018-04-18 18:43 硅谷工具人 阅读(2031) 评论(1) 推荐(0)
flume采集启动报错，权限不够
摘要： 权限不够 注意这里的这个/home/hadoop/king/flume/103104/trackerDir/.flumespool main.meta 文件是个隐藏文件， 刚开始没找到，后面使用ll a找到了。 然后修改权限 chmod 777 /home/hadoop/king/flume/103 阅读全文
posted @ 2018-04-18 16:34 硅谷工具人 阅读(1332) 评论(0) 推荐(0)
(转)kafka发布消息报错LEADER_NOT_AVAILABLE
摘要： 今天居然碰到这个错误，参考以下解决方案： 修改server.properties，然后将每个节点的kafka重启即可解决。 查看集群是否有broker没有运行 阅读全文
posted @ 2018-04-18 16:12 硅谷工具人 阅读(22010) 评论(0) 推荐(1)
2018年4月13日
测试markdown编辑器
摘要： 标题1 标题2 +++ 第一件事 +++ 第二件事 +++ 第三件事 |head|头|头栏| |body|body|body| 阅读全文
posted @ 2018-04-13 08:58 硅谷工具人 阅读(123) 评论(0) 推荐(0)
2018年4月12日
KafkaStream实现wordcount
摘要： KTable应用 阅读全文
posted @ 2018-04-12 17:25 硅谷工具人 阅读(637) 评论(0) 推荐(0)
java执行jar包
摘要： 一般运行包含manifest的jar包，可以使用 如果jar里没有 manifest，则可以使用 当main类依赖多个jar时，可以把多个jar打包到一个目录，然后用-Djava.ext.dirs指定该目录，引用依赖的多个jar。 如果用-cp则需要写每一个jar，很麻烦。 阅读全文
posted @ 2018-04-12 15:04 硅谷工具人 阅读(9413) 评论(0) 推荐(0)
2018年4月10日
集群同步hive的脚本
摘要： 程序员就是把一切手工做的事情变成让计算机来做，从而可以让自己偷偷懒。 以下就是个非常low的hive文件夹同步程序，至于节点超过100个或者1000个的，可以加个循环了。 阅读全文
posted @ 2018-04-10 10:08 硅谷工具人 阅读(876) 评论(0) 推荐(0)
oozie中调度mapreduce
摘要： mapreduce可以直接对hdfs进行清洗和计算，这里介绍oozie中如何调度使用。 操作步骤如下： 案例：统计单词大小。 2.在workflow中可能引用 注意事项： 如果将mapper和reduce写在同一个类中时，在编译后生成的类如下，所以在workflow中填写，按照下面的类填写。 阅读全文
posted @ 2018-04-10 09:43 硅谷工具人 阅读(796) 评论(0) 推荐(0)
2018年4月3日
hive & hive beeline常用参数
摘要： beeline常用操作： 1. 将查询结果输出到临时文件中 -f 对应查询的脚本 script.q --outputformat=csv2 以逗号分隔 --silent=true 静默方式执行，注意：输出文件的时候必须以静默方式运行，否则输出的文本中带有很多程序执行信息。 上述命令执行完成后发现输出 阅读全文
posted @ 2018-04-03 10:27 硅谷工具人 阅读(20122) 评论(0) 推荐(0)
2018年4月2日
hive常用操作
摘要： 1. 文件导入到hdfs 从本地/tmp/path下拷贝文件上传到hive表test中的CHINA分区中。 LOAD DATA LOCAL INPATH '/tmp/path/' OVERWRITE INTO TABLE test PARTITION (country='CHINA') 2. hiv 阅读全文
posted @ 2018-04-02 15:46 硅谷工具人 阅读(348) 评论(0) 推荐(0)
2018年3月26日
Hive UDF IP解析（二）：使用geoip2数据库自定义UDF
摘要： 开发中经常会碰到将IP转为地域的问题，所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库，分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb，不管哪个版本，开发的接口都是相同。 开发环境： hive-2.3.0 阅读全文
posted @ 2018-03-26 14:14 硅谷工具人 阅读(2707) 评论(2) 推荐(0)
Hive UDF IP解析（一）：依赖包兼容性问题
摘要： Java依赖环境： 根据官方提供的API，开发测试时，出现以下兼容性问题： GeoIP2 java API : http://maxmind.github.io/GeoIP2-java/ 根据错误信息，定位到fasterxml的兼容出现故障，最后追综到hive2.3.0版本中avatica-1.8. 阅读全文
posted @ 2018-03-26 11:52 硅谷工具人 阅读(2452) 评论(3) 推荐(0)
2018年3月25日
git中文乱码解决方案
摘要： 解决方案： 在bash提示符下输入： core.quotepath设为false的话，就不会对0x80以上的字符进行quote。中文显示正常。 阅读全文
posted @ 2018-03-25 11:16 硅谷工具人 阅读(1380) 评论(0) 推荐(0)
2018年3月24日
oozie调度sqoop脚本时操作符号替换
摘要： oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误： 阅读全文
posted @ 2018-03-24 17:36 硅谷工具人 阅读(495) 评论(0) 推荐(0)
2018年3月22日
Missing artifact jdk.tools:jdk.tools:jar:1.8 pom.xml
摘要： 在maven项目中出现下面错误信息： 解决方法： 在POM.xml中添加以下依赖包： 阅读全文
posted @ 2018-03-22 11:28 硅谷工具人 阅读(3061) 评论(0) 推荐(0)
2018年3月21日
warning: ignoring option PermSize=256m; support was removed in 8.0
摘要： 使用jdk1.8后，控制台出现下面提示信息： 在windows-》preferences中： 在edit中，将下面jvm中PermSize和MaxPermSize去掉即可。 阅读全文
posted @ 2018-03-21 11:35 硅谷工具人 阅读(9555) 评论(0) 推荐(0)
2018年3月13日
Hive中如何添加自定义UDF函数以及oozie中使用hive的自定义函数
摘要： 操作步骤： 1. 修改.hiverc文件 在hive的conf文件夹下面，如果没有.hiverc文件，手工自己创建一个。 参照如下格式添加： 第一行为自定义jar包存放的路径。 第二行为定义的funtion全类名，并且指定函数名为myexp; 2.上传jar包 将jar包上次到上面的目录中/usr/ 阅读全文
posted @ 2018-03-13 13:32 硅谷工具人 阅读(418) 评论(0) 推荐(0)
2018年3月9日
Failed to load class "org.slf4j.impl.StaticLoggerBinder"
摘要： 经常会提示日志类找不到，虽然无关紧要，但是看起来确实别扭。 解决方法：加入相应的依赖包。 阅读全文
posted @ 2018-03-09 16:55 硅谷工具人 阅读(7700) 评论(0) 推荐(1)
2018年3月5日
hadoop中的Jobhistory历史服务器
摘要： 1. 启动脚本 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 参数配置在mapred-site.xml文件中。如 阅读全文
posted @ 2018-03-05 16:50 硅谷工具人 阅读(7738) 评论(0) 推荐(0)
2018年3月4日
spingboot集成jpa(二）
摘要： 一、使用单元测试 单元测试在每个项目环境中必不可少，springboot中如何使用单元测试 在src/test/java中新建测试类DemoApplicationTest.java 项目结构： 此时，直接右键运行Junit测试即可 二、查询方法 1. 使用jpa的命名查询 当使用findBy/rea 阅读全文
posted @ 2018-03-04 17:04 硅谷工具人 阅读(256) 评论(0) 推荐(0)
上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 22 下一页
成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。