摘要：
1.连接数据源很多选项：hive mysql Oracle 等所有数据库 2.写上hive2的那个客户端连接，下边会显示出让我装连接的驱动 ，所有jdbc都需要这样 点进去找到windows的下载一键安装即可，后续连接数据可以看到表 使用一个openStree的图层 阅读全文
posted @ 2019-02-01 11:10
夜半钟声到客船
阅读(436)
评论(0)
推荐(0)
摘要：
maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse... 阅读全文
posted @ 2019-01-31 19:24
夜半钟声到客船
阅读(830)
评论(0)
推荐(0)
摘要：
maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse... 阅读全文
posted @ 2019-01-31 19:18
夜半钟声到客船
阅读(686)
评论(0)
推荐(0)
摘要：
日志格式202.108.16.254^A1546795482.600^A/cntv.gif?appId=3&areaId=8213&srcContId=2535575&areaType=1&srcContName=%E5%88%87%E7%89%B9%E9%87%8C%E6%A2%85%E5%BC%80%E4%BA%8C%E5%BA%A6+%E5%8D%B0%E5%BA%A64-1%E5%A4%... 阅读全文
posted @ 2019-01-31 17:02
夜半钟声到客船
阅读(995)
评论(0)
推荐(0)
摘要：
https://github.com/wzhe06/ipdatabase ip解析 https://github.com/flyaction/ipdatabase 比较新 https://github.com/itbdw/ip-database 很全面 php写的 https://github.co 阅读全文
posted @ 2019-01-31 16:02
夜半钟声到客船
阅读(1389)
评论(0)
推荐(0)
摘要：
idea开发必须是把Mapper文件与配置文件放到Resources标记的classpath目录下，eclips好像放到哪都行指定好路径就可以了， maven里面做好配置resources的路径，不然更新依赖 工程结构标记又没了 1.原生使用sqlsessionFcatory去做数据库操作，很麻烦 阅读全文
posted @ 2019-01-31 14:56
夜半钟声到客船
阅读(872)
评论(0)
推荐(0)
摘要：
split方法在大数据开发中的多用于日志解析及字段key值分割，最近需求中碰到一个问题在 无论怎么分割都会出现数组下标越界问题， 由于前台在sdk中多加了几个字段（测试数据很少，大多为空） ，需要我们进行字段补全插入到mysql中，但项目过于老，2016年项目使用的是spark1.5.2不说，使用j 阅读全文
posted @ 2019-01-30 10:20
夜半钟声到客船
阅读(936)
评论(0)
推荐(0)
摘要：
1.注册函数，使用using jar方式在hdfs上引用udf库。 $hive>create function formattime as 'com.bigdata.udf.FormatTimeUDF' using jar 'hdfs://hadoop01/app/app-logs-hive-1.0-SNAPSHOT.jar';2.注销函数，只需要删除mysql的hive数据记录即可。 de... 阅读全文
posted @ 2019-01-25 18:03
夜半钟声到客船
阅读(1274)
评论(0)
推荐(0)
摘要：
很简单的sql 用户分析语句 ：只要自定义简单的udf函数 获取统计时间createdatms字段的 使用的日历类 add方法 和simpledateformat 将long类型的 定义多个重载方法 获取返回值int类型 或者long类型 进行时间判断即可 getdaybegin（天开始），比如20 阅读全文
posted @ 2019-01-25 17:57
夜半钟声到客船
阅读(5440)
评论(0)
推荐(0)
摘要：
大数据非常前卫的it网站 https://www.iteblog.com/archives/tag/hadoop/ 1.多个服务的默认端口被改变 在此之前，多个Hadoop服务的默认端口都属于Linux的临时端口范围（32768-61000）。这就意味着我们的服务在启动的时候可能因为和其他应用程序产 阅读全文
posted @ 2019-01-25 17:47
夜半钟声到客船
阅读(213)
评论(0)
推荐(0)
浙公网安备 33010602011771号