时间的往事

摘要： 1. 给数据库添加登录用户和权限 阅读全文

摘要： 程序员圈子想创业的人大笔，一方面拥有相应的技术能力，特别在当下互联网+的时代，看起来起步相对来说门槛较低。 以下是别人总结的几个观点，觉得还是不错的，值得深思，括号内为自己的观点： 1、首要忌讳：态度不坚决，兼职创业，没有ALL IN心态和放手一搏意识的； （这点其实阻碍了大多数人的行动，全职创业确 阅读全文

摘要： java实时程序在运行过程中偶尔出现异常信息中断的情况，通过shell脚本即可完成自启动。 以下为监控一个实时的java程序的shell脚本。 通过每10秒检查一次java程序的进程，来判断程序是否处于运行中。如果未发现程序，则执行程序的启动脚本。 对于启动过程中的状态信息，会通过钉钉机器人实时发送 阅读全文

摘要： hive表增量抽取到oracle数据库的通用程序(一) 前一篇介绍了java程序的如何编写、使用以及引用到的依赖包。这篇接着上一篇来介绍如何在oozie中使用该java程序。 在我的业务中，分为两段： 1. 查询hive表中的信息，通过oozie可以设置不同的变量作为增量查询的条件。 2. 将hiv 阅读全文

摘要： 当jar程序执行异常中断时，希望系统能够自动启动。通过以下shell脚本监控程序一直运行。 阅读全文

摘要： 参考这里： https://blog.csdn.net/Mark_LQ/article/details/53393081 阅读全文

摘要： hive表增量抽取到oracle数据库的通用程序(二) sqoop在export的时候 只能通过--export-dir参数来指定hdfs的路径。而目前的需求是需要将hive中某个表中的多个分区记录一次性导出到oracle数据库中，由于不支持通配符，又不想设置多个workflow。为了替代蹩脚的sq 阅读全文

摘要： 今天碰到个需求，根据字段个数，动态生成sql的占位符，如下： 显示结果： 来个实际的例子： 输入参数tableName, fieldNames, 显示如下： 阅读全文

摘要： 1. 关系型数据库到hive 2. hive到关系型数据库 阅读全文

摘要： 日志中出现以下异常信息，程序中断退出。 目前参考别人的修改下面的配置，原来使用的hostname，改成IP，再观察观察。 advertised.listeners=PLAINTEXT://192.168.1.101:9092 参考： https://www.cnblogs.com/cyfonly/p 阅读全文

摘要： 1. 首先，vue.js是一种前端框架，一般利用vue创建项目是要搭配webpack项目构建工具的，而webpack在执行打包压缩的时候是依赖node.js的环境的，所以，要进行vue项目的开发，我们首先要安装node.js。node.js的官方地址为：https://nodejs.org/en/d 阅读全文

摘要： Jackson所有的操作都是通过ObjectMapper对象实例来操作的，可以重用这个对象实例。 首先定义一个实例： 定义一个Student类: 准备一个字符串： 常规操作: 字符串转对象 打印输出结果： 常规操作: 对象转字符串 打印输出结果： 如何改变输出的日期字段格式? 两种方式：一种Simp 阅读全文

摘要： 目前没发现有什么方便的函数可以直接使用，只能使用concat来手工拼接。 注意将null的字段值转为空，使用nvl函数 1. 如果将hql语句写在script.q文件里面如下: shell select concat('{"data_dt":"',a.data_dt, '","user":"',NV 阅读全文

摘要： 这里是window的版本，由微软维护的： 阅读全文

摘要： 常用有三种json解析jackson、fastjson、gson。 1. jackson依赖包 2. fastjson 遇到对象转json字符串时,如果对象中的属性字段为null，则不会显示出来。解决方法 3. gson ` ` 阅读全文

摘要： 使用AOP来说，太方便了，并且特别适合这类场景。 代码如下，这里是将要统计的信息写到log文件中，也可以设计成写入表中。 阅读全文

摘要： 什么是跨域？ 跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器施加的安全限制。 所谓同源是指，域名，协议，端口均相同，不明白没关系，举个栗子： http://www.123.com/index.html 调用 http://www.123.com/server.php 阅读全文

摘要： 在开发阶段一直使用以下方式调试没有问题： 但是，打包编译后，放到linux环境下，发现报空指针错误，这里的 不再起作用了，并且返回值为null。 后面采用了下面的方式： 阅读全文

摘要： 根据出错信息是找不到hive的位置，所以想到的解决方法是： 1. 在sqoop的workflow中添加job xml，属性写hive site.xml在hdfs上的位置。 (fail) 2. 直接配置一个hive home的属性,类似于下面的 (fail) 3. 在arg参数中添加hive home 阅读全文

摘要： 出错在 KStreamFlatMapValues 方法执行时，由于json异常数据无法解析，结果生成的值为null,报错信息如下： 问题解决方案： 1. 对json解析的bean添加未知字段忽略 2. 由于报空指针错误，所以解决空指针问题，即判断为null时创建一个空对象. 3. 完整的示例代码如下 阅读全文