2019年7月27日
Java使用JDBC连接Hive
摘要： 最近一段时间，处理过一个问题，那就是hive jdbc的连接问题，其实也不是大问题，就是url写的不对，导致无法连接。问题在于HiveServer2增加了别的安全验证，导致正常的情况下，传递的参数无法使用，hive连接返回用户为空的错误，具体错误不再详谈，今天就说说jdbc的url书写问题。 正常情 阅读全文
posted @ 2019-07-27 19:38 风雨咒之无上密籍 阅读(12620) 评论(0) 推荐(0) 编辑
Cloudera-JDBC-Driver-for-Impala
摘要： Cloudera-JDBC-Driver-for-Impala-Install-Guide-2-5-5.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for- 阅读全文
posted @ 2019-07-27 19:05 风雨咒之无上密籍 阅读(597) 评论(0) 推荐(0) 编辑
Java使用JDBC连接Impala
摘要： 前段时间，有一个项目在连接Impala的时候，可以测试连接成功，但是查询不出表。但是通过impala-shell的时候，是可以查询出来的，我觉的这种方式查询出来的话，可能和jdbc的方式不一样，因为impala-shell连接的端口是21000，jdbc连接的端口是21050。我通过beeline的 阅读全文
posted @ 2019-07-27 18:27 风雨咒之无上密籍 阅读(12778) 评论(0) 推荐(0) 编辑
2019年4月5日
初学单片机：Proteus介绍、Proteus与Keil联调(Windows10环境下)
摘要： Proteus是一个仿真软件，可以在里面设计电路并模拟测试，也可生成PCB的布线等等，反正就是强大的不行。初学单片机，除了开发板，这个仿真器就是一个很好的调式环境。软件安装信息： Proteus 8.7 Keil uvision4 Window 10 很多人说window10安装不成功，其他还好，刚 阅读全文
posted @ 2019-04-05 11:58 风雨咒之无上密籍 阅读(4853) 评论(0) 推荐(0) 编辑
2019年1月26日
Spring MVC集成Swagger2.0
摘要： 在集成Swagger之前，得先说说什么是Swagger，它是用来做什么的，然后再讲讲怎么集成，怎么使用，当然，在这之前，需要了解一下OpenAPI。 OpenAPI OpenAPI 3.0规范定义了一个标准的、语言无关的RESTful APIs，它可以被人和机器所理解和使用，而不需要查找其源码、说明 阅读全文
posted @ 2019-01-26 18:40 风雨咒之无上密籍 阅读(299) 评论(0) 推荐(0) 编辑
2019年1月12日
Spring中通过变量和import标签来控制加载哪些bean
摘要： 需求：根据设置变量，来加载某个spring的bean的配置文件，这个配置文件中，有某些使用的bean。在一些情况下，不希望这些bean被初始化和加载进context中，也不需要被外面访问到。 在spring中，我们通过placeholder类可以读取配置文件，里面可以设置参数，而在配置文件或容器中使 阅读全文
posted @ 2019-01-12 23:46 风雨咒之无上密籍 阅读(1056) 评论(0) 推荐(0) 编辑
2019年1月6日
servlet过滤器Filter使用之DelegatingFilterProxy类
摘要： 正常情况下，我们需要添加一个过滤器，需要实现javax.servlet.Filter接口，再在web.xml中配置filter，如下： 此时，web.xml中增加的配置： 那么，我们为什么要使用Spring的org.springframework.web.filter.DelegatingFilte 阅读全文
posted @ 2019-01-06 00:58 风雨咒之无上密籍 阅读(2832) 评论(0) 推荐(1) 编辑
2019年1月5日
2019了，给自己立一个flag吧
摘要： 新年伊始，元旦已过，虽然有迟了，但是，相对于整年来说，还是比较早。年度总结，年度规划，除过上交的报告以外，还得自己给自己立个flag，一次来督促自己，而不是为了别的。做这些事，不仅仅是为了能更好的工作，也为了能更好的生活。 自己已经毕业四年有余，距离技术大拿的水平还差的远了，那么，这4年来，技术如何 阅读全文
posted @ 2019-01-05 23:18 风雨咒之无上密籍 阅读(336) 评论(0) 推荐(0) 编辑
2019年1月1日
记2018最后一次问题诊断-Spark on Yarn所有任务运行失败
摘要： 2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 阅读全文
posted @ 2019-01-01 17:34 风雨咒之无上密籍 阅读(1123) 评论(1) 推荐(1) 编辑
2018年12月15日
关于hadoop登陆kerberos时设置环境变量问题的思考
摘要： 中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： 设置krb5.conf和core-site.xml、 阅读全文
posted @ 2018-12-15 18:18 风雨咒之无上密籍 阅读(6861) 评论(2) 推荐(0) 编辑