关于Gateway
摘要：
为什么要有gateway？就是因为如果没有，很多的功能需要在在每个微服务中都实现，这样成本很高。 阅读全文
posted @ 2018-01-27 23:10 张叫兽的技术研究院 阅读(170) 评论(0) 推荐(0)
Kerberos的hive链接问题
摘要：
javax.security.auth.login.LoginException: Checksum failed 之前碰到过类似的问题，都是因为服务器端的keytab问题；多半是因为重新生成了keytab后，客户端需要重新声场keytab；但是这次不是，即使我重新生成了客户端的keytab仍然无法 阅读全文
posted @ 2018-01-27 10:51 张叫兽的技术研究院 阅读(10017) 评论(2) 推荐(0)
参数不统一，如何进行抽象？
摘要：
今天在设计ImpalaService和HiveService的时候，其实大部分操作都是一样的；但是某些接口的参数不一样，但是我现在想要把他两抽成同一个interface；这意味着必须要接口一致才可以；于是我想到了就是把参数包装成一个参数类，这个参数类包含了双方的所需的参数，按需从这个参数里面处理。 阅读全文
posted @ 2018-01-27 10:38 张叫兽的技术研究院 阅读(409) 评论(0) 推荐(0)
常用Kerberos指令
摘要：
1. 以超管身份进入kadminkadmin.local addprinc -randkey root/master1@JENKIN.COM //生成随机key的principal addprinc admin/admin //生成指定key的principal listprincs //查看pri 阅读全文
posted @ 2018-01-20 22:44 张叫兽的技术研究院 阅读(3266) 评论(0) 推荐(0)
Kerberos的启动和关闭
摘要：
Kerberos概念 1.Kerberos用户 Kerberos的本质是维护一套自己的用户；或者说是核心用户映射，比如你的系统用户里面有hdfs，那么我将会在KDC中创建一套基于机器（假设我们有三台安装了CDH的机器分别为slave1，slave2，slave3)的核心用户，于是需要创建如下用户（对 阅读全文
posted @ 2018-01-20 22:40 张叫兽的技术研究院 阅读(5679) 评论(0) 推荐(0)
Hive的JDBC访问引发的Maven依赖的实践
摘要：
invalid LOC header (bad signature) 原来是因为依赖问题，直接依赖“hive-server”的见解依赖jetty-all有冲突；诡异的是在main方法中执行是OK的，但是放到web工程里面就有问题；推测原因是web工程的tomcat的jar包和hive-server的 阅读全文
posted @ 2018-01-06 18:24 张叫兽的技术研究院 阅读(5802) 评论(0) 推荐(1)
Hive的JDBC访问
摘要：
实现hive查询源码： Invalid status 72 这个错误信息说明jdbc的url有错误；网上很多人发帖子说是hive2的端口是10002，后来发现在cloudera里面的hive2服务的端口是10000. 密码无所谓 至于jdbc里面的用户名和密码即使传“”，其实也无所谓。 阅读全文
posted @ 2018-01-06 18:20 张叫兽的技术研究院 阅读(1220) 评论(0) 推荐(0)
spark远程调试
摘要：
基本流程1.远程运行spark，打开Spark master机器的JVM的jdwp，让其阻塞监听指定端口（8888），让其有终端向指定端口发送特定请求再执行；2.IntelliJ配置socket远程连接spark机器的（扮演终端角色）；然后可成联调大业。实操1. 在远程机器上面提交spark任务，指 阅读全文
posted @ 2018-01-06 18:05 张叫兽的技术研究院 阅读(335) 评论(0) 推荐(0)
Dynamic Web Project vs Static Web Project 以及 Project facets
摘要：
Dynamic Web Project vs Static Web Project 需要用到JSP，servlet等技术的动态服务器技术，就需要DWP；对于全部都是html页面的可以使用static web project，其实SWP的开发使用eclipse有什么意义呢？ Project facet 阅读全文
posted @ 2018-01-06 18:01 张叫兽的技术研究院 阅读(721) 评论(0) 推荐(0)
浙公网安备 33010602011771号