06 2018 档案

工作备忘------1
摘要：端口 8088 //查看集群状况 16010//查看hbase的状况hbase在shell的命令 list_namespace //列出空间 list_namespace_table '' //列出空间下的所有表 hive命令行 show databases; hive --service hwi 阅读全文
posted @ 2018-06-19 14:33 努力中国
spark读取hive数据
摘要：1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错) 2.代码方面。下面几个测试都可以运行。 1）test03.java 2)Hive03.scala 3) SparkHiveText.scala 运行时会出现类 阅读全文
posted @ 2018-06-13 17:47 努力中国
hive读取hbase数据
摘要：简单的例子看这个:https://blog.csdn.net/dominic_tiger/article/details/70237542 和 https://blog.csdn.net/xiewenbo/article/details/24627323 之前创建时报错 FAILED: Error 阅读全文
posted @ 2018-06-13 09:57 努力中国
hive安装
摘要：上面是要改的hive-site.xml 1.修改环境变量/etc/profile： 执行source /etc.profile： 执行hive --version 有hive的版本显现，安装成功！ 1）当运行时报错 报错信息 解决办法： 这是由于没有初始化数据库，生成元数据。 需要执行以下指令(在h 阅读全文
posted @ 2018-06-11 18:28 努力中国
spark读写ES数据
摘要：主要的maven文件 *之前被ES的jar包坑过。因为引入的jar包有问题，一直引入不成功，按照上面的配置成功了。上面的5.6.3是我安装ES的版本 运行结果 下面是另一个实现读的，但有报错，没有上面的好 阅读全文
posted @ 2018-06-05 09:58 努力中国
ES简单的查询
摘要：案例一 1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子 （1）插入一些测试帖子数据 初步来说，就先搞4个字段，因为整个es是支持json document格式的，所以说扩展性和灵活性非常之好。如果后续随着业务需求的增加，要在document中增加更多的field，那么我们可以很方便的随时添 阅读全文
posted @ 2018-06-01 18:39 努力中国
ES官方认证
摘要：x-pack需要认证，它默认使用30天，30天后需要认证，可以认证基础免费的。认证一次可以免费使用基础版一年时间。x-pack有两种认证，一种是linux命令行认证，一种在UI界面认证 方案一；UI界面认证(这个我认证成功了，推出这个)。 第二种认证：linux命令行认证(这个我没有成功，但可以给你 阅读全文
posted @ 2018-06-01 15:51 努力中国
sparksql对oracle时间做业务处理
摘要：目前sparksql对oracle的时间支持不是很好，查询日期时间时只会显示日期而时间则不会显示，下面是自己改的两个java解决方案 方案一 方案二 方案二查询的结果，建议使用方案二 阅读全文
posted @ 2018-06-01 11:03 努力中国