05 2019 档案

Phoneix（一）简介及常用命令
摘要：一、简介 Apache Phoneix是运行在HBase之上的高性能关系型数据库，通过Phoneix可以像使用jdbc访问关系型数据库一样访问HBase。 Phoneix操作的表以及数据存储在HBase上，phoneix只需要和HBase进行表关联。然后在用工具进行一些读写操作。 可以把Phonei 阅读全文
posted @ 2019-05-21 10:21 xiaolaotou 阅读(2569) 评论(0) 推荐(0)
Phoneix（四）hbase导入数据同时与phoenix实现映射同步
摘要：一、说明 先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。 1、数据准备（10W条，样例如下），文件test.txt 2、上传到hdfs /tmp/下 1、在hbase中创建好表 2、在phoenix中建立相同的表名以实现与hbase表的映射 注意： a 阅读全文
posted @ 2019-05-20 18:22 xiaolaotou 阅读(2178) 评论(0) 推荐(0)
Phoneix（三）HBase集成Phoenix创建二级索引
摘要：一、Hbase集成Phoneix 1、下载 2、上传并解压 3、将phoenix-core-4.13.1-HBase-1.2.jar、phoenix-4.13.1-HBase-1.2-server.jar发送到hregionserver所在的hbase的lib目录下： 4、重启Hbase 5、启动p 阅读全文
posted @ 2019-05-20 11:59 xiaolaotou 阅读(3345) 评论(0) 推荐(0)
Hive数据导入Hbase
摘要：方案一：Hive关联HBase表方式 适用场景：数据量不大4T以下（走hbase的api导入数据） 一、hbase表不存在的情况 创建hive表hive_hbase_table映射hbase表hbase_table，会自动创建hbase表hbase_table，且会随着hive表删除而删除，这里需要 阅读全文
posted @ 2019-05-17 17:05 xiaolaotou 阅读(13897) 评论(0) 推荐(1)
Spark Streaming 与Filnk对比分析
摘要：转：https://mp.weixin.qq.com/s/jllAegJMYh_by95FhHt0jA 阅读全文
posted @ 2019-05-15 14:48 xiaolaotou 阅读(437) 评论(0) 推荐(0)
Sqoop（四）增量导入、全量导入、减量导入
摘要：增量导入 一、说明 当在生产环境中，我们可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。这种情况下我们不可能将所有数据重新再导入一遍，所以此时需要数据增量导入。 增量导入数据分为两种方式： 一是基于递增列的增量数据导入（Append方式）。 二是基于时间列的数 阅读全文
posted @ 2019-05-13 18:50 xiaolaotou 阅读(12082) 评论(0) 推荐(1)
Sqoop（三）将关系型数据库中的数据导入到HDFS（包括hive，hbase中）
摘要：一、说明： 将关系型数据库中的数据导入到 HDFS（包括 Hive， HBase） 中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。 二、操作 1、创建一张跟mysql中的im表一样的hive表im: 过程中报错总结： ERROR Could not register mb 阅读全文
posted @ 2019-05-13 10:17 xiaolaotou 阅读(1354) 评论(0) 推荐(0)
Sqoop（二）常用命令及常数解析
摘要：一、常用命令列举 二、命令及参数详解 1、数据库连接 2、import 3、export 4、hive 阅读全文
posted @ 2019-05-13 10:15 xiaolaotou 阅读(374) 评论(0) 推荐(0)
SpringBoot 集成Elasticsearch进行简单增删改查
摘要：一、引入的pom文件 二、编辑配置文件：application.properties 三、索引对应的实体类 四、对应的接口 五、操作类 六、启动类 阅读全文
posted @ 2019-05-10 16:46 xiaolaotou 阅读(2884) 评论(0) 推荐(0)
使用IDEA构建Spring Boot项目简单实例
摘要：一、介绍 它的目标是简化Spring应用和服务的创建、开发与部署，简化了配置文件，使用嵌入式web服务器，含有诸多开箱即用的微服务功能，可以和spring cloud联合部署。 Spring Boot的核心思想是约定大于配置，应用只需要很少的配置即可，简化了应用开发模式。 二、部署一个简单的Spri 阅读全文
posted @ 2019-05-09 16:14 xiaolaotou 阅读(939) 评论(0) 推荐(0)
Hive数据导入Elasticsearch
摘要：一、准备jar包：可以去mvn仓库下载 二、 进入hive添加jar 三、准备数据 四、创建与Elasticsearch对接test外部表 创建源数据表test1 hive> load data local inpath '/mnt/test.txt' into table test1;Loadin 阅读全文
posted @ 2019-05-05 18:07 xiaolaotou 阅读(3375) 评论(0) 推荐(0)
FTP服务器的搭建和使用（centos7）
摘要：1、显示如下图则表示已安装vsftp软件 如过没有则可以通过yum源进行安装 yum install -y vsftpd yum install -y vsftpd 操作：service vsftpd start|stop|restart 操作：service vsftpd start|stop|r 阅读全文
posted @ 2019-05-05 16:49 xiaolaotou 阅读(1030) 评论(0) 推荐(0)
HIve中 datediff，date_add和date_sub的用法
摘要：1、日期比较函数：datediff语法：datediff(string enddate,string startdate) 返回值：int 说明：返回结束日期减去开始日期的天数。 例如： 2、日期增加函数：date_add语法：date_add(string startdate, intdays) 阅读全文
posted @ 2019-05-05 16:45 xiaolaotou 阅读(11571) 评论(0) 推荐(0)
Hive日期函数总结（转学习使用）
摘要：一、时间戳函数 1、获取当前时区的UNIX时间戳：select unix_timestamp(); 2、将指定时间转为UNIX时间戳： select unix_timestamp('2012-03-03 11:45:31'); 3、将指定的实际转为贵UNIX时间戳：select unix_times 阅读全文
posted @ 2019-05-05 15:46 xiaolaotou 阅读(1592) 评论(0) 推荐(0)