lowreed

摘要： 1、上传解压，配置环境变量 配置bin目录 解压 tar -xvf spark-2.4.5-bin-hadoop2.7.tgz 重命名 mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5 配置环境变量 vim /etc/profile 2、修改配置文件 conf cp 阅读全文

摘要： 阿里云开源离线同步工具DataX3.0 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题， 阅读全文

摘要： Redis高级部分(集群，发布订阅) 1. Redis 主从复制 1.1 主从复制 主从复制架构仅仅用来解决数据的冗余备份,从节点仅仅用来同步数据 无法解决: 1.master节点出现故障的自动故障转移 1.2 主从复制架构图 1.3 搭建主从复制(做之前拍快照)(带同学们结合官网看redis7.0 阅读全文

摘要： Hive函数学习 目录Hive函数学习SQL练习Hive 常用函数关系运算数值计算条件函数(主要使用场景是数据清洗的过程中使用，有些构建表的过程也是需要的)日期函数重点！！！字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合开窗函数实战：实战1：Hive用 阅读全文

摘要： 分布式日志采集系统Flume学习 一、Flume架构 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方( 阅读全文

摘要： 一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应 阅读全文

摘要： Hbase之过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filt 阅读全文

摘要： hadoop-3.1.1分布式搭建 1、上传解压配置环境变量 # 1、解压 tar -xvf hadoop-3.1.1.tar.gz.gz # 2、配置环境变量 vim /etc/profile # 3、在最后增加配置 export HADOOP_HOME=/usr/local/soft/hadoo 阅读全文

摘要： HBase进阶与API 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？ 使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create ' 阅读全文

摘要： Redis概述与基本数据类型 1. 什么是NoSQL NoSQL( Not Only SQL )，意即不仅仅是SQL, 泛指非关系型的数据库。Nosql这个技术门类,早期就有人提出,发展至2009年趋势越发高涨。 2. NoSQL的广泛应用 随着大数据的兴起，数据量的暴增，数据类型的丰富，传统的关系 阅读全文