2022年4月8日

|NO.Z.00031|——————————|^^ 配置 ^^|——|Hadoop&Redis.V07|——|Redis.v07|监视器|

摘要： 一、Redis监视器：监视器 ### 监视器 ~~~ Redis客户端通过执行MONITOR命令可以将自己变为一个监视器， ~~~ 实时地接受并打印出服务器当前处理的命令请求的相关信息。 ~~~ 此时，当其他客户端向服务器发送一条命令请求时，服务器除了会处理这条命令请求之外， ~~~ 还会将这条命令 阅读全文

posted @ 2022-04-08 15:54 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:54 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Redis.V05|——|Redis.v05|lua脚本与Redis整合应用.v03|

摘要： 一、脚本管理命令实现 ### 使用redis-cli直接执行lua脚本。 ~~~ test.lua ~~~ # 脚本文件 [root@hadoop bin]# vim test.lua return redis.call('set',KEYS[1],ARGV[1]) ~~~ # 执行脚本 [root 阅读全文

posted @ 2022-04-08 15:53 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|慢查询日志|

摘要： 一、慢查询日志 ### 慢查询日志 ~~~ 我们都知道MySQL有慢查询日志 ~~~ Redis也有慢查询日志，可用于监视和优化查询 ### 慢查询设置 ~~~ 在redis.conf中可以配置和慢查询日志相关的选项： ~~~ # 执行时间超过多少微秒的命令请求会被记录到日志上 0 :全记录 <0 阅读全文

posted @ 2022-04-08 15:53 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|lua脚本与Redis整合应用.v01|

摘要： 一、lua脚本与Redis整合应用；lua脚本复制 ### Luau脚本 ~~~ lua是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， ~~~ 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。 ~~~ # Lua应用场景： ~~~ 游戏开发、独立应用脚本、We 阅读全文

posted @ 2022-04-08 15:52 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|lua脚本与Redis整合应用.v02|

摘要： 一、EVAL/EVALSHA命令实现 ### EVAL命令 ~~~ 通过执行redis的eval命令，可以运行一段lua脚本 EVAL script numkeys key [key ...] arg [arg ...] ### 命令说明： ~~~ script参数：是一段Lua脚本程序，它会被运行 阅读全文

posted @ 2022-04-08 15:52 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|发布订阅机制|

摘要： 一、Redis发布订阅机制 ### 发布于订阅 ~~~ Redis提供了发布订阅功能，可以用于消息的传输 ~~~ Redis的发布订阅机制包括三个部分，publisher，subscriber和Channel ~~~ 发布者和订阅者都是Redis客户端，Channel则为Redis服务器端。 ~~~ 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|事务机制|

摘要： 一、事务机制：事务 ### 什么是事务 ~~~ 所谓事务(Transaction) ，是指作为单个逻辑工作单元执行的一系列操作 ### ACID回顾 ~~~ Atomicity（原子性）：构成事务的的所有操作必须是一个逻辑单元，要么全部执行，要么全部不执行。 ~~~ Redis:一个队列中的命令 执 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&Redis.V05|——|Redis.v05|RDB/AOF对比选型|

摘要： 一、RDB与AOF对比和选型：RDB与AOF对比 ### RDB与AOF对比和选型：RDB与AOF对比 ~~~ # RDB存某个时刻的数据快照， ~~~ 采用二进制压缩存储，AOF存操作命令，采用文本存储(混合) ~~~ # RDB性能高、AOF性能较低 ~~~ # RDB在配置触发状态会丢失最后一 阅读全文

posted @ 2022-04-08 15:50 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|AOF机制|

摘要： 一、AOF ### AOF ~~~ # AOF（append only file）是Redis的另一种持久化方式。 ~~~ Redis默认情况下是不开启的。开启AOF持久化后 ~~~ # Redis 将所有对数据库进行过写入的命令（及其参数）（RESP）记录到 AOF 文件， ~~~ 以此达到记录数 阅读全文

posted @ 2022-04-08 15:49 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|AOF重写机制|

摘要： 一、AOF重写、触发方式、混合持久化 ### AOF记录数据的变化过程 ~~~ AOF记录数据的变化过程，越来越大，需要重写“瘦身” ~~~ Redis可以在 AOF体积变得过大时，自动地在后台（Fork子进程）对 AOF进行重写。 ~~~ 重写后的新 AOF文件包含了恢复当前数据集所需的最小命令集 阅读全文

posted @ 2022-04-08 15:49 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|RDB机制|

摘要： 一、RDB ### RDB ~~~ RDB（Redis DataBase），是redis默认的存储方式， ~~~ RDB方式是通过快照（ snapshotting ）完成的。 ~~~ 这一刻的数据：不关注过程 ### 触发快照的方式 ~~~ 符合自定义配置的快照规则 ~~~ 执行save或者bgsa 阅读全文

posted @ 2022-04-08 15:48 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|持久化机制|

摘要： 一、Redis持久化 ### 为什么要持久化 ~~~ Redis是内存数据库，宕机后数据会消失。 ~~~ Redis重启后快速恢复数据，要提供持久化机制 ~~~ Redis持久化是为了快速的恢复数据而不是为了存储数据 ### Redis有两种持久化方式：RDB和AOF ~~~ 注意：Redis持久化 阅读全文

posted @ 2022-04-08 15:47 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Redis.V17|——|Redis.v17|缓存过期|淘汰策略.v03|

摘要： 一、Redis的LRU数据淘汰机制 ### Redis的LRU数据淘汰机制 ~~~ # 在服务器配置中保存了 ~~~ lru 计数器 server.lrulock，会定时（redis 定时程序 serverCorn()）更新， ~~~ server.lrulock 的值是根据 server.unix 阅读全文

posted @ 2022-04-08 15:46 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:46 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Redis.V15|——|Redis.v15|缓存过期|淘汰策略.v01|

摘要： 一、Redis数据结构及过期机制：Redis缓存过期Redis性能高： ### 官方数据 ~~~ 读：110000次/s ~~~ 写：81000次/s ~~~ 长期使用，key会不断增加，Redis作为缓存使用，物理内存也会满 ~~~ 内存与硬盘交换（swap） 虚拟内存 ，频繁IO 性能急剧下降 阅读全文

posted @ 2022-04-08 15:45 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Redis.V16|——|Redis.v16|缓存过期|淘汰策略.v02|

摘要： 一、LRU ### LRU ~~~ LRU (Least recently used) 最近最少使用， ~~~ 算法根据数据的历史访问记录来进行淘汰数据， ~~~ 其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。 ### 最常见的实现是使用一个链表保存缓存数据，详细算法实现如下： 阅读全文

posted @ 2022-04-08 15:45 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&Redis.V14|——|Redis.v14|客户端Jedis|

摘要： 一、Redis的Java客户端—Jedis ### 关闭RedisServer端的防火墙 [root@linux123 ~]# systemctl stop firewalld //（默认） [root@linux123 ~]# systemctl disable firewalld.service 阅读全文

posted @ 2022-04-08 15:44 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Redis.V13|——|Redis.v13|常用命令|

摘要： 一、Redis常用命令 ### Redis官方地址 ~~~ 官方命令大全网址：http://www.redis.cn/commands.html ~~~ keys：返回满足给定pattern 的所有key ~~~ 语法：keys pattern ~~~ # 示例： 127.0.0.1:6379> k 阅读全文

posted @ 2022-04-08 15:43 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Redis.V12|——|Redis.v12|数据类型.v07|

摘要： 一、stream数据流类型 ### stream是Redis5.0后新增的数据结构，用于可持久化的消息队列。 ~~~ 几乎满足了消息队列具备的全部内容，包括： ~~~ 消息ID的序列化生成 ~~~ 消息遍历 ~~~ 消息的阻塞和非阻塞读取 ~~~ 消息的分组消费 ~~~ 未完成消息的处理 ~~~ 消 阅读全文

posted @ 2022-04-08 15:43 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Redis.V10|——|Redis.v10|数据类型.v05|

摘要： 一、bitmap位图类型 ### bitmap是进行位操作的 ~~~ 通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。 ~~~ bitmap本身会极大的节省储存空间。 二、常见操作命令如下表： 命令名称 命令格式 描述 setbit setbit key offset 阅读全文

posted @ 2022-04-08 15:42 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Redis.V11|——|Redis.v11|数据类型.v06|

摘要： 一、geohash算法 ### geohash算法 ~~~ # Gustavo在2008年2月上线了geohash.org网站。 ~~~ Geohash是一种地理位置信息编码方法。 经过geohash映射后， ~~~ 地球上任意位置的经纬度坐标可以表示成一个较短的字符串。 ~~~ 可以方便的存储在数 阅读全文

posted @ 2022-04-08 15:42 yanqi_vip 阅读(100) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Redis.V09|——|Redis.v09|数据类型.v04|

摘要： 一、sortedset有序集合类型 ### SortedSet(ZSet) 有序集合： 元素本身是无序不重复的 ~~~ 每个元素关联一个分数(score) ~~~ 可按分数排序，分数可重复 二、常见操作命令如下表： 命令名称 命令格式 描述 zadd zadd key score1 member1 阅读全文

posted @ 2022-04-08 15:41 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Redis.V07|——|Redis.v07|数据类型.v02|

摘要： 一、list列表类型 ### list列表类型 ~~~ list列表类型可以存储有序、可重复的元素 ~~~ 获取头部或尾部附近的记录是极快的 ~~~ list的元素个数最多为2^32-1个（40亿） 二、常见操作命令如下表： 命令名称 命令格式 描述 lpush lpush key v1 v2 v3 阅读全文

posted @ 2022-04-08 15:40 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Redis.V08|——|Redis.v08|数据类型.v03|

摘要： 一、set集合类型 ### set集合类型 ~~~ Set：无序、唯一元素 ~~~ 集合中最大的成员数为 2^32 - 1 二、常见操作命令如下表： 命令名称 命令格式 描述 sadd sadd key mem1 mem2 .... 为集合添加新成员 srem srem key mem1 mem2 阅读全文

posted @ 2022-04-08 15:40 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00005|——————————|^^ 部署 ^^|——|Hadoop&Redis.V05|——|Redis.v05|Redis5.05单机部署|

摘要： 一、Redis单机版安装和使用 ### Redis下载 ~~~ 官网地址：http://redis.io/ ~~~ 中文官网地址：http://www.redis.cn/ ~~~ 下载地址：http://download.redis.io/releases/ ### Redis安装环境 ~~~ Re 阅读全文

posted @ 2022-04-08 15:39 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|数据类型.v01|

摘要： 一、Redis数据类型和应用场景 ### [Redis数据结构及过期机制] ~~~ [Redis数据类型概述] ~~~ [Redis常用数据类型] ~~~ [Redis不常用数据类型] ### redis数据类型和应用场景 ~~~ Redis是一个Key-Value的存储系统，使用ANSI C语言编 阅读全文

posted @ 2022-04-08 15:39 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|缓存原理设计.v03|

摘要： 一、缓存的读写模式：缓存有三种读写模式：Cache Aside Pattern（常用） ### Cache Aside Pattern（旁路缓存），是最经典的缓存+数据库读写模式。 ~~~ 读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存，同时返回响应。 ~~~ 更新的时候，先更 阅读全文

posted @ 2022-04-08 15:38 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|简介历史|

摘要： 一、Redis数据结构及过期机制：Redis介绍 ### 什么是Redis ~~~ Redis （Remote Dictionary Server）远程字典服务器， ~~~ 是用C语言开发的一个开源的高性能键值对（ key-value ）内存数据库。 ~~~ 它提供了五种数据类型来存储值：字符串类型 阅读全文

posted @ 2022-04-08 15:38 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|缓存原理设计.v01|

摘要： 一、缓存基本思想 ### [缓存的原理设计] ~~~ [缓存的基本思想] ~~~ [缓存的优势和代价] ~~~ [缓存的读写模式] ### 什么是缓存？ ~~~ 缓存原指CPU上的一种高速存储器，它先于内存与CPU交换数据，速度很快 ~~~ 现在泛指存储在计算机上的原始数据的复制集，便于快速访问。 阅读全文

posted @ 2022-04-08 15:37 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|缓存原理设计.v02|

摘要： 一、缓存的优势和代价：使用缓存的优势 ### 提升用户体验 ~~~ 用户体验（User Experience）：用户在使用产品过程中建立起来的一种纯主观感受。 ~~~ 缓存的使用可以提升系统的响应能力，大大提升了用户体验。 ### 减轻服务器压力 ~~~ 客户端缓存、网络端缓存减轻应用服务器压力。 阅读全文

posted @ 2022-04-08 15:37 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:36 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:36 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00034|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V06|——|azkaban.v06|azkaban.multiple-executor模式部署.v02|

摘要： 一、配置Azkaban-exec-server ### linux123节点，上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -r 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00035|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V07|——|azkaban.v07|实验实例|

摘要： 一、shell command调度 ### [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00033|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V05|——|azkaban.v05|azkaban.multiple-executor模式部署.v01|

摘要： 一、multiple-executor模式部署 ### [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exe 阅读全文

posted @ 2022-04-08 15:34 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00032|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V04|——|azkaban.v04|azkaban-solo-server部署配置.v02|

摘要： 一、单服务模式使用 ### 需求：使用azkaban调度我们的shell脚本，执行linux的shell命令 ~~~ 具体步骤：开发job文件：创建普通文本文件 foo.job，文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### 上传 阅读全文

posted @ 2022-04-08 15:33 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&azkaban.V02|——|azkaban.v02|概述|

摘要： 一、Azkaban介绍 ### Azkaban介绍 ~~~ # Azkaban是由linkedin（领英）公司推出的一个批量工作流任务调度器， ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系， ~~~ 并提供一个易于使用 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00031|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V03|——|azkaban.v03|azkaban-solo-server部署配置.v01|

摘要： 一、azkaban-solo-server部署使用：Azkaban安装部署：Azkaban的安装准备工作 ### 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译， ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apac 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(65) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&azkaban.V01|——|azkaban.v01|工作调度系统|

摘要： 一、工作流调度系统 ### 一个完整的数据分析系统通常都是由大量任务单元组成： ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划， ~~~ 需要一个⼯工作流调 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&HBase.V11|——|HBase.v11|布隆过滤器|二级索引|

摘要： 一、大纲 ### [HBase] ~~~ [HBase表热点] ~~~ [HBase二级索引] ~~~ [HBase中布隆过滤器] 二、HBase表的RowKey设计：RowKey的基本介绍：ASCII码字典顺序。 ### HBase表的RowKey设计：RowKey的基本介绍：ASCII码字典顺序 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:30 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&HBase.V09|——|HBase.v09|客户端操作part|

摘要： 一、HBase API应用和优化 ### [HBase] ~~~ [HBase客户端操作part01] ~~~ [HBase客户端操作part02] 二、HBase API客户端操作 ### 创建Maven工程，添加依赖 <dependencies> <dependency> <groupId>or 阅读全文

posted @ 2022-04-08 15:29 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&HBase.V10|——|HBase.v10|协处理器|

摘要： 一、Hbase 协处理器 ### [HBase] ~~~ [HBase协处理器] ~~~ [HBase协处理器之Observer案例代码开发] ~~~ [HBase协处理器之案例验证] ### 协处理器概述 ~~~ # 官方地址： ~~~ http://hbase.apache.org/book.h 阅读全文

posted @ 2022-04-08 15:29 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——|Hadoop&HBase.V08|——|HBase.v08|HBase表Region|冷热合并|

摘要： 一、HBase表的预分区(region) ### [HBase] ~~~ [HBase表的预分区] ~~~ [HBase表Region合并] ~~~ [HBase表Region冷合并] ~~~ [HBase表Region热合并] ### 为何要预分区？ ~~~ 当一个table刚被创建的时候，Hba 阅读全文

posted @ 2022-04-08 15:28 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&HBase.V07|——|HBase.v07|原理拆分机制|拆分策略|

摘要： 一、HBase拆分机制、HBase的Region拆分策略： ### Region 拆分机制 ~~~ Region中存储的是大量的rowkey数据 ,当Region中的数据条数过多的时候, ~~~ 直接影响查询效率.当Region过大的时候.HBase会拆分Region , 这也是Hbase的一个优点 阅读全文

posted @ 2022-04-08 15:27 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&HBase.V05|——|HBase.v05|HBase原理|读写Flush阻塞|合并机制.v01|

摘要： 一、HBase读数据流程 ### [HBase] ~~~ [HBase原理深入之读数据流程] ~~~ [HBase原理升入之写数据流程] ~~~ [HBase的Flush机制及阻塞机制] ~~~ [HBase的Compact合并机制] ### HBase表中row可以按照字典序排序，切分region 阅读全文

posted @ 2022-04-08 15:26 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&HBase.V06|——|HBase.v06|HBase原理|读写Flush阻塞|合并机制.v02|

摘要： 一、HBase的flush(刷写)及compact(合并)机制 ### Flush机制 ~~~ 当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M <property> <name>hbase.hregion.memstore.flush.size</name> <valu 阅读全文

posted @ 2022-04-08 15:26 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00019|——————————|^^ 部署 ^^|——|Hadoop&HBase.V03|——|HBase.v03|集群部署|

摘要： 一、HBase集群安装部署 ### 下载安装包 http://archive.apache.org/dist/hbase/1.3.1/ hbase-1.3.1-bin.tar.gz ### 规划安装目录 [root@linux121 ~]# /opt/yanqi/servers/ ### 上传安装包 阅读全文

posted @ 2022-04-08 15:25 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&HBase.V04|——|HBase.v04|HBase Shell操作|

摘要： 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 [root@linux121 ~]# hbase shell ### 查看帮助命令 hbase(main):003:0> help ### 查看当前数据库中有哪些表 hbase(main):003:0> list TAB 阅读全文

posted @ 2022-04-08 15:25 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&HBase.V02|——|HBase.v02|概述.v02|

摘要： 一、HBase数据模型 ### HBase的数据也是以表（有行有列）的形式存储 ~~~ HBase逻辑架构 二、HBase物理存储 三、HBase整体架构 ### Zookeeper ~~~ 实现了HMaster的高可用：保存了HBase的元数据信息，是所有HBase表的寻址入口 ~~~ 对HMas 阅读全文

posted @ 2022-04-08 15:25 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&HBase.V01|——|HBase.v01|概述.v01|

摘要： 一、HBase 简介 ### [HBase] ~~~ [HBase简介之HBase是什么] ~~~ [HBase简介之HBase特点及应用场景] ~~~ [HBase数据模型] ~~~ [HBase整体架构] ### HBase是什么 ~~~ HBase 基于 Google的BigTable论文而来 阅读全文

posted @ 2022-04-08 15:24 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:23 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:22 yanqi_vip 阅读(4) 评论(0) 推荐(0)

|NO.Z.00015|——————————|^^ 配置 ^^|——|Hadoop&Zookeeper.V15|——|Zookeeper.v15|Hadoop-HA-YARN-HA搭建|

摘要： 一、Hadoop-HA-YARN-HA搭建：YARN-HA配置 ### YARN-HA工作机制 ~~~ 官方文档：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarnsite/ResourceManagerHA.html 二、YA 阅读全文

posted @ 2022-04-08 15:21 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:21 yanqi_vip 阅读(5) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&Zookeeper.V14|——|Zookeeper.v14|Hadoop-HA-HDFS-HA搭建.v02|

摘要： 一、启动HDFS-HA集群 ### 在各个JournalNode节点上， ~~~ 输入以下命令启动journalnode服务(去往HA安装目录不要使用环境变量中命令) [root@linux121 ~]# /opt/yanqi/servers/ha/hadoop-2.9.2/sbin/hadoop- 阅读全文

posted @ 2022-04-08 15:20 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00013|——————————|^^ 配置 ^^|——|Hadoop&Zookeeper.V13|——|Zookeeper.v13|Hadoop-HA-HDFS-HA搭建.v01|

摘要： 一、[Hadoop-HA-HDFS-HA搭建]：HDFS-HA集群配置 ### HDFS-HA集群配置地址 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoophdfs/HDFSHighAvailabilityWithQJM 阅读全文

posted @ 2022-04-08 15:19 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Zookeeper.V11|——|Zookeeper.v11|应用实践|分布式锁|

摘要： 一、分布式锁 ### [zookeeper] ~~~ [zookeeper应用实践之分布式锁介绍] ~~~ [zookeeper应用实践之分布式锁思路] ~~~ [zookeeper应用实践之分布式锁实现] ~~~ [zookeeper应用实践之分布式锁代码验证] ### 什么是锁 ~~~ # 在单 阅读全文

posted @ 2022-04-08 15:18 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00012|——————————|^^ 配置 ^^|——|Hadoop&Zookeeper.V12|——|Zookeeper.v12|hadoop-ha-hdfs工作机制|

摘要： 一、[Hadoop-HA-HDFS-HA工作机制]：HA 概述 ### [Hadoop-HA-HDFS-HA工作机制]：HA 概述 ~~~ 所谓HA（High Available），即高可用（7*24小时不中断服务）。 ~~~ # 实现高可用最关键的策略是消除单点故障。 ~~~ Hadoop-HA严 阅读全文

posted @ 2022-04-08 15:18 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Zookeeper.V08|——|Zookeeper.v08|内部原理|Leader选举|ZAB一致性协议.v02|

摘要： 一、ZAB一致性协议 ### 分布式数据一致性问题 ~~~ # 为什么会出现分布式数据一致性问题? ~~~ 将数据复制到分布式部署的多台机器中可以消除单点故障防止系统由于某台(些)机器宕机导致的不可用。 ~~~ 通过负载均衡技术，能够让分布在不同地方的数据副本全都对外提供服务。有效提高系统性能。 ~ 阅读全文

posted @ 2022-04-08 15:17 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Zookeeper.V09|——|Zookeeper.v09|应用实践|服务器动态上下线.v01|

摘要： 一、Zookeeper应用实践 ### [zookeeper] ~~~ [zookeeper应用实践之服务器动态上下线监听] ~~~ [zookeeper应用实践之服务器动态上下线总结] ### Zookeeper实践 ~~~ ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架， 阅读全文

posted @ 2022-04-08 15:17 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Zookeeper.V10|——|Zookeeper.v10|应用实践|服务器动态上下线.v02|

摘要： 一、编译打印 ### 运行server ~~~ 修改配置参数server端口参数3333 ~~~ server端口参数4444 ### 运行服务并打印 ~~~ # 运行服务器3333 D:\JAVA\jdk1.8.0_231\bin\java.exe "-javaagent:D:\IntelliJI 阅读全文

posted @ 2022-04-08 15:17 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Zookeeper.V07|——|Zookeeper.v07|内部原理|Leader选举|ZAB一致性协议.v01|

摘要： 一、Zookeeper内部原理 ~~~ [zookeeper内部原理之Leader选举] ~~~ [zookeeper内部原理之ZAB一致性协议] ### Leader选举：选举机制 ~~~ # 半数机制： ~~~ 集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。 ~~ 阅读全文

posted @ 2022-04-08 15:16 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&Zookeeper.V04|——|Zookeeper.v04|命令操作|

摘要： 一、Zookeeper的基本使用 ### ZooKeeper命令行操作 ~~~ 现在已经搭建起了一个能够正常运行的zookeeper服务了，所以接下来， ~~~ 就是来借助客户端来将zookeeper的数据节点进行操作 ~~~ # 首先，进入到zookeeper的bin目录之后通过zkClient进 阅读全文

posted @ 2022-04-08 15:15 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Zookeeper.V05|——|Zookeeper.v05|开源客户端监听器|获取节点数据.v01|

摘要： 一、Zookeeper-开源客户端 ### [zookeeper] ~~~ [Zookeeper开源客户端之监听节点变化] ~~~ [Zookeeper开源客户端之监听器] ~~~ [Zookeeper开源客户端之获取数据节点存在/更新/删除] ### ZkClient ~~~ # ZkClient 阅读全文

posted @ 2022-04-08 15:15 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Zookeeper.V06|——|Zookeeper.v06|开源客户端监听器|获取节点数据.v02|

摘要： 一、监听节点变化 ### 监听节点变化 package com.yanqi.zk.demo; import org.I0Itec.zkclient.IZkChildListener; import org.I0Itec.zkclient.ZkClient; import org.apache.zoo 阅读全文

posted @ 2022-04-08 15:15 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 部署 ^^|——|Hadoop&Zookeeper.V02|——|Zookeeper.v02|环境搭建|二进制|

摘要： 一、[Zookeeper集群模式环境搭建] ：Zookeeper环境搭建 ### Zookeeper的搭建方式 ~~~ # Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ~~~ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ~~~ 伪集群模式：就是在一台服 阅读全文

posted @ 2022-04-08 15:14 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——|Hadoop&Zookeeper.V03|——|Zookeeper.v03|数据结构|ZNode类型|Watcher机制|

摘要： 一、Zookeeper数据结构与监听机制 ~~~ [Zookeepe数据结构与监听之ZNode类型] ~~~ [Zookeepe数据结构与监听之ZNode状态信息] ~~~ [Zookeepe数据结构与监听之Watcher机制] ### ZooKeeper数据模型Znode ~~~ 在ZooKeep 阅读全文

posted @ 2022-04-08 15:14 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Zookeeper.V01|——|Zookeeper.v01|架构特点|

摘要： 一、大纲 ### Zookeeper简介 ~~~ Zookeeper是什么？【熟悉】 ~~~ zookeeper的架构组成【重点掌握】 ~~~ Zookeeper环境搭建【熟悉】 ~~~ Zookeeper数据结构与监听机制【重点掌握】 ~~~ Zookeeper的基本使用【练习】 ~~~ Zook 阅读全文

posted @ 2022-04-08 15:13 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:13 yanqi_vip 阅读(4) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:07 yanqi_vip 阅读(5) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Impala.V11|——|Impala.v11|集群优化.v02|

摘要： 一、Impala优化 ### Impala优化 cloudera官网上的Impala文档，原名为《Impala Performance Guidelines and Best Practices》。 主要介绍了为了提升impala性能应该考虑的一些事情，结合实际考虑： ### 基本优化策略 ~~~ 阅读全文

posted @ 2022-04-08 15:06 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:06 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Impala.V08|——|Impala.v08|使用操作.v02|

摘要： 一、Impala sql语法 ### 数据库特定语句:创建数据库 ~~~ # CREATE DATABASE语句用于在Impala中创建新数据库。 CREATE DATABASE IF NOT EXISTS database_name; ~~~ # 这⾥，IF NOT EXISTS是一个可选的子句。 阅读全文

posted @ 2022-04-08 15:05 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Impala.V09|——|Impala.v09|JDBC方式查询数据|

摘要： 一、Impala的JDBC⽅式查询 ### Impala的JDBC⽅式查询 ~~~ 在实际工作当中，因为impala的查询比较快，所以可能有会使用到impala来做数据库查询的情况， ~~~ 我们可以通过java代码来进行操作impala的查询 ### 导⼊jar包 <dependencies> < 阅读全文

posted @ 2022-04-08 15:05 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Impala.V10|——|Impala.v10|集群实现|负载均衡.v01|

摘要： 一、Impala进阶 ### Impala的负载均衡 ~~~ Impala主要有三个组件，分别是statestore，catalog和impalad， ~~~ 对于Impalad节点，每一个节点都可以接收客户端的查询请求， ~~~ 并且对于连接到该Impalad的查询还要作为Coordinator节 阅读全文

posted @ 2022-04-08 15:05 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Impala.V07|——|Impala.v07|使用操作.v01|

摘要： 一、Impala的使⽤ ### [交互查询工具Impala] ~~~ [Impala的使用-Impala-SQL语法] ~~~ [Impala的使用-Impala-导入数据] ### Impala的使用 ~~~ # Impala的核心开发语言是sql语句， ~~~ Impala有shell命令行窗口 阅读全文

posted @ 2022-04-08 15:04 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&Impala.V04|——|Impala.v04|环境部署.v02|

摘要： 一、短路读取配置步骤 ### 创建短路读取本地中转站 ~~~ DataNode启动失败有可能是该文件夹权限问题。 ~~~ 所有节点创建一下目录 [root@linux121 ~]# mkdir -p /var/lib/hadoop-hdfs ### 修改hdfs-site.xml [root@lin 阅读全文

posted @ 2022-04-08 15:03 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Impala.V05|——|Impala.v05|实验案例|

摘要： 一、Impala⼊门案例 ### Impala⼊门案例 ~~~ 使⽤用Yum⽅式安装Impala后，impala-shell可以全局使用； ~~~ 进入impala-shell命令⾏impala-shell进⼊到impala的交互窗⼝ [root@linux123 ~]# impala-shell 阅读全文

posted @ 2022-04-08 15:03 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Impala.V06|——|Impala.v06|架构原理|

摘要： 一、Imapla的架构原理 ### [交互查询工具Impala] ~~~ [Impala架构原理] ~~~ [Impala单机执行计划] ~~~ [Impala分布式执行计划] ~~~ [Impala查询流程分析] ### Impala的组件 ~~~ Impala是一个分布式，大规模并行处理(MPP 阅读全文

posted @ 2022-04-08 15:03 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&Impala.V03|——|Impala.v03|环境部署.v01|

摘要： 一、安装Impala ### [交互查询工具Impala] ~~~ [Impala的安装及入门案例-安装步骤] ~~~ [Impala的安装及入门案例-配置详解] 二、集群规划 服务名称 linux121 linux122 linux123 impala-catalogd 不安装 不安装 安装 im 阅读全文

posted @ 2022-04-08 15:02 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Impala.V01|——|Impala.v01|概述|

摘要： 一、Impala概述 ### [交互查询工具Impala] ~~~ [交互查询工具Impala] ~~~ [Impala的优势] ~~~ [Impala的缺点及适用场景] ### Impala大纲 ~~~ 第 1 部分 Impala概述（Impala是什么，优势，劣势，与Hive对比） ~~~ 第 阅读全文

posted @ 2022-04-08 15:01 yanqi_vip 阅读(50) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 配置 ^^|——|Hadoop&Impala.V02|——|Impala.v02|环境准备|网络yum源|

摘要： 一、集群准备 ### [交互查询工具Impala] ~~~ [Impala的安装及入门案例-准备环境] ~~~ [Impala的安装及入门案例-制作网络源] ### 安装Hadoop,Hive ~~~ # Impala的安装需要提前装好Hadoop，Hive这两个框架， ~~~ hive需要在所有的 阅读全文

posted @ 2022-04-08 15:01 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:00 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Hadoop常用命令.V00|——|Hadoop生态圈v00|常用命令|

摘要： 一、常用命令 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar 4 create-hive-table CreateHiv 阅读全文

posted @ 2022-04-08 14:59 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 14:59 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 14:59 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 14:58 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Sqoop.V03|——|Sqoop.v03|MySQL导入到Hive|

摘要： 一、MySQL 到 Hive ### MySQL 到 Hive ~~~ 导入：数据进入大数据平台：import ~~~ 导出：数据离开大数据平台：export ### 在 hive 中创建表： [root@linux123 ~]# hive hive (default)> use mydb; ~~~ 阅读全文

posted @ 2022-04-08 14:57 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Sqoop.V04|——|Sqoop.v04|增量数据导入|

摘要： 一、增量数据导入 ### 变化数据捕获(CDC) ~~~ 前面都是执行的全量数据导入。如果数据量很小，则采取完全源数据抽取；如果源数据量很大， ~~~ 则需要抽取发生变化的数据，这种数据抽取模式叫做变化数据捕获，简称CDC(Change Data Capture)。 ### CDC大体分为两种： ~ 阅读全文

posted @ 2022-04-08 14:57 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Sqoop.V05|——|Sqoop.v05|执行Job|

摘要： 一、执行 job ### 执行数据增量导入有两种实现方式： ~~~ 每次手工配置last-value，手工调度 ~~~ 使用job，给定初始last-value，定时任务每天定时调度很明显方式2更简便。 ### 创建口令文件 [root@linux123 ~]# echo -n "12345678" 阅读全文

posted @ 2022-04-08 14:57 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00053|——————————|^^ 部署 ^^|——|Hadoop&Sqoop.V01|——|Sqoop.v01|安装配置|

摘要： 一、Sqoop概述 ### [数据迁移工具-Sqoop] ~~~ [sqoop概述原理及安装部署] ~~~ [sqoop应用案例之导入全部数据] ~~~ [Sqoop应用案例之后查询指定列及where使用] ~~~ [sqoop应用案例之多Mapper导入及hive表导入] ~~~ [sqoop应用 阅读全文

posted @ 2022-04-08 14:56 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&Sqoop.V02|——|Sqoop.v02|MySQL导入到HDFS|

摘要： 一、应用案例 ### 在Sqoop中 ~~~ # 导入是指： ~~~ 从关系型数据库向大数据集群（HDFS、HIVE、HBASE）传输数据；使用import关键字； ~~~ # 导出是指： ~~~ 从 大数据集群 向 关系型数据库 传输数据；使用export关键字； ### 测试数据脚本 ~~~ 以 阅读全文

posted @ 2022-04-08 14:56 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Flume.V14|——|Flume.v14|高级特性|拦截器|高可用|选择器.v06|

摘要： 一、高可用案例：案例：实现Agent的故障转移 ### 配置环境在linux121、linux122上部署Flume、修改环境变量 ~~~ # 在liunx123上执行 [root@linux123 ~]# cd /opt/yanqi/servers/ [root@linux123 servers] 阅读全文

posted @ 2022-04-08 14:55 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 14:55 yanqi_vip 阅读(8) 评论(0) 推荐(0)

导航