岚天逸见

基于zookeeper-3.5.5安装hadoop-3.1.2

摘要：目录目录 1 1. 前言 3 2. 缩略语 3 3. 安装步骤 4 4. 下载安装包 4 5. 机器规划 4 6. 设置批量操作参数 5 7. 环境准备 5 7.1. 修改最大可打开文件数 5 7.2. 修改OOM相关参数 6 7.3. 免密码登录设置 6 7.4. 修改主机名 6 7.4.1. 阅读全文

posted @ 2019-11-02 18:37 岚天逸见阅读(1336) 评论(0) 推荐(0)

HBase快照迁移数据失败原因及解决办法

摘要：目录目录 1 1. 背景 1 2. 环境 1 3. 执行语句 1 4. 问题描述 1 5. 错误信息 2 6. 问题原因 3 7. 解决办法 4 1. 背景机房裁撤，需将源HBase集群的数据迁移到目标HBase集群，采用快照迁移方式。 2. 环境 Hadoop-3.1.2 + HBase-2. 阅读全文

posted @ 2019-10-22 14:28 岚天逸见阅读(1803) 评论(0) 推荐(0)

一个死锁分析过程

摘要：一小伙说他的程序死锁了，让帮忙看看。对死锁问题，首先祭出GDB这一神器。 (gdb) bt #0 0xffffe410 in __kernel_vsyscall () #1 0xf7fa790e in __lll_mutex_lock_wait () from /lib/libpthread.so. 阅读全文

posted @ 2019-09-08 16:30 岚天逸见阅读(355) 评论(0) 推荐(0)

进一步理解指针：一维数组和二维数组转换

摘要：先看下列代码的输出是什么？int main(){ int m[5] = { 0,1,2,3,4 }; int* p = (int*)(&m+1); printf("%d,%d\n", *(m+1), *(p-1)); return 0;}要知道这个输出，最关键的是要理解指针操作的“加”和“减”，假设阅读全文

posted @ 2019-09-05 21:27 岚天逸见阅读(1355) 评论(0) 推荐(0)

进一步理解指针2：双指针、指针数组和数组指针

摘要：目录目录 1 1. 概念 1 1.1. 双指针 1 1.2. 指针数组 1 1.3. 数组指针 1 2. 区别 2 3. 兼容性 2 4. 为何列数须相等？ 2 5. 初始化 3 6. 转化 4 7. 双指针 6 8. 关系图 8 8.1. 数组、指针和双指针关系图 8 8.2. 数组和双指针关系阅读全文

posted @ 2019-09-05 21:24 岚天逸见阅读(1225) 评论(0) 推荐(0)

彻底理解C++指针

摘要：目录目录 1 1. 概念 1 1.1. 双指针 1 1.2. 指针数组 1 1.3. 数组指针 1 1.4. 常见指针定义解读 1 2. 区别 2 3. 兼容性 2 4. 为何列数须相等？ 2 5. “1”的含义 3 6. 回归本质 3 7. “*”和“[]” 7 1. 概念 1.1. 双指针指阅读全文

posted @ 2019-09-05 21:20 岚天逸见阅读(8392) 评论(0) 推荐(0)

如何安全地使用redis的pop命令

摘要： Redis的list经常被当作队列使用，左进右出，一般生产者使用lpush压入数据，消费者调用rpop取出数据。这是很自然的行为，然而有时会发现lpush成功，但rpop并没有取到数据，特别是一些客户端库封装了rpop操作，添加了调用者无感知的自动重试。数据凭空消失，找不到问题所在。实际上，这是阅读全文

posted @ 2019-09-05 14:29 岚天逸见阅读(5773) 评论(0) 推荐(0)

Linux OOM一二三

摘要： Linux开发一般会遇到“/proc/sys/vm/overcommit_memory”，即文件/etc/sysctl.conf中的vm.overcommit_memory，Overcommit的意思如同其字面意思，即进程可申请超出可用内存大小的内存（对进程而言实为虚拟内存，一个进程占用的虚拟内存空阅读全文

posted @ 2019-09-04 17:21 岚天逸见阅读(532) 评论(0) 推荐(0)

Redis之eval+lua实现初步

摘要：目录目录 1 1. 前言 1 2. 执行方式 1 3. 执行过程 3 4. 使用原则 3 1. 前言 Redis的实现保证eval的执行是原子的，即使eval执行的lua超时，Redis也不会自动终止执行。官方说明如下： When a script reaches the timeout it 阅读全文

posted @ 2019-09-03 19:51 岚天逸见阅读(3670) 评论(0) 推荐(0)

如何保证最少消费一次redis的list队列数据

摘要：简使用pop，不能保证最少消费一次，比如pop超时可能中途丢失，或者消费者处理过程中异常而未能处理完。解决此问题有多种方法： 1) 方法一：使用rpoplpush替代pop 这种方法相当于建立了一个回滚，由于操作是在redis端完成的，可保证数据不会丢，当消费者完成业务逻辑后，再清掉lpush的另阅读全文

posted @ 2019-09-01 15:07 岚天逸见阅读(2207) 评论(0) 推荐(0)