江湖小小白

摘要： 这三个都是自 JDK1.5 开始加入到 java.util.concurrent.atomic 下面的。他们都可以在 lock-free 的情况下以原子的方式更新对象引用。 一、AtomicReference 以原子方式更新对象引用。 static class User { private int 阅读全文

摘要： 使用 Flume 监听整个目录的文件，并上传至 HDFS。 一、创建配置文件 flume-dir-hdfs.conf https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source # Name the component 阅读全文

摘要： 实时监控，并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # c 阅读全文

摘要： Flume 文档：https://flume.apache.org/FlumeUserGuide.html Flume 下载：https://archive.apache.org/dist/flume/ & https://flume.apache.org/download.html JDK 下载： 阅读全文

摘要： Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 一、架构 https://flume.apache.org/FlumeUse 阅读全文

摘要： 在安装 CDH 时，到 Install Parcels 这一步，分发 Parcels 一直过不去，界面一直报 Failure due to stall on seeded torrent，查看日志一直重复报 No hash WARN scm-web-412:com.cloudera.server.w 阅读全文

摘要： 这里以四台节点搭建 IPHostNameOS 192.168.8.5 h5（主） CentOS 7.5 192.168.8.6 h6（从） CentOS 7.5 192.168.8.7 h7（从） CentOS 7.5 192.168.8.8 h8（从） CentOS 7.5 一、节点基本配置 1. 阅读全文

摘要： CAS（Compare and Swap），即比较并替换，实现并发算法时常用到的一种技术。 CAS 的思想很简单：三个参数，一个当前内存值 V、旧的预期值 A、即将更新的值 B，当且仅当预期值 A 和内存值 V 相同时，将内存值修改为 B 并返回 true，否则什么都不做，并返回 false。 和 阅读全文

摘要： LockSupport 和 CAS 是 Java 并发包中很多并发工具控制机制的基础，它们底层其实都是依赖 Unsafe 实现。 LockSupport 提供 park() 和 unpark() 方法实现阻塞线程和解除线程阻塞。 每个使用 LockSupport 的线程都会与一个许可（permit） 阅读全文

摘要： 一、安装 https://nginx.org/en/download.html & https://mirrors.huaweicloud.com/nginx/ （三方带插件版）https://openresty.org/cn/download.html （淘宝基于 Nginx 的修改版）https 阅读全文

摘要： RabbitMQ 官方给出了 3 种方式 Clustering(原生集群) 客户端可连接任意节点，节点间通过 Erlang Cookie 通信 所有节点共享元数据(交换机/队列定义)，但队列(Classic Queues)内容默认仅存在于创建节点，其它节点只有该队列内容的引用(队列定义)，因此访问到 阅读全文

摘要： 下载安装：https://github.com/rabbitmq/rabbitmq-server/releases & https://github.com/erlang/otp/releases 启动：rabbitmq-server.bat、rabbitmq-server.bat title ra 阅读全文

摘要： Python 下载(Windows x86-64 embeddable zip file)安装：https://www.python.org/downloads/windows & https://www.python.org/ftp/python & https://registry.npmmir 阅读全文

摘要： 文件结构 顺序写入 The Pathologies of Big Data Comparing Random and Sequential Access in Disk and Memory(比较磁盘和内存中的随机存取和顺序存取) Note：磁盘测试是在新启动的机器(Windows Server 2 阅读全文

摘要： 下载安装，4.0 不再支持 JDK8 https://kafka.apache.org/downloads & https://mirrors.aliyun.com/apache/kafka/ 修改 config\kraft\reconfig-server.properties 中的 log.dir 阅读全文