摘要： 大数据基本架构 了解架构能更清晰地认识每个组件，数据处理流程，用作流程设计和技术选型 数据传输层 Flume 专业的日志收集工具，对象一般是 文件类型； Sqoop 是专门采集结构化数据的，对象一般是 数据库； Kafka 实际上是一个 MQ，当做缓存，常用于高并发；它既能传输，也能存储，只是存储空 阅读全文

摘要： 由于篇幅较大，废话不多说，直奔主题。 hadoop 安装同样可分为 单机模式、伪分布式、完全分布式 本文主要介绍完全分布式，环境 centos 6.5，hadoop-2.6.5 第一步：配置好 4 台虚拟机或者物理机，具体步骤参考我的其他博客 第二步：查看主机名，并修改 【务必记住修改主机名的方法， 阅读全文

摘要： 非主业，只做简单介绍 虚拟机安装完毕后，需要进行网络配置。 虚拟机有 3 种网络连接方式： 仅主机模式 Host-only：仅支持 虚拟机与宿主机之间进行通信，无法连接外网 桥接模式 bridge：可连接外网 网络地址转换 NAT 模式：可连接外网 NAT 网络地址转换，network addres 阅读全文

摘要： 许久没玩虚拟机了，密码忘记了，网上找了个教程，亲测有效，这里做个简单记录 1. 右键虚拟机名称 --> 电源 --> 重新启动客户机 2. 在如下界面，按 e 键，edit，注意先点击下屏幕使得光标在虚拟机上 3. 进入如下界面，继续按 e 4. 进入如下界面，方向键选择 kernel 开头的行，继 阅读全文

摘要： 本文记录了 Python 编程中各种提速的小技巧，注意只记录小技巧。 列表解析 VS 生成器 优先选择 生成器 time.clock() [i for i in range(10000000)] # 1.04134576438 (i for i in range(10000000)) # 0.179 阅读全文

摘要： kafka 最初由 Linkedin 公司开发，是一个 分布式、支持分区、多副本的，基于 zookeeper 协调的分布式发布订阅消息系统，该公司在 2010 年将 kafka 贡献给 apache 基金会，1年后升级为顶级项目。 kafka 由 scalar 语言编写， 并提供了多种语言的接口。 阅读全文

摘要： 远程连接 kafka 配置 默认的 kafka 配置是无法远程访问的，解决该问题有几个方案。 方案1 advertised.listeners=PLAINTEXT://IP:9092 注意必须是 ip，不能是 hostname 方案2 advertised.listeners=PLAINTEXT:/ 阅读全文

摘要： 本文解决线程控制的2个场景 1. 线程延时：延迟一定时间，再执行后续程序 2. 两个线程，当一个线程执行时间超过规定时间时，执行另一个线程 场景1：定时器 具体参考 我的博客 后续会写 场景2：继承多线程基类 DelayAction：重写 run 方法，在 run 中延迟 DelayAction2： 阅读全文

摘要： 消息队列 MQ 消息队列就是 消息 message 加 队列 queue，是一种消息传输的容器，提供生产和消费 API 来存储和获取消息。 消息队列分两种：点对点（p2p）、发布订阅（pub/sub） 相同点：生产的消息存入队列，都从队列中获取消息 不同点：p2p 模式是一个消息只能被消费一次，消费 阅读全文

摘要： 单机安装 1. 安装 java 2. 安装 zookeeper 【这一步可以没有，因为 kafka 自带了 zookeeper】 3. 安装 kafka 下载链接 kafka kafka 是 scalar 开发的，解压后的后的文件名 包含两个版本号，第一个是 scalar 版本，第二个是 kafka 阅读全文