摘要：回顾 ------------- 1、JVM runtime data area. a.method area 方法区，永久区，metaspace ， 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

摘要：回顾 ------------- 1、JVM runtime data area. a.method area 方法区，永久区，metaspace ， 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

摘要：回顾 ------------- 1、JVM runtime data area. a.method area 方法区，永久区，metaspace ， 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

摘要：线程安全性 --------------- 1、同步 同步代码块 同步方法 2、synchorize java中任何对象都可以作为锁旗标。 对象内部维护了一个等待队列。 多线程编程时涉及到生产消费关系，可以借助队列来完成。 lock.wait() lock.wait(i... 阅读全文

摘要：azkaban: ======================== 工作流调度器 crontab： Linux自带定时任务 azkaban： 轻量级工作流调度器 linkedIn oozie： 复杂任务调度器，重量级 apache 本地log ===> MR程序数据清洗 ====> load hive ===> hql ===> h... 阅读全文

摘要：NewProducer： 1、通过回调，手动监控数据，并进行错误处理 2、手动控制同步，异步 3、linger.ms 控制消息在buffer停留时间 4、数据类型 StringDeSerializer ShortDeSerializer IntegerDeSerializer LongDeSeria... 阅读全文

摘要：创建topic： kafka-topics.sh --create --topic test --zookeeper s102:2181 --partitions 3 --replication-factor 2 列出topic: kafka-topics.sh --list --zookeeper s102:2181 启动生产者： kafka-c... 阅读全文

摘要：kafka： 分布式消息系统 p2p + ps = 消费者组 JMS： java message service p2p： peer to peer point to point ps: publish && subscribe kafka： scala + java =====... 阅读全文

摘要：SinkProcessor： ============================ FailOver： Load balancing ： //负载均衡处理器 //round_robin 轮询 1-2-3-1-2-3-... //random 随机 1-3-2-3-1-... ... 阅读全文

摘要：序列化： 进程间通信和永久存储 特点： 紧凑 快速 可扩展性 支持互操作，跨语言 java序列化： ObjectInput(Output)Stream hadoop的writable： PersonWritable //java,非跨语言 ... 阅读全文

摘要：Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 ... 阅读全文

摘要：Sqoop： 关系型数据库(mysql/oracle) hadoop(hdfs/hive/hbase) 关系型数据库向hadoop组件进行数据导入导出的工具 底层使用MR技术，适用于大数据迁移 将sqoop命令编译成Mr作业，提交给hadoop mysql ===> hadoop 导入 hadoop ==> mysql ... 阅读全文

摘要：ganglia： ====================== 负载监控软件 gmond //在所有主机上监控资源占用率 gmetad //在一个节点上通过端口收集所有主机gmond信息 gweb //收集gmetad的信息并向用户展现 安装ganglia： ======================= ... 阅读全文

摘要：phoenix：凤凰 hbase的jdbc工具 数据库：schema //ns1 表：table //ns1.t1 sqlline.py s102,s103,s104 phoenix的jdbc编程： driver：org.apache.phoenix.jdbc.PhoenixDriver url： jdbc:phoenix:s102 ... 阅读全文

摘要：hadoop: hdfs:分布式存储 MR： 分布式计算 hdfs: ========================= 1、namenode(元数据)、datanode(真实数据)、2nn(检查点) 2、hadoop-daemon.sh start namenode //启动本机进程 hadoop-daemons.sh start da... 阅读全文

摘要：join： Map端join //大表+小表，只需要map Reduce端join //大表+大表，需要Map和Reduce //设计组合key和flag //分组对比器 Json： fastJson技术 JSON.parseObject(str) //将string转成jsonObject ... 阅读全文

摘要：mapreduce作业提交流程： 1、配置文件 //输入输出格式(TextInput(output)Format) 2、job.waitforcompletion 3、submit 4、int map = split.size 1)、看文件格式，textFile 判断文件的压缩编解码器(文件名后缀)，如果是压缩... 阅读全文

摘要：Mapreduce： 编程模型，适用于分布式计算 Map： 映射 预处理 Reduce: 化简 聚合 shuffle： 网络间分发 combiner： Map端的reduce partitioner： 分区，默认hash分区 combiner： 适合最大值，最小值 ... 阅读全文

摘要：ByteBuffer 1.介绍 字节缓冲区，内部封装的是数组。 [属性] a)capacity 容量，缓冲区的总大小。 b)position 位置，当前指针的位置。数组的下标值。 c)limit 限制，对缓冲区使用的限制，前n个可以使用的元素个数， 也可以理解为第一个不能使用的元素下标值,默认是容量 阅读全文

摘要：hdfs写入数据流程总结： 1、通过配置文件获取DistributedFileSystem实例 2、初始化校验和类型和大小 > 类型CRC32C，大小4byte //对每个chunk进行校验，chunk大小512字节 3、创建namenode元数据： 在DFSOutputStream中dfsClie 阅读全文

摘要：Maven： 构建工具(build):打包，导包，版本控制 mvn clean： 删除target文件夹 compile： 编译 package： 打包 mvn archetype:generate //生成项目骨架 maven的三级定位： groupId //org.apache.hadoop a 阅读全文

摘要：节点的多目录配置： namenode：配置两个文件夹为工作目录(容错) //两文件夹数据相同 datanode：配置两个文件夹为工作目录(扩容) //两文件夹数据不同 namenode配置：hdfs-site.xml <property> <name>dfs.namenode.name.dir</n 阅读全文

摘要：hdfs数据块切割理论 hdfs中所有的文件都是以块为单位进行存储，一个块最大128M 块大小：数据寻道时间占用传输时间的1% 廉价硬件：普通的硬盘，普通的cpu等等 使用软件级别高可用替代硬件级别的高可用 去IOE活动：I：IBM小型机 33万人民币 O：Oracle 1核10W美元 E：EMC共 阅读全文

摘要：hadoop四大模块：common //hadoop核心类库hdfs //分布式存储模块mapreduce //分布式计算模块yarn //资源调度模块 hadoop相关端口：hdfs： namenode(50070) //名称节点 datanode(50075) //数据节点 secondaryn 阅读全文

摘要：hadoop四大模块： common //hadoop核心类库 hdfs //分布式存储模块 mapreduce //分布式计算模块 yarn //资源调度模块 hadoop相关端口： hdfs： namenode(50070) //名称节点 datanode(50075) //数据节点 secon 阅读全文

摘要：01基本数据类型 1.byte bit -128 ~ 127 1字节 = 8bit |1| | | | | | | | 负数存储形式 ：补码.正数 : 自身 2^0 1 :0000 0001 2 :0000 0010 3 :0000 0011 -1 :0000 0001 -> 1111 1110 - 阅读全文