04 2018 档案

SSM-mybatis-1
摘要:回顾 ------------- 1、JVM runtime data area. a.method area 方法区,永久区,metaspace , 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

posted @ 2018-04-28 18:58 飞机耳朵 阅读(114) 评论(0) 推荐(0)

SSM-mybatis-2
摘要:回顾 ------------- 1、JVM runtime data area. a.method area 方法区,永久区,metaspace , 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

posted @ 2018-04-28 18:57 飞机耳朵 阅读(151) 评论(0) 推荐(0)

SSM-mybatis-spring容器 复杂和简化方法
摘要:回顾 ------------- 1、JVM runtime data area. a.method area 方法区,永久区,metaspace , 共享 b.heap 堆区,共享 heap = young代 + old代理 young ... 阅读全文

posted @ 2018-04-28 18:56 飞机耳朵 阅读(400) 评论(0) 推荐(0)

java中反射-内省-代理模式-并发库下重入锁
摘要:线程安全性 --------------- 1、同步 同步代码块 同步方法 2、synchorize java中任何对象都可以作为锁旗标。 对象内部维护了一个等待队列。 多线程编程时涉及到生产消费关系,可以借助队列来完成。 lock.wait() lock.wait(i... 阅读全文

posted @ 2018-04-26 16:55 飞机耳朵 阅读(246) 评论(0) 推荐(0)

azkaban配置
摘要:azkaban: ======================== 工作流调度器 crontab: Linux自带定时任务 azkaban: 轻量级工作流调度器 linkedIn oozie: 复杂任务调度器,重量级 apache 本地log ===> MR程序数据清洗 ====> load hive ===> hql ===> h... 阅读全文

posted @ 2018-04-25 20:37 飞机耳朵 阅读(273) 评论(0) 推荐(0)

kafka和flume集成
摘要:NewProducer: 1、通过回调,手动监控数据,并进行错误处理 2、手动控制同步,异步 3、linger.ms 控制消息在buffer停留时间 4、数据类型 StringDeSerializer ShortDeSerializer IntegerDeSerializer LongDeSeria... 阅读全文

posted @ 2018-04-25 20:32 飞机耳朵 阅读(217) 评论(0) 推荐(0)

kafka新旧配置文件详解及API
摘要:创建topic: kafka-topics.sh --create --topic test --zookeeper s102:2181 --partitions 3 --replication-factor 2 列出topic: kafka-topics.sh --list --zookeeper s102:2181 启动生产者: kafka-c... 阅读全文

posted @ 2018-04-25 20:18 飞机耳朵 阅读(359) 评论(0) 推荐(0)

kafka配置及基本命令
摘要:kafka: 分布式消息系统 p2p + ps = 消费者组 JMS: java message service p2p: peer to peer point to point ps: publish && subscribe kafka: scala + java =====... 阅读全文

posted @ 2018-04-25 19:39 飞机耳朵 阅读(1260) 评论(0) 推荐(0)

flume中自定义sink InterCeptor
摘要:SinkProcessor: ============================ FailOver: Load balancing : //负载均衡处理器 //round_robin 轮询 1-2-3-1-2-3-... //random 随机 1-3-2-3-1-... ... 阅读全文

posted @ 2018-04-25 19:04 飞机耳朵 阅读(310) 评论(0) 推荐(0)

Avro和protobuf序列化
摘要:序列化: 进程间通信和永久存储 特点: 紧凑 快速 可扩展性 支持互操作,跨语言 java序列化: ObjectInput(Output)Stream hadoop的writable: PersonWritable //java,非跨语言 ... 阅读全文

posted @ 2018-04-25 17:38 飞机耳朵 阅读(595) 评论(0) 推荐(0)

flume的配置详解
摘要:Flume: ===================== Flume是一种分布式的、可靠的、可用的服务,可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力,具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型,允许在线分析应用程序。 source:源 ... 阅读全文

posted @ 2018-04-25 17:27 飞机耳朵 阅读(14094) 评论(0) 推荐(0)

sqoop数据导入导出工具
摘要:Sqoop: 关系型数据库(mysql/oracle) hadoop(hdfs/hive/hbase) 关系型数据库向hadoop组件进行数据导入导出的工具 底层使用MR技术,适用于大数据迁移 将sqoop命令编译成Mr作业,提交给hadoop mysql ===> hadoop 导入 hadoop ==> mysql ... 阅读全文

posted @ 2018-04-25 17:10 飞机耳朵 阅读(212) 评论(0) 推荐(0)

hadoop的负载监控软件ganglia
摘要:ganglia: ====================== 负载监控软件 gmond //在所有主机上监控资源占用率 gmetad //在一个节点上通过端口收集所有主机gmond信息 gweb //收集gmetad的信息并向用户展现 安装ganglia: ======================= ... 阅读全文

posted @ 2018-04-25 16:45 飞机耳朵 阅读(173) 评论(0) 推荐(0)

Hbase的jdbc工具phoenix
摘要:phoenix:凤凰 hbase的jdbc工具 数据库:schema //ns1 表:table //ns1.t1 sqlline.py s102,s103,s104 phoenix的jdbc编程: driver:org.apache.phoenix.jdbc.PhoenixDriver url: jdbc:phoenix:s102 ... 阅读全文

posted @ 2018-04-25 16:43 飞机耳朵 阅读(2846) 评论(0) 推荐(0)

zookeeper搭建和脚本编写
摘要:hadoop: hdfs:分布式存储 MR: 分布式计算 hdfs: ========================= 1、namenode(元数据)、datanode(真实数据)、2nn(检查点) 2、hadoop-daemon.sh start namenode //启动本机进程 hadoop-daemons.sh start da... 阅读全文

posted @ 2018-04-25 16:02 飞机耳朵 阅读(329) 评论(0) 推荐(0)

HA高可用配置-Json-远程调试-聚类距离
摘要:join: Map端join //大表+小表,只需要map Reduce端join //大表+大表,需要Map和Reduce //设计组合key和flag //分组对比器 Json: fastJson技术 JSON.parseObject(str) //将string转成jsonObject ... 阅读全文

posted @ 2018-04-25 15:59 飞机耳朵 阅读(181) 评论(0) 推荐(0)

MR排序和输入输出格式
摘要:mapreduce作业提交流程: 1、配置文件 //输入输出格式(TextInput(output)Format) 2、job.waitforcompletion 3、submit 4、int map = split.size 1)、看文件格式,textFile 判断文件的压缩编解码器(文件名后缀),如果是压缩... 阅读全文

posted @ 2018-04-25 13:46 飞机耳朵 阅读(1294) 评论(0) 推荐(0)

MR job提交流程和切片算法
摘要:Mapreduce: 编程模型,适用于分布式计算 Map: 映射 预处理 Reduce: 化简 聚合 shuffle: 网络间分发 combiner: Map端的reduce partitioner: 分区,默认hash分区 combiner: 适合最大值,最小值 ... 阅读全文

posted @ 2018-04-25 13:44 飞机耳朵 阅读(997) 评论(0) 推荐(0)

java-NIO编程和线程池
摘要:ByteBuffer 1.介绍 字节缓冲区,内部封装的是数组。 [属性] a)capacity 容量,缓冲区的总大小。 b)position 位置,当前指针的位置。数组的下标值。 c)limit 限制,对缓冲区使用的限制,前n个可以使用的元素个数, 也可以理解为第一个不能使用的元素下标值,默认是容量 阅读全文

posted @ 2018-04-22 20:07 飞机耳朵 阅读(2829) 评论(0) 推荐(0)

hadoop中hdfs写入流程
摘要:hdfs写入数据流程总结: 1、通过配置文件获取DistributedFileSystem实例 2、初始化校验和类型和大小 > 类型CRC32C,大小4byte //对每个chunk进行校验,chunk大小512字节 3、创建namenode元数据: 在DFSOutputStream中dfsClie 阅读全文

posted @ 2018-04-21 11:33 飞机耳朵 阅读(1187) 评论(0) 推荐(0)

Maven私服和机架感知黑白名单
摘要:Maven: 构建工具(build):打包,导包,版本控制 mvn clean: 删除target文件夹 compile: 编译 package: 打包 mvn archetype:generate //生成项目骨架 maven的三级定位: groupId //org.apache.hadoop a 阅读全文

posted @ 2018-04-21 11:12 飞机耳朵 阅读(597) 评论(0) 推荐(0)

hadoop多节点配置,压缩,序列化,快照,回收站
摘要:节点的多目录配置: namenode:配置两个文件夹为工作目录(容错) //两文件夹数据相同 datanode:配置两个文件夹为工作目录(扩容) //两文件夹数据不同 namenode配置:hdfs-site.xml <property> <name>dfs.namenode.name.dir</n 阅读全文

posted @ 2018-04-21 11:01 飞机耳朵 阅读(177) 评论(0) 推荐(0)

hadoop块理论配置Secondarynamenod
摘要:hdfs数据块切割理论 hdfs中所有的文件都是以块为单位进行存储,一个块最大128M 块大小:数据寻道时间占用传输时间的1% 廉价硬件:普通的硬盘,普通的cpu等等 使用软件级别高可用替代硬件级别的高可用 去IOE活动:I:IBM小型机 33万人民币 O:Oracle 1核10W美元 E:EMC共 阅读全文

posted @ 2018-04-21 10:48 飞机耳朵 阅读(982) 评论(0) 推荐(0)

hadoop完全分布式搭建
摘要:hadoop四大模块:common //hadoop核心类库hdfs //分布式存储模块mapreduce //分布式计算模块yarn //资源调度模块 hadoop相关端口:hdfs: namenode(50070) //名称节点 datanode(50075) //数据节点 secondaryn 阅读全文

posted @ 2018-04-21 10:39 飞机耳朵 阅读(144) 评论(0) 推荐(0)

hadoop完全分布式的搭建
摘要:hadoop四大模块: common //hadoop核心类库 hdfs //分布式存储模块 mapreduce //分布式计算模块 yarn //资源调度模块 hadoop相关端口: hdfs: namenode(50070) //名称节点 datanode(50075) //数据节点 secon 阅读全文

posted @ 2018-04-21 10:37 飞机耳朵 阅读(132) 评论(0) 推荐(0)

java易疏忽知识点
摘要:01基本数据类型 1.byte bit -128 ~ 127 1字节 = 8bit |1| | | | | | | | 负数存储形式 :补码.正数 : 自身 2^0 1 :0000 0001 2 :0000 0010 3 :0000 0011 -1 :0000 0001 -> 1111 1110 - 阅读全文

posted @ 2018-04-19 20:42 飞机耳朵 阅读(150) 评论(0) 推荐(0)

导航