吊车尾88

2017年6月4日

摘要： 1. 查看存储引擎 show engines; 2. 查看数据存储位置 show variables like 'datadir'； 3. 存储引擎 create table mytest engine=myisam as select * from salaries; alter table my 阅读全文

posted @ 2017-06-04 23:11 吊车尾88 阅读(138) 评论(0) 推荐(0)

hadoop HA 详解

摘要： NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNod 阅读全文

posted @ 2017-06-04 21:10 吊车尾88 阅读(643) 评论(0) 推荐(0)

Hadoop-Yarn-框架原理及运作机制

摘要：一、YARN基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的阅读全文

posted @ 2017-06-04 11:14 吊车尾88 阅读(355) 评论(0) 推荐(0)

2017年6月3日

mapreduce shuffle 和sort 详解

摘要： MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去执行，每一个Map 任务处理输入数据中的一部分，当Map 任务完成后，它会生成一些中间文件，这些中间文件将会作阅读全文

posted @ 2017-06-03 15:15 吊车尾88 阅读(542) 评论(0) 推荐(0)

2017年6月1日

线程生命周期

摘要： 1.线程的生命周期线程是一个动态执行的过程，它也有一个从产生到死亡的过程。 (1)生命周期的五种状态线程状态 NEW 状态是指线程刚创建, 尚未启动 RUNNABLE 状态是线程正在正常运行中, 当然可能会有某种耗时计算/IO等待的操作/CPU时间片切换等, 这个状态下发生的等待一般是其他系统资源阅读全文

posted @ 2017-06-01 23:23 吊车尾88 阅读(154) 评论(0) 推荐(0)

JVM 内存模型及垃圾回收

摘要： java内存模型根据 JVM 规范，JVM 内存共分为虚拟机栈、堆、方法区、程序计数器、本地方法栈五个部分。程序计数器：程序计数器是指CPU中的寄存器，它保存的是程序当前执行的指令的地址（也可以说保存下一条指令的所在存储单元的地址），当CPU需要执行指令时，需要从程序计数器中得到当前需要执行的指阅读全文

posted @ 2017-06-01 18:54 吊车尾88 阅读(214) 评论(0) 推荐(0)

2017年5月31日

利用Hive分析nginx日志

摘要：这里用到的nginx日志是网站的访问日志，比如日志格式： 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/9 阅读全文

posted @ 2017-05-31 18:55 吊车尾88 阅读(910) 评论(0) 推荐(0)

mysql 30大优化策略

摘要： mysql 30大优化策略 1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断阅读全文

posted @ 2017-05-31 09:58 吊车尾88 阅读(176) 评论(0) 推荐(0)

2017年5月27日

hive 分组排序，topN

摘要： hive 分组排序，topN 语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rankpartition by：类似hive的建表，分区的意思；order by ：排序，默认是升序，加desc降序；rank：表示别名表示根阅读全文

posted @ 2017-05-27 12:16 吊车尾88 阅读(1044) 评论(0) 推荐(0)

Java核心卷笔记(一)

摘要：第三章Java基程序设计结构 1.注释三种注释方式： // 注释单行 /* 内容 */ 注释单行 /** * 内容 */ 2. java 数据类型 Java数据类型可分为两种：基本数据类型和引用数据类型基本数据类型有8中： 4种整型： int,short,long,byte 2种浮点型：floa 阅读全文

posted @ 2017-05-27 10:28 吊车尾88 阅读(111) 评论(0) 推荐(0)

公告