07 2017 档案

JVM 什么时候会full gc
摘要：除直接调用System.gc外，触发Full GC执行的情况有如下四种。1. 旧生代空间不足旧生代空间只有在新生代对象转入及创建为大对象、大数组时才会出现不足的现象，当执行Full GC后空间仍然不足，则抛出如下错误：java.lang.OutOfMemoryError: Java heap spa 阅读全文
posted @ 2017-07-29 22:00 mzzcy 阅读(8159) 评论(0) 推荐(1)
Java中的内存泄漏
摘要：[转]介绍Java中的内存泄漏 1. 什么是内存泄漏？ 内存泄漏的定义：对象已经没有被应用程序使用，但是垃圾回收器没办法移除它们，因为还在被引用着。 要想理解这个定义，我们需要先了解一下对象在内存中的状态。下面的这张图就解释了什么是无用对象以及什么是未被引用对象。 2. 为什么会发生内存泄漏？ 来先 阅读全文
posted @ 2017-07-29 21:57 mzzcy 阅读(181) 评论(0) 推荐(0)
Java对象 的创建与构造方法
摘要：一、创建对象的四种方法： a. new语句； b. 利用反射，调用描述类的Class对象的newInstance()实例方法； c. 调用对象的clone()； d. 反序列化； 其中new 和 newInstance()会调用类的构造方法，而clone()和反序列化不会； Cloneable接口： 阅读全文
posted @ 2017-07-26 12:51 mzzcy 阅读(919) 评论(0) 推荐(0)
Java类的加载与生命周期
摘要：一、概要： 类的生命周期从类的 加载、连接、初始化 开始，到类的 卸载结束； 二、几个阶段： 加载：查找并加载类的二进制数据。（把类的.class文件的二进制数据读入内存，存放在运行时数据区的方法区；类加载的最终结果是产生 堆区中描述对应类的Class对象）； 连接：包括验证、准备和解析三个子阶段； 阅读全文
posted @ 2017-07-25 15:08 mzzcy 阅读(1044) 评论(0) 推荐(0)
JAVA各版本更新特性1-8
摘要：JAVA各版本更新特性1-8 原文地址 Java Versions, Features and History This article gives you a highlight of important features added in every major Java release. Ch 阅读全文
posted @ 2017-07-25 01:01 mzzcy 阅读(407) 评论(0) 推荐(0)
理解Java泛型 通配符 ? 以及其使用
摘要：什么是泛型： 泛型从字面上理解，是指一个类、接口或方法支持多种类型，使之广泛化、一般化和更加通用。Java中使用Object类来定义类型也 能实现泛型，但缺点是造成原类型信息的丢失，在使用中容易造成ClassCastException。 什么是泛型： 泛型从字面上理解，是指一个类、接口或方法支持多种 阅读全文
posted @ 2017-07-25 00:36 mzzcy 阅读(10437) 评论(0) 推荐(1)
Java 多线程
摘要：1. 进程和线程区别： 进程通常是代表一个应用程序，进程中包含一个以上线程； 系统会为进程分配独立的内存资源，其中线程可以共享进程中的资源，线程也有自己的少量资源空间（如程序计数器,一组寄存器和栈）； 线程是系统CPU调度的基本单位； 2. 创建与启动的两种方式： 1. 进程和线程区别： 进程通常是 阅读全文
posted @ 2017-07-24 23:22 mzzcy 阅读(203) 评论(0) 推荐(0)
Java 位运算符
摘要：Java支持整数类型数据的位运算： &：与运算； ^：异或运算； |：或运算； ~：取反；（一元操作符） >>：算术右移；（考虑符号位，添加的位与符号位相同） >>>：逻辑右移运算； <<：左移运算； 均按补码来做运算； 注：计算机中加减法用补码，乘除法用原码； 计算机如何做乘法运算的？ 阅读全文
posted @ 2017-07-23 09:05 mzzcy 阅读(139) 评论(0) 推荐(0)
原码、补码、反码
摘要：只讨论整数 只讨论整数 原码： 正数：符号位 0，数值位即真值； 负数：符号位1，数值位即真值； [+3] = [0000 0011] [-3 ] = [1000 0011] [-127] = [1111 11111] [-128] = [1000 0000] // -0用来表示128 原码： 正数 阅读全文
posted @ 2017-07-23 01:10 mzzcy 阅读(272) 评论(0) 推荐(0)
Java 符号引用 与 直接引用
摘要：在类的加载过程中的解析阶段，Java虚拟机会把类的二进制数据中的符号引用 替换为 直接引用，如Worker类中一个方法： 在Worker类的二进制数据中，包含了一个对Car类的run()方法的符号引用，它由run()方法的全名 和 相关描述符组成。在解析阶段，Java虚拟机会把这个符号引用替换为一个 阅读全文
posted @ 2017-07-23 00:51 mzzcy 阅读(6822) 评论(2) 推荐(3)
Java Annotation
摘要：Annotation(注解)是JDK5.0及以后版本引入的。它的作用是修饰编程元素。什么是编程元素呢？例如：包、类、构造方法、方法、成员变量等。 看过的几篇文章： java 注解的几大作用及使用方法详解 Java学习之注解Annotation实现原理 Java中的注解是如何工作的？ 阅读全文
posted @ 2017-07-21 13:03 mzzcy 阅读(172) 评论(0) 推荐(0)
Sqoop hive导出到mysql[转]
摘要：通过Sqoop将Hive表数据导入到MySQL通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下： 1.全部导入 S 阅读全文
posted @ 2017-07-21 00:53 mzzcy 阅读(3317) 评论(1) 推荐(0)
sqoop从Hive导出数据到数据库
摘要：http://www.cnblogs.com/zlslch/p/6573222.html 阅读全文
posted @ 2017-07-17 22:53 mzzcy 阅读(362) 评论(0) 推荐(0)
数据库范式
摘要：数据库（第一范式，第二范式，第三范式） 阅读全文
posted @ 2017-07-15 12:53 mzzcy 阅读(125) 评论(0) 推荐(0)
Hadoop合并小文件的几种方法
摘要：1、Hadoop HAR 将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map-Reduce进行操作，打包后的文件由索引和存储两大部分组成； 缺点: 一旦创建就不能修改，也不支持追加操作，还不支持文档压缩，当有新文件进来以后，需要重新打包。 2、SequeuesFile 适用 阅读全文
posted @ 2017-07-13 08:20 mzzcy 阅读(3132) 评论(0) 推荐(0)
磁盘结构中 簇、块、扇区等概念
摘要：柱面（cylinder） 磁头（head） 圆盘（platter） 扇面 磁道（track） 扇区（sector） 簇、块 扇区是磁盘最小的物理存储单元，但由于操作系统无法对数目众多的扇区进行寻址，所以操作系统就将相邻的扇区组合在一起，形成一个簇，然后再对簇进行管理。每个簇可以包括2、4、8、16、 阅读全文
posted @ 2017-07-11 22:56 mzzcy 阅读(4224) 评论(0) 推荐(1)
常用排序算法总结
摘要：常用排序算法总结： 常用排序算法总结： 稳定性作用： 1.通常对只有一个key的记录来排序时，若两个记录的key相同，稳定排序不会改变排序前 后的顺序。 2.对有多个key来说，如基数排序，从次要key开始排序，在次要key排序完成后，a1排在 a2前，而a1和a2优先级大的key相同，当优先级大的 阅读全文
posted @ 2017-07-09 18:38 mzzcy 阅读(252) 评论(0) 推荐(0)
HBase
摘要：定义： HBase是一个构建在HDFS上的实时的，分布式的，面向列的存储系统，属于NoSQL数据库；它存储的是松散型数据。 其它参考： Hadoop相关知识整理系列之一：HBase基本架构及原理 Hbase原理、基本概念、基本架构 Hbase表的结构 为何HBase速度很快 HBASE列族不能太多的 阅读全文
posted @ 2017-07-08 21:42 mzzcy 阅读(131) 评论(0) 推荐(0)
SQL 和 NoSQL 比较
摘要：定义： SQL (Structured Query Language) 数据库，指关系型数据库。主要代表：SQL Server，Oracle，MySQL(开源)，PostgreSQL(开源)。 NoSQL（Not Only SQL）泛指非关系型数据库。主要代表：MongoDB，Redis，Couch 阅读全文
posted @ 2017-07-07 23:57 mzzcy 阅读(198) 评论(0) 推荐(0)
Flume 和 kafka的区别和对比
摘要：定义： Flume：是Cloudera提供的一个分布式的海量日志采集、聚合和传输的系统； Kafka：是一种高吞吐量的分布式发布订阅消息系统； 各特点： 场景： Flume主要是和HDFS\HBase结合，有特殊优化效率更好； Kafka 是一个通用型系统，开发商 Cloudera 推荐如果数据需要 阅读全文
posted @ 2017-07-06 09:41 mzzcy 阅读(2728) 评论(0) 推荐(0)
MapReduce ChainMapper/ChainReducer
摘要：The ChainMapper class allows to use multiple Mapper classes within a single Map task. The ChainReducer class allows to chain multiple Mapper classes a 阅读全文
posted @ 2017-07-06 01:14 mzzcy 阅读(259) 评论(0) 推荐(0)
Hive 自定义函数 UDF UDAF UDTF
摘要：1、UDF：用户定义（普通）函数，只对单行数值产生作用； 继承UDF类，添加方法 evaluate() 2、UDAF：User- Defined Aggregation Funcation；用户定义聚合函数，可对多行数据产生作用；等同与SQL中常用的SUM()，AVG()，也是聚合函数； 聚合函数使 阅读全文
posted @ 2017-07-05 08:48 mzzcy 阅读(13885) 评论(0) 推荐(0)
Hive JOIN的基本操作 及 内部实现
摘要：1、HIVE基本操作： [一起学Hive]之十一-Hive中Join的类型和用法 注：HIve不支持非等值连接； 什么是等值连接： 2、HIVE JOIN 内部原理： Hive中Join的原理和机制 Hive的三种Join方式 关于SMB： Hive 基础之：分区、桶、Sort Merge Buck 阅读全文
posted @ 2017-07-04 01:40 mzzcy 阅读(425) 评论(0) 推荐(0)
MAC Safari上网弹窗弹广告的最新有效解决方法
摘要：MAC Safari上网弹窗弹广告的最新有效解决方法 流氓软件Mackeeper 阅读全文
posted @ 2017-07-03 14:10 mzzcy 阅读(2599) 评论(0) 推荐(0)
SQL JOIN连接分类[转]
摘要：1、内联接（典型的联接运算，使用像 = 或 <> 之类的比较运算符）；包括相等联接和自然联接； 内联接使用比较运算符根据每个表共有的列的值匹配两个表中的行； 2、外联接。外联接可以是左向外联接、右向外联接或完整外部联接。 在 FROM子句中指定外联接时，可以由下列几组关键字中的一组指定： 1）LEF 阅读全文
posted @ 2017-07-03 09:49 mzzcy 阅读(233) 评论(0) 推荐(0)
Spark Streaming
摘要：一、梗概 即时处理流式数据； Spark Streaming 使用 离散化流(discretized stream) DStream作为抽象表示； DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些 RDD所组成的序列 (因此 得名 阅读全文
posted @ 2017-07-03 01:54 mzzcy 阅读(175) 评论(0) 推荐(0)
Spark SQL
摘要：和Hive SQL演变而来，有很多相似之处； 挖坑待做； Spark入门之五：SparkSQL的原理以及架构 阅读全文
posted @ 2017-07-02 23:41 mzzcy 阅读(131) 评论(0) 推荐(0)
Spark RDD
摘要：梗概： RDD 其实就是分布式的元素集合。 在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD 以及 调用RDD 操作进行求值。而在这一切背后，Spark会自动将RDD中的数据分发到集群上，并将操作并行化执行。 RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区 阅读全文
posted @ 2017-07-02 20:36 mzzcy 阅读(244) 评论(0) 推荐(0)
内联函数
摘要：目的：提高函数调用的效率； 特点：编译期间 将程序中的 调用表达式 用函数体 进行替换；而对于其他的函数，都是在运行时候才被替代。 这其实就是个空间代价换时间的节省。 内联函数一般不益太长，一般都是1-5行的小函数。 阅读全文
posted @ 2017-07-02 15:50 mzzcy 阅读(133) 评论(0) 推荐(0)
Spark基本原理
摘要：仅作《Spark快速大数据分析》学习笔记 定义：Spark是一个用来实现 快速 而 通用 的集群计算平台；（通用的大数据处理引擎；） 改进了原Hadoop MapReduce处理模型，体现在三方面： a. 速度；（内存计算） b. 不仅支持批处理，还支持交互式查询(速度快的成果)、流式计算、机器学习 阅读全文
posted @ 2017-07-02 15:04 mzzcy 阅读(262) 评论(0) 推荐(0)