2018年12月25日

二、Hadoop大数据处理架构

摘要: 一、概述 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发,但开发其应用可以使用多种语言,C,C++,跨平台性非常好。 两大核心:解决了分布式存储和分布式处理两大问题 Hadoop 2.0 (Apache免费开源,企业版可 阅读全文

posted @ 2018-12-25 23:13 TheExile 阅读(351) 评论(0) 推荐(0)

2018年12月24日

一、大数据的概述

摘要: 一、什么是大数据 四个特性(4个V) 数据量大(Volume) 大数据摩尔定律:IDC估测数据一直以50%的速度增长,到2020年,全球将拥有35ZB的数据量。(GB>TB>PB>EB>ZB) 快速化(Velocity) 处理速度快,1秒级决策 多样化(Varity) 数据类型繁多,大部分为非结构化 阅读全文

posted @ 2018-12-24 22:09 TheExile 阅读(460) 评论(0) 推荐(0)

2018年12月3日

单例模式

摘要: 一、单例模式核心作用: 保证一个类只有一个实例,并提供一个访问该实例的全局访问点。 二、常见的五种单例模式实现方法 - 主要 懒汉式:(线程安全,调用效率高,不能延时加载) 饿汉式:(线程安全,调用效率不高,可以延时加载) - 其他 双重检测锁:(由于JVM底层内部模型原因,偶尔会出问题,不建议使用 阅读全文

posted @ 2018-12-03 15:33 TheExile 阅读(103) 评论(0) 推荐(0)

2018年10月9日

正则表达式

摘要: 一、基本语法 简单的转义符 标准字符 - 注意区分大小写,大写表示相反的意思。 例如 \s 和 \S 自定义字符集合,用[]表示,例如上面的[\s\S],表示的就是匹配括号内的内容。 - 注意:特殊字符在[ ] 里面失去其本身意义,比如 + - .这些符号。 量词 (Quantifier) - 非贪 阅读全文

posted @ 2018-10-09 15:24 TheExile 阅读(158) 评论(0) 推荐(0)

2018年9月19日

Java网络编程

摘要: 一、概念 IP地址:确定计算机在网络上的哪个节点 端口号:确定app和哪个服务器对接,区分计算机上的软件,相当于一个房门。ex: QQ - 对接QQ的sever。2个字节,范围 0 - 65536 同一协议下,端口号不能重复 1024以下的端口不要使用,0-1024是给某些厂商预留的端口。ex: 8 阅读全文

posted @ 2018-09-19 23:36 TheExile 阅读(176) 评论(0) 推荐(0)

2018年9月13日

Java 多线程

摘要: 一、进程 / 线程 进程:启动一个application,就调度了一个进程,CPU分配内存 线程:进程中的一部分,相当于进程中的一条路径,多线程,就是多条路径。线程资源共享,CPU不额外分配内存 二、Java实现多线程 1、 继承Thread,重写run方法 2、实现Runnable接口 + 重写r 阅读全文

posted @ 2018-09-13 17:33 TheExile 阅读(178) 评论(0) 推荐(0)

2018年9月11日

awk命令

摘要: 1、应对一般的字符串截取,cut命令也可以完成,但是cut有很大局限性,无法识别多个空格 cut命令的一般格式:cut -d " " -f 5 (以空格为分隔符,截取第五个字符) 举个例子: df -h | cut -d " " -f 5 这个输出的结果会为空,因为df -h 由于他本身的格式,会出 阅读全文

posted @ 2018-09-11 12:06 TheExile 阅读(138) 评论(0) 推荐(0)

2018年9月6日

Shell脚本,获取上个月的第一天和最后一天

摘要: //不使用date -d #!/bin/ksh yy=`date +%Y` mm=`date +%m-1|bc` [ $mm -lt 1 ] && { mm=12; ((yy -= 1)); } [ $mm -le 9 ] && mm="0$mm" getcal=`cal $mm $yy` last_dd=`echo $getcal|awk '{print $NF}'` dd1=`echo ... 阅读全文

posted @ 2018-09-06 16:46 TheExile 阅读(4155) 评论(0) 推荐(0)

2018年9月3日

Java IO流

摘要: File类 一、概念 流:从一端移动到另一端 (源头与目的地)ex: 程序与文件 | 数组 | 网络连接 | 数据库 二、IO流分类 1、流向:输入流与输出流 2、数据:字节流:二进制,可以作用于一些文件,包括纯文本、音频、视频等等。 字符流:文本文件,只能处理纯文本 3、功能:节点流:包裹源头 处 阅读全文

posted @ 2018-09-03 15:15 TheExile 阅读(154) 评论(0) 推荐(0)

2018年8月30日

Java容器

摘要: 容器 容器Collection, 底下有两个接口:Set 和 List Set:无序不可重复 List:有序可重复 容器Map, 键值段, 一个key对应一个value ArrayList, LinkedList, Vector ArrayList底层实现是数组,所以查询较快,而插入较慢。(每插入一 阅读全文

posted @ 2018-08-30 17:23 TheExile 阅读(187) 评论(0) 推荐(0)

导航