03 2020 档案

1，MapReduce基础
摘要：MapReduce基础 [TOC] 一、关于MapReduce 1.1 为什么要MapReduce 单机资源有限： 由于单台计算机的资源有限，计算能力不足以处理海量数据；所以需要多台计算机组成分布式集群来处理海量数据。 分布式计算较复杂： 在分布式计算中，计算任务的分发，各个主机之间的协作；程序的启 阅读全文
posted @ 2020-03-14 17:05 平凡的神灯 阅读(1041) 评论(2) 推荐(0)
Linux(CentOS)中的基本配置
摘要：1，hostname(主机名) 查看主机名：hostname 临时修改主机名：hostname hadoop1 永久修改主机名：vi etc/sysconfig/network : [NETWORKING=yes HOSTNAME=hadoop1] CentOS7：修改 /etc/hostname文 阅读全文
posted @ 2020-03-13 23:29 平凡的神灯 阅读(425) 评论(0) 推荐(0)
JDBC
摘要：关于JDBC ··· 概念： · JDBC是java数据库连接的一套标准规范，可以用一套API统一操作各种数据库。 ··· 关系： · java.sql.*中定义的是一套接口，各大数据库厂商提供的驱动来实现这个接口，从而达到兼容。 1，使用JDBC ··· 使用步骤： 1，注册驱动。将驱动jar包加 阅读全文
posted @ 2020-03-11 23:43 平凡的神灯 阅读(119) 评论(0) 推荐(0)
Java中的多线程
摘要：1，创建线程 ··· 继承Thread类： 必须覆写Thread的run方法。 ··· 实现Runnable接口： 必须实现run方法，再传入到Thread(Runnable t)构造方法中。 ··· 实现Callable接口： class A implements Callables<String 阅读全文
posted @ 2020-03-10 23:21 平凡的神灯 阅读(182) 评论(0) 推荐(1)
Java中的文件IO流
摘要：1，File类 ··· 概念：File对象可以表示一个文件或目录。可以对其进行增删改查。 ··· 常用方法： File f = new File("."); 判断是不是目录：f.isDictionary(); 判断是不是文件：f.isFile(); 列出目录中的文件名：f.list(); 列出目录中 阅读全文
posted @ 2020-03-09 23:21 平凡的神灯 阅读(299) 评论(0) 推荐(0)
Java中的数据结构
摘要：1，字符串（String） ···String为特殊的引用类型，不可变。 ···常用实例方法： 获取子串：substring(start, end); 获取索引：indexOf(char); 获取字符：charAt(index)； ···常用静态方法： 格式字符串：String.format("%s 阅读全文
posted @ 2020-03-06 23:35 平凡的神灯 阅读(291) 评论(0) 推荐(1)
HDFS HA(高可用)
摘要：HDFS HA [TOC] 一、HA（High Availability）的使用原因 1.1 在使用 HA之前 单点故障(SPOF)。 整个集群只有一个NameNode，如果这台部署NameNode的主机挂了，那么整个HDFS集群将会停止工作。虽然有SecondaryNameNode，但是Secon 阅读全文
posted @ 2020-03-05 16:19 平凡的神灯 阅读(459) 评论(0) 推荐(0)
Java知识储备
摘要：1，关于 . java文件 规定：第一行为 package name; 表示该.java文件属于哪一个包。 一个.java文件中可以有多个类，但是只能有一个public类，并且这个public类必须与.java文件名一样(区分大小写)。 2，package(包) 概念：package表示包，类似于文 阅读全文
posted @ 2020-03-04 23:35 平凡的神灯 阅读(151) 评论(0) 推荐(0)
MySQL基本语法
摘要：SQL中四种常用的语法类型 ··· DDL 数据库定义语言 常用语句：create，drop，alter，show。 · create(增) · 创建数据库：create database name character set utf8; · 创建表：create table name (col1_ 阅读全文
posted @ 2020-03-03 23:05 平凡的神灯 阅读(172) 评论(0) 推荐(0)
Hadoop中的文件
摘要：1，文件结构 · bin：脚本和命令目录。 · etc：配置文件目录。 · sbin：命令目录，主要包含HDFS和YARN中各类服务的启动和关闭，依赖于bin中的脚本。 · share：各个模块编译后的jar包，和示例代码。 · libexec：各个服务的shell配置文件目录，比如配置日志输出目录 阅读全文
posted @ 2020-03-02 23:21 平凡的神灯 阅读(482) 评论(0) 推荐(0)