02 2020 档案

YARN 作业管理
摘要：启动 TDH Client // 进入 TDH Client 目录下 1. // 执行 TDH Client 的 init.sh 脚本，此操作只对当前 Session 有效 2. 上传作业输入文件 //将本地文件 wordcount.txt 上传至 HDFS 作业输入目录中。 // 在本地创建 wo 阅读全文
posted @ 2020-02-27 21:42 20145232 阅读(437) 评论(0) 推荐(0)
HDFS 基本操作
摘要：启动 TDH Client // 进入 TDH Client 目录下 1. // 执行 TDH Client 的 init.sh 脚本，此操作只对当前 Session 有效 2. 查看目录 //在 HDFS 上查看实验目录/training 下文件及目录结构。 创建目录 //在 HDFS 上创建目录 阅读全文
posted @ 2020-02-26 21:49 20145232 阅读(1149) 评论(0) 推荐(0)
TDH Client 使用方法
摘要：过程记录 TDH Client 下载 进行 TDH Client 客户端下载（tdh client.tar） 先将 tdh client.tar 移动到/transwarp/Desktop 下，再解压和初始化，完成安装。 1. 进入到 Linux 控制台 // 进入到下载目录 2. // 将文件复制 阅读全文
posted @ 2020-02-26 19:11 20145232 阅读(1580) 评论(0) 推荐(0)
分布式计算框架
摘要：MapReduce 简介 概念 面向批处理的分布式计算框架 一种编程模型: MapReduce程序被分为Map(映射)和Reduce(化简)阶段 核心思想 分而治之, 并行计算 移动计算而非移动数据 特点 MapReduce有几个特点： 移动计算而不移动数据：分布式计算，计算跟着数据走，数据存放在哪 阅读全文
posted @ 2020-02-25 21:50 20145232 阅读(1968) 评论(0) 推荐(1)
分布式文件系统
摘要：HDFS简介 HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据存储的一个解决方案。 优缺点 优势 1.　高容错性，HDFS提供了非常好的“副本冗余机制”，简单来说就是一份数据在HDFS当中存放，包含它自身在内至少会有（默认） 阅读全文
posted @ 2020-02-25 19:20 20145232 阅读(1009) 评论(0) 推荐(1)
大数据技术概览
摘要：基本特征 大数据基本特征包含4个，分别为：数据规模巨大（Volume）、数据类型多样（Variety）、生成和处理速度极快（Velocity）、价格巨大但密度较低（Value），一般也称之为4V。 应用场景 数据仓库。传统的架构中也会有数据仓库，但是传统架构中，他的数据流转大概是从业务系统产生数据存 阅读全文
posted @ 2020-02-24 21:25 20145232 阅读(373) 评论(0) 推荐(0)
数据库03
摘要：左连接 例1：查询所有学生的成绩，包括没有成绩的学生 例2：查询所有学生的成绩，包括没有成绩的学生，需要显示课程名 右连接 添加两门课程 例1：查询所有课程的成绩，包括没有成绩的课程 例2：查询所有课程的成绩，包括没有成绩的课程，包括学生信息 自关联 设计省信息的表结构provinces id pt 阅读全文
posted @ 2020-02-23 21:53 20145232 阅读(175) 评论(0) 推荐(0)
数据库02
摘要：数据操作 查询 创建数据表 准备数据 查询所有字段 例： 查询指定字段 在select后面的列名部分，可以使用as为列起别名，这个别名出现在结果集中 消除重复行 在select后面列前使用distinct可以消除重复的行 例： 条件 使用where子句对表中的数据筛选，符号条件的数据会出现在结果集中 阅读全文
posted @ 2020-02-23 15:16 20145232 阅读(130) 评论(0) 推荐(0)
数据库01
摘要：数据库概念 数据库 是指长期存储在计算机内、有组织的数据集合。简而言之，数据库就是一个存储数据的地方。表是数据库中存储数据的基本单位，数据按照分类存储到不同的表中，能够非常高效的查询其 中的数据 关系型数据库RDBMS 当前主要使用两种类型的数据库：关系型数据库、非关系型数据库，我们主要学习主流的关 阅读全文
posted @ 2020-02-22 23:01 20145232 阅读(225) 评论(0) 推荐(0)
Linux-02
摘要：修改文件权限：chmod chmod 修改文件权限有两种使用格式：字母法与数字法。 字母法：chmod u/g/o/a +/ /= rwx 文件 | [ u/g/o/a ] | 含义 | | : : | : : | | u | user 表示该文件的所有者 | | g | group 表示与该文件的 阅读全文
posted @ 2020-02-22 13:28 20145232 阅读(106) 评论(0) 推荐(0)
Linux-01
摘要：[TOC] 不同应用领域的主流操作系统 桌面操作系统 服务器操作系统 嵌入式操作系统 移动设备操作系统 1 桌面操作系统 Windows 系列 用户群体大 macOS 适合于开发人员 Linux 应用软件少 2 服务器操作系统 Linux 安全、稳定、免费 占有率高 Windows Server 付 阅读全文
posted @ 2020-02-21 17:40 20145232 阅读(111) 评论(0) 推荐(0)
JavaSE知识-25(多线程(下))
摘要：25.01_多线程(单例设计模式) 单例设计模式：保证类在内存中只有一个对象。 如何保证类在内存中只有一个对象呢？ (1)控制类的创建，不让其他类来创建本类的对象。private (2)在本类中定义一个本类的对象。Singleton s; (3)提供公共的访问方式。 public static Si 阅读全文
posted @ 2020-02-21 17:32 20145232 阅读(88) 评论(0) 推荐(0)
JavaSE知识-24(多线程(上))
摘要：[TOC] 24.01_多线程(多线程的引入) 1.什么是线程 线程是程序执行的一条路径, 一个进程中可以包含多条线程 多线程并发执行可以提高程序的效率, 可以同时完成多项工作 2.多线程的应用场景 红蜘蛛同时共享屏幕给多个电脑 迅雷开启多条线程一起下载 QQ同时和多个人一起视频 服务器同时处理多个 阅读全文
posted @ 2020-02-19 21:44 20145232 阅读(145) 评论(0) 推荐(0)
JavaSE知识-23(递归练习)
摘要：[TOC] 统计该文件夹大小 运行结果为24936 删除该文件夹 拷贝 按层级打印 阅读全文
posted @ 2020-02-18 22:23 20145232 阅读(159) 评论(0) 推荐(0)
JavaSE知识-22(IO(其他流)&Properties)
摘要：[TOC] 22.01_IO流(序列流) 1.什么是序列流 序列流可以把多个字节输入流整合成一个, 从序列流中读取数据时, 将从被整合的第一个流开始读, 读完一个之后继续读第二个, 以此类推. 2.使用方式 整合两个: SequenceInputStream(InputStream, InputSt 阅读全文
posted @ 2020-02-18 13:42 20145232 阅读(159) 评论(0) 推荐(0)
JavaSE知识-21(IO(字符流)&字符流其他内容&递归)
摘要：[TOC] 21.01_IO流(字符流FileReader) 1.字符流是什么 字符流是可以直接读写字符的IO流 字符流读取字符, 就要先读取到字节数据, 然后转为字符. 如果要写出字符, 需要把字符转为字节再写出. 2.FileReader FileReader类的read()方法可以按照字符大小 阅读全文
posted @ 2020-02-17 12:37 20145232 阅读(175) 评论(0) 推荐(0)
JavaSE知识-20(IO(字节流)
摘要：[TOC] IO流概述及其分类 1.概念 IO流用来处理设备之间的数据传输 Java对数据的操作是通过流的方式 Java用于操作流的类都在IO包中 流按流向分为两种：输入流，输出流。 流按操作类型分为两种： 字节流 : 字节流可以操作任何数据,因为在计算机中任何数据都是以字节的形式存储的 字符流 : 阅读全文
posted @ 2020-02-16 13:14 20145232 阅读(201) 评论(0) 推荐(0)
JavaSE知识-19(异常&IO(File类))
摘要：[TOC] 异常的概述和分类 A:异常的概述 异常就是Java程序在运行过程中出现的错误。 B:异常的分类 通过API查看Throwable Error 服务器宕机,数据库崩溃等 Exception C:异常的继承体系 Throwable Error Exception RuntimeExcepti 阅读全文
posted @ 2020-02-15 12:37 20145232 阅读(376) 评论(0) 推荐(0)
JavaSE知识-18(Map集合&模拟斗地主洗牌和发牌)
摘要：[TOC] Map集合概述和特点 A:Map接口概述 查看API可以知道： 将键映射到值的对象 一个映射不能包含重复的键 每个键最多只能映射到一个值 B:Map接口和Collection接口的不同 Map是双列的,Collection是单列的 Map的键唯一,Collection的子体系Set是唯一 阅读全文
posted @ 2020-02-14 11:14 20145232 阅读(526) 评论(1) 推荐(0)
JavaSE知识-17(Set集合)
摘要：[TOC] HashSet存储字符串并遍历 Set集合概述及特点 HashSet存储自定义对象保证元素唯一性 new的对象每个对象都有自己的地址值, 若要认为同姓名同年龄是同个人, 需要 重写equals方法 回头运行依然没有显示唯一性, 通过在equals中输出语句, 运行结果中没有输出表明没有执 阅读全文
posted @ 2020-02-12 13:07 20145232 阅读(329) 评论(0) 推荐(0)
JavaSE知识-16(List集合)
摘要：去除ArrayList中重复字符串元素方式 案例演示 需求：ArrayList去除集合中字符串的重复值(字符串的内容相同) 思路：创建新集合方式 去除ArrayList中重复自定义对象元素 A:案例演示 需求：ArrayList去除集合中自定义对象元素的重复值(对象的成员变量值相同) B:注意事项 阅读全文
posted @ 2020-02-09 21:14 20145232 阅读(156) 评论(0) 推荐(0)
JavaSE知识-15(Colletion集合)
摘要：[TOC] 对象数组的概述和使用 案例演示 需求：我有5个学生，请把这个5个学生的信息存储到数组中，并遍历数组，获取得到每一个学生信息。 创建学生类: Alt Shift s c 空参构造 Alt Shift s o 有参构造 Alt Shift s r get/set方法 Alt Shift s 阅读全文
posted @ 2020-02-08 11:01 20145232 阅读(196) 评论(0) 推荐(0)
JavaSE知识-13(StringBuffer&数组排序)
摘要：[TOC] StringBuffer类的概述 通过JDK提供的API, 查看StringBuffer类的说明 线程安全的可变字符序列。一个类似于 String 的字符串缓冲区，但不能修改。虽然在任意时间点上它都包含某种特定的字符序列，但通过某些方法调用可以改变该序列的长度和内容。 StringBuf 阅读全文
posted @ 2020-02-05 18:28 20145232 阅读(243) 评论(0) 推荐(0)
JavaSE知识-12(String类)
摘要：[TOC] Scanner的概述和方法介绍 Scanner的构造方法原理 Scanner(InputStream source) System类下有一个静态的字段： public static final InputStream in; 标准的输入流，对应着键盘录入。 一般方法 hasNextXxx 阅读全文
posted @ 2020-02-04 14:13 20145232 阅读(251) 评论(0) 推荐(0)
JavaSE知识-11(Eclipse使用以及Object类型)
摘要：[TOC] Eclipse中HelloWorld案例以及汉化 A:选择工作空间 工作空间 其实就是我们写的源代码所在的目录 B:用Eclipse来完成一个HelloWorld案例 代码以项目为基本单位 创建项目 创建包 创建类 编写代码 C:编译和运行 D:Eclipse的汉化 从Eclipse3. 阅读全文
posted @ 2020-02-02 22:55 20145232 阅读(591) 评论(0) 推荐(0)