triumph丶xs

摘要： #1.DDL数据定义 ##1.1创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name= 阅读全文

摘要： #一、Hive的基本概念 ##1.1什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序 使用场景：用于逻辑简单的 阅读全文

摘要： #1.确保Notepad++为比较新的版本 （本实例 为7.9.1） #2.配置 #2.1 设置->首选项->新建->格式（行尾）unix 编码 UTF-8（无BOM）并打勾✔ #2.2 打开文件时，确保文件的编码为UTF-8 无BOM,如果是其他就转化为UTF-8 #2.3 想要使用Notepad 阅读全文

摘要： #1.MapReduce进程 一个完整的MapReduce程序在分布式运行时有三类实例进程： （1）MrAppMaster：负责整个程序的过程调度及状态协调。 （2）MapTask：负责Map阶段的整个数据处理流程。 （3）ReduceTask：负责Reduce阶段的整个数据处理流程。 #2.常用数 阅读全文

摘要： #1.本地测试 ##Mapreduce编写规范 用户编写的程序分成三个部分：Mapper、Reducer和Driver。 ###环境准备 ####（1）创建maven工程 ####（2）在pom.xml文件中添加如下依赖 <dependencies> <dependency> <groupId>ju 阅读全文

摘要： #一、shell概述 shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核 ##1.1linux提供的shell解析器有 cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /bin/csh 阅读全文

摘要： #一、集群目录文件分发 ##1. scp（secure copy）安全拷贝 1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fn 阅读全文

摘要： #一、hadoop的环境配置 ##1.安装JDK 1）卸载现有JDK （一般centos 7 以上的比较纯净 省略这一步也是可以的） rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps 2）用xshell工具将JDK导入到/opt/soft 阅读全文

摘要： #一、linux 虚拟机最小化安装 模板 ###1.准备好虚拟机（安装最小化的linux模板机） 1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下： 注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装ha 阅读全文

摘要： #linux ##一、网络的配置 1.查看虚拟网络编辑器 ###2.查看虚拟机IP ###3.查看网关 ###4.查看windows环境的中VMnet8网络配置（VMnet1 仅为主机模式）虚拟网卡IP 下面就开始配置ip地址 为避免ip地址冲突 虚拟机ip、网关、虚拟网卡ip的地址不能选，255 阅读全文