11 2021 档案

Hbase java API
摘要：#一、Java查看zookeeper 1、使用idea下载zookeeper插件 2、启动集群 3、开始使用查看 #二、Hbase Java api 1、新建maven项目命名hbase 2、hbase项目pom文件导包 <dependencies> <dependency> <groupId>or 阅读全文
posted @ 2021-11-30 21:52 艺术派大星 阅读(631) 评论(0) 推荐(0)
HBase分布式集群搭建和重置
摘要：链接：https://pan.baidu.com/s/1OZKdUk1rNpqSdxyUvvsHFQ 提取码：lycc #一HBase集群搭建 ##1、集群要求 ###1.1、Hadoop集群搭建 Hadoop-2.7.6版本集群安装与环境配置 ###1.2、hdfs分布式文件系统 ###1.3、z 阅读全文
posted @ 2021-11-29 17:48 艺术派大星 阅读(583) 评论(0) 推荐(0)
开窗函数
摘要：#一、数据类型 ##1、数值型 TINYINT — 微整型，只占用1个字节，只能存储0-255的整数。 SMALLINT– 小整型，占用2个字节，存储范围–32768 到 32767。 INT– 整型，占用4个字节，存储范围-2147483648到2147483647。 BIGINT– 长整型，占用 阅读全文
posted @ 2021-11-28 16:03 艺术派大星 阅读(272) 评论(0) 推荐(0)
hive的jdbc操作
摘要：首先开启hive服务端 新建maven项目 添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.6</ver 阅读全文
posted @ 2021-11-25 22:28 艺术派大星 阅读(235) 评论(0) 推荐(0)
hive基础数据库操作以及分区、动态分区、分桶
摘要：一、hive基础概念 1、Hive是什么 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许 阅读全文
posted @ 2021-11-23 22:30 艺术派大星 阅读(1231) 评论(0) 推荐(0)
mapreduce单节点模式搭建hive
摘要：资源下载网址 链接：https://pan.baidu.com/s/1AsvsIK9ZT6JPkKMBR3LWpg 提取码：lycc 一、Hive的安装版本 我们的版本约定： JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/ 阅读全文
posted @ 2021-11-23 12:24 艺术派大星 阅读(57) 评论(0) 推荐(0)
zookeeper实现Hadoop集群的高可用性
摘要：一、集群规划 高可用原理 yarn资源调度原理 集群节点规划 二、搭建集群 注意：开始搭建之前务必关闭Hadoop ./stop-all.sh 1、免密钥设置 (远程执行命令) 在两个主节点生成密钥文件，master之前配置过，配置node1，原理相同 ssh-keygen -t rsa ssh-c 阅读全文
posted @ 2021-11-22 22:37 艺术派大星 阅读(490) 评论(0) 推荐(0)
zookeeper安装与环境配置以及简单命令使用
摘要：链接：https://pan.baidu.com/s/1cb8ltOl3FdIV2t6j4hDM1w 提取码：lycc 一、Zookeeper集群搭建 1、下载压缩包，上传到虚拟机soft目录下，解压，安装之前记得先拍快照，关闭Hadoop集群 2、配置环境变量 vim /etc/profile e 阅读全文
posted @ 2021-11-22 21:38 艺术派大星 阅读(724) 评论(0) 推荐(0)
在Windows的IDEA上直接运行MapReduce
摘要：链接：https://pan.baidu.com/s/1vLGtYVv1VLJqaXY6LAsuLA 提取码：lycc 1、将下载好的hadoop-2.7.6.tar.gz包解压到任意目录 2、将下载的winutils-master.rar解压，选择自己的版本将bin目录下的hadoop.dll文件 阅读全文
posted @ 2021-11-21 22:28 艺术派大星 阅读(774) 评论(0) 推荐(0)
MapReduce
摘要：一、MapReduce概念知识 1、MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce， Map阶段：一个独立的程序，有很多个节点同时运行，每个节点处理 阅读全文
posted @ 2021-11-20 22:48 艺术派大星 阅读(898) 评论(0) 推荐(0)
通过Java操作hdfs
摘要：1、使用IDEA，在之前创建的bigdata项目里面新建hadoop模块，导入相关hadoop包 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> 阅读全文
posted @ 2021-11-19 22:24 艺术派大星 阅读(457) 评论(0) 推荐(0)
分布式存储原理
摘要：三个节点简述： namenode: datanode: secondary node 1、分布式文件管理系统： 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是 阅读全文
posted @ 2021-11-18 21:52 艺术派大星 阅读(1084) 评论(0) 推荐(0)
HDFS分布式文件系统基本操作
摘要：一、HDFS分布式文件系统概述 hdfs分布式文件系统 ， 将一个大的文件拆分成多个小文件存储在多台服务器中，可以通过Hadoop web界面查看 文件系统： 目录结构（树状结构） "/" 树根， 目录结构在namenode中维护 二、常用命令 首先在Linux系统创建一个/usr/local/目录 阅读全文
posted @ 2021-11-18 20:33 艺术派大星 阅读(940) 评论(0) 推荐(0)
Hadoop-2.7.6版本集群安装与环境配置
摘要：链接：https://pan.baidu.com/s/1t8vDzoFb956TrsfGeq_3uA提取码：lycc 一、安装之前先检查3虚拟机有没有以下问题 1、第一台虚拟机 配置网络 修改主机名 关闭防火墙 配置映射 安装jdk(删除自带jdk) 2、克隆两台 修改主机名 修改网络 3、SSH免 阅读全文
posted @ 2021-11-18 13:48 艺术派大星 阅读(511) 评论(0) 推荐(0)
redis集群模式
摘要：一、主从复制 1、开启master和node1虚拟机，连接xshell，复制之前先拍快照 2、通过master虚拟机将redis复制给node1 复制成功 3、 控制台启动两台服务器 只有master可以执行写命令，slave只能读，来降低master的读压力 4、修改node1端口号区分两台服务 阅读全文
posted @ 2021-11-16 22:15 艺术派大星 阅读(485) 评论(0) 推荐(0)
redis简单使用
摘要：一、Redis概述 1、NoSQL分类： 2、 Redis数据模型 3、Redis key（key，value值） 1、值是二进制安全的，这意味着可以用任何二进制序列作为key值，从形如”foo”的简单字符串到一个JPEG文件的内容都可以。 2、空字符串也是有效key值 Key取值原则 3、键值不需 阅读全文
posted @ 2021-11-15 22:19 艺术派大星 阅读(171) 评论(0) 推荐(0)
redis单节点安装
摘要：一、下载压缩包 链接：https://pan.baidu.com/s/1lb41NyP0koC2WsIsmyrHRQ 提取码：lycc 二、打开master主节点，先拍快照 1、配置阿里云yum源，下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo ht 阅读全文
posted @ 2021-11-13 11:40 艺术派大星 阅读(103) 评论(0) 推荐(0)
Gitee仓库-----模拟创建一个完整的大数据maven项目并实现git管理
摘要：Git做了同步操作，而不是重新上传，出现修改在上传的时候会自动覆盖 一、gitee官网 1、注册国内gitee 2、新建仓库 开源 二、下载git管理工具 链接：https://pan.baidu.com/s/1jGmi19kuRdBWlrAyUh2Rjw 提取码：0om8 自定义安装目录 勾选环境 阅读全文
posted @ 2021-11-11 18:23 艺术派大星 阅读(585) 评论(0) 推荐(0)
maven管理
摘要：链接：https://pan.baidu.com/s/1NXADU_vcUSOiVtcYdyfIQQ 提取码：lycc maven的作用 1、下载包 2、项目管理 1、下载apache-maven，解压修改默认下载源和存储位置 找到maven目录下D:\soft\java\maven\apache- 阅读全文
posted @ 2021-11-09 21:10 艺术派大星 阅读(95) 评论(0) 推荐(0)
JDBC 数据库和IDEA的连接
摘要：一、MySQL中shell编程实现自动查询 编写脚本：mysql.shell 将shell脚本写入计时器 执行即可，完成后记得修改计时器文件关闭计时器自动查询数据库 二、Java操作数据库 JDBC 1、打开IDEA2018.1.5，创建新项目 选择之前安装的JDK1.8版本 下一步 注意这里盘符不 阅读全文
posted @ 2021-11-08 21:56 艺术派大星 阅读(493) 评论(0) 推荐(0)
MySQL查询语句
摘要：一、select基本查询语句： 查询常量： 查询表达式： 查询函数： 查询单个字段： 查询多个字段： 查询所有字段： 二、字段起别名：(仅仅是控制台上的输出结果修改字段名，也就是虚拟表) 优点： 1、便于理解 2、如果我们发现字段有重名的情况，使用别名可以区分 方式一：使用as 方式二：使用空格 注 阅读全文
posted @ 2021-11-07 22:29 艺术派大星 阅读(333) 评论(0) 推荐(0)
navicat安装和破解
摘要：链接：https://pan.baidu.com/s/1gFKJLZYT3fB0iBs33HL-Tw 提取码：lycc 下载navicat_premium_trial安装包，解压管理员身份运行 建议和虚拟机放在一个目录下 完成安装 破解试用期： 安装完成远程连接数据库，连接mysql 连接成功 简单 阅读全文
posted @ 2021-11-04 20:41 艺术派大星 阅读(395) 评论(0) 推荐(0)
MySQL语句
摘要：概要：数据库是数据的仓库 与普通的数据仓库不同的是,数据库依据数据结构来组织数据,因为数据结构的存在,所以看到的数据是条理化的 数据库和普通文件系统的区别在与:数据库拥有数据结构,能都快速查找对应的数据 常说的XX数据库,其实就是XX数据库管理系统:数据库管理系统是一个软件,是数据库服务的体现，根据 阅读全文
posted @ 2021-11-04 20:41 艺术派大星 阅读(62) 评论(0) 推荐(0)
Linux系统MySQL安装与卸载
摘要：安装之前虚拟机master先拍快照，方便安装错误复原重新安装 开始安装 查看虚拟机防火墙有没有关闭 没有关闭设置关闭防火墙开机自启 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止 阅读全文
posted @ 2021-11-04 15:05 艺术派大星 阅读(241) 评论(0) 推荐(0)
shell编程
摘要：Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言 ，Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 创建一个文件：vim hello.sh 文件头为：#!/bin/bas 阅读全文
posted @ 2021-11-02 19:26 艺术派大星 阅读(711) 评论(0) 推荐(0)
Linux常用命令
摘要：linux目录结构： bin:存储普通命令 sbin:存储超级命令 home:存储普通用户 root:存储超级用户 /usr/local:下存储数据或软件 tmp:临时目录 迎来存放临时数据 常用命令： ifconfig:查看网络 service network restart:重启网络 hostn 阅读全文
posted @ 2021-11-02 15:00 艺术派大星 阅读(61) 评论(0) 推荐(0)
VMware和Centos7的安装和虚拟机集群搭建
摘要：一、硬件要求:电脑硬盘至少还有100G空闲空间，内存至少8G以上，否则后面跑不起来 安装包链接; 链接：https://pan.baidu.com/s/1SdXPNSIgRdK1juoIimdCxQ 提取码：lycc 二、安装: VM官网下载想要的VMware ，这里以VMware15.5演示，这里 阅读全文
posted @ 2021-11-01 22:17 艺术派大星 阅读(651) 评论(0) 推荐(0)
Java-39 正则表达式
摘要：正则表达式： 一、正则表达式的概述 1、概念：使用单个字符串来描述或者匹配一系列符合某种语法规则的字符串 2、使用步骤： 1、通过大量的字符串查找你需要的定义规则 2、使用这种规则去匹配新的字符串 3、如果匹配成功，就去做出相应的操作 3、正则表达式的模式 4、正则表达式的功能 匹配：matches 阅读全文
posted @ 2021-11-01 19:45 艺术派大星 阅读(60) 评论(0) 推荐(0)
Java-38 网络编程
摘要：。。 阅读全文
posted @ 2021-11-01 19:44 艺术派大星 阅读(13) 评论(0) 推荐(0)

levels of contents