摘要：
1.MapReduce概念 1）MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. 2）MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶 阅读全文
posted @ 2021-09-23 00:30
lmandcc
阅读(624)
评论(0)
推荐(1)
摘要：
1.HDFS概述 1)数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就 是分布式文件管理系统。 2)是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间 阅读全文
posted @ 2021-09-22 20:08
lmandcc
阅读(509)
评论(0)
推荐(0)
摘要：
在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</group 阅读全文
posted @ 2021-09-22 18:11
lmandcc
阅读(304)
评论(0)
推荐(0)
摘要：
1.创建目录 hadoop dfs -mkdir /data hadoop dfs -mkdir -p /data/data1 创建多级目录 2.查看文件 hadoop dfs -ls / 3.上传文件 hadoop dfs -put /usr/local/data/ /data 4.下载文件 ge 阅读全文
posted @ 2021-09-22 10:05
lmandcc
阅读(345)
评论(0)
推荐(0)
摘要：
准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html 1. 写一些关键脚本，利于后续集群使用 1.1集群分发脚本xsync cd /bin/ vim x 阅读全文
posted @ 2021-09-17 21:37
lmandcc
阅读(381)
评论(0)
推荐(0)
摘要：
准备工作： 安装jdk 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】（虚拟机的克隆，前面的博客，三台虚拟机都要开机） 这里我们安装的是Hadoop2.7.6版本：https://hadoop.a 阅读全文
posted @ 2021-09-17 20:30
lmandcc
阅读(248)
评论(0)
推荐(0)
摘要：
Redis集群的安装步骤 注意：redis的单节点安装之前已经安装好了 1.创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000 cp 阅读全文
posted @ 2021-09-17 19:33
lmandcc
阅读(237)
评论(0)
推荐(0)
摘要：
一.List列表 基于Linked List实现 元素是字符串类型 列表头尾增删快，中间增删慢，增删元素是常态 元素可以重复出现 最多包含2^32-1元素 列表的索引 从左至右，从0开始 从右至左，从-1开始 1.左右或者头尾压入元素 LPUSH key value [value ...] LPUS 阅读全文
posted @ 2021-09-16 21:55
lmandcc
阅读(761)
评论(0)
推荐(0)
摘要：
1.配置阿里云yum源 下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 生成缓存 yum makecache 2.安装redis 2.1 安装依赖 yum in 阅读全文
posted @ 2021-09-14 19:36
lmandcc
阅读(322)
评论(0)
推荐(0)
摘要：
file->project structure->Modules->Dependencies->+->JARs or dir...->选择包->apply 这里的选择包：mysql-connector-java-5.1.44-bin.jar，导入之后重启idea 2.用IDEA来执行sql语句 2. 阅读全文
posted @ 2021-09-08 19:31
lmandcc
阅读(983)
评论(0)
推荐(0)
浙公网安备 33010602011771号