随笔分类 - big data
摘要:1、下载并拷贝 htrace-core-3.1.0-incubating.jar 和 phoenix-5.0.0-HBase-2.0-server.jar 到 Hbase 的 /home/hbase-2.2.4/lib 目录下; 重启Hbase服务。 2、客户端代码: package test; i
阅读全文
摘要:一、下载 apache-flume-1.9.0-bin.tar.gz 解压至 /home/hadoop-3.3.0/flume-1.9.0 目录; 二、创建相关目录 /home/hadoop-3.3.0/flumefile //用于接收tomcat日志文件 /home/hadoop-3.3.0/fl
阅读全文
摘要:一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 : http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压:tar -zxvf apache-hive-3.
阅读全文
摘要:一、下载hadoop-3.3.0-aarch64.tar.gz解压到/home/hadoop-3.3.0 目录 二、设置环境变量 /etc/profile 文件末尾添加红色内容: if [ -n "${BASH_VERSION-}" ] ; then if [ -f /etc/bashrc ] ;
阅读全文
摘要:一、下载hbase-2.2.4-bin.tar.gz并解压至目录/home/hbase-2.2.4 二、配置/home/hbase-2.2.4/conf/hbase-env.sh # The java implementation to use. Java 1.8+ required. export
阅读全文
摘要:1、服务安装与卸载 cd C:\Program Files\MongoDB\Server\4.2\bin 安装服务:mongod --config "C:/Program Files/MongoDB/Server/4.2/bin/mongod.cfg" --dbpath="D:\MongoDB\da
阅读全文
摘要:1、下载解压版"elasticsearch-7.2.0-windows-x86_64.zip",解压至"D:\server\elasticsearch-7.2.0"目录; 2、下载“elasticsearch-analysis-ik-7.2.0.zip”,解压至“D:\server\elastics
阅读全文
摘要:Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果.HDFS:HadoopDistributed File System,Hadoop的分布式文件系统.大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3
阅读全文

浙公网安备 33010602011771号