随笔分类 -  big data

摘要:1、下载并拷贝 htrace-core-3.1.0-incubating.jar 和 phoenix-5.0.0-HBase-2.0-server.jar 到 Hbase 的 /home/hbase-2.2.4/lib 目录下; 重启Hbase服务。 2、客户端代码: package test; i 阅读全文
posted @ 2021-01-27 16:01 李小加 阅读(763) 评论(0) 推荐(0)
摘要:一、下载 apache-flume-1.9.0-bin.tar.gz 解压至 /home/hadoop-3.3.0/flume-1.9.0 目录; 二、创建相关目录 /home/hadoop-3.3.0/flumefile //用于接收tomcat日志文件 /home/hadoop-3.3.0/fl 阅读全文
posted @ 2020-08-24 16:26 李小加 阅读(1235) 评论(0) 推荐(0)
摘要:一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 : http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压:tar -zxvf apache-hive-3. 阅读全文
posted @ 2020-08-04 11:06 李小加 阅读(1842) 评论(9) 推荐(1)
摘要:一、下载hadoop-3.3.0-aarch64.tar.gz解压到/home/hadoop-3.3.0 目录 二、设置环境变量 /etc/profile 文件末尾添加红色内容: if [ -n "${BASH_VERSION-}" ] ; then if [ -f /etc/bashrc ] ; 阅读全文
posted @ 2020-07-28 10:42 李小加 阅读(1833) 评论(0) 推荐(0)
摘要:一、下载hbase-2.2.4-bin.tar.gz并解压至目录/home/hbase-2.2.4 二、配置/home/hbase-2.2.4/conf/hbase-env.sh # The java implementation to use. Java 1.8+ required. export 阅读全文
posted @ 2020-07-24 17:04 李小加 阅读(2196) 评论(0) 推荐(0)
摘要:1、服务安装与卸载 cd C:\Program Files\MongoDB\Server\4.2\bin 安装服务:mongod --config "C:/Program Files/MongoDB/Server/4.2/bin/mongod.cfg" --dbpath="D:\MongoDB\da 阅读全文
posted @ 2020-02-27 15:44 李小加 阅读(555) 评论(0) 推荐(0)
摘要:1、下载解压版"elasticsearch-7.2.0-windows-x86_64.zip",解压至"D:\server\elasticsearch-7.2.0"目录; 2、下载“elasticsearch-analysis-ik-7.2.0.zip”,解压至“D:\server\elastics 阅读全文
posted @ 2019-07-11 10:46 李小加 阅读(2639) 评论(0) 推荐(0)
摘要:Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果.HDFS:HadoopDistributed File System,Hadoop的分布式文件系统.大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3 阅读全文
posted @ 2014-02-11 09:29 李小加 阅读(358) 评论(0) 推荐(0)