随笔分类 -  大数据

安装redis出现致命错误
摘要:解决方法: make MALLOC=libc OK!!!! 阅读全文

posted @ 2019-06-04 15:28 博客海沐沐 阅读(306) 评论(0) 推荐(0)

flume配置
摘要:1,修改flume-conf.properties.template 名称 2,修改配置文件flume-env.sh vi /home/hadoop/app/apache-flume-1.5.0-cdh5.3.6-bin/conf/flume-env.sh 就这样了!!!! 下面是案例: 案例一: 阅读全文

posted @ 2019-03-27 15:40 博客海沐沐 阅读(126) 评论(0) 推荐(0)

flume框架基础
摘要:* 理性认知: 1、Flume在集群中扮演的角色 Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时查询。 2、Flume框架简介 1.1 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Uni 阅读全文

posted @ 2019-03-27 14:53 博客海沐沐 阅读(122) 评论(0) 推荐(0)

redis源码安装与启动
摘要:1,安装gcc:yum install gcc-c++ 2,上传redis源码包 3,给可执行权限(chmod +x redis-3.0.7.tar.gz ) 4,解压 tar -zxvf redis-3.0.7 5,编译 make 6,指定目录安装(make PREFIX=/usr/local/r 阅读全文

posted @ 2019-03-18 11:09 博客海沐沐 阅读(1925) 评论(0) 推荐(0)

hadoop无密登录配置
摘要:1,产生密钥对 ssh-keygen -t rsa 成功 查看.ssh 把公钥id_rsa.pub拷贝到另外一台机子上 scp id_rsa.pub contos04:/home/hadoop 把拷贝在centos04上的公钥追加到授权列表文件上authorized_keys touch autho 阅读全文

posted @ 2019-03-14 11:43 博客海沐沐 阅读(140) 评论(0) 推荐(0)

hadoop搭建
摘要:一,安装配置jdk 1,上传jdk 2,建app文件夹 mkdir app ,将jdk解压到app中 将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585 export PAT 阅读全文

posted @ 2019-03-13 15:49 博客海沐沐 阅读(101) 评论(0) 推荐(0)

hadoop之前的环境配置
摘要:1,在虚拟机中网络选择:自定义VMnet8 2,在vm中的虚拟网络编辑器中编辑 3,修改静态IP (1)用ifconfig查看是哪一套网卡(eth0,eth1) (2)在图形化界面中 一,进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中 阅读全文

posted @ 2019-03-13 11:17 博客海沐沐 阅读(119) 评论(0) 推荐(0)

导航