大数据学习——java操作hdfs环境搭建以及环境测试
摘要:1 新建一个maven项目 打印根目录下的文件的名字 添加pom依赖 pom.xml 2 测试 运行结果如下图
阅读全文
posted @
2019-01-02 23:42
o_0的园子
阅读(633)
推荐(0)
大数据学习——hadoop2.x集群搭建
摘要:1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linu...
阅读全文
posted @
2019-01-02 22:24
o_0的园子
阅读(171)
推荐(0)
大数据学习——数据流程图
摘要:1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2) 数据预处理:定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导入导出工具 5) 数据可视化:定制开发web程序或使用kettle
阅读全文
posted @
2019-01-02 22:14
o_0的园子
阅读(1553)
推荐(0)
大数据学习——三大组件总结
摘要:#解决海量数据的存储问题 分布式文件系统(HDFS) 1、具有分布式的集群结构 我们把这样实际存储数据的节点叫做 datanode 2、具有一个统一对外提供查询 存储 搜索 机器节点 对外跟客户端统一打交道 对内跟实际存储数据的节点打交道 3、具有备份的机制 解决了机器挂掉时候数据丢失的问题 4、具
阅读全文
posted @
2019-01-02 21:17
o_0的园子
阅读(1038)
推荐(0)
Windows下主机名和IP映射设置
摘要:如果需要添加域名和IP的对应关系可以在以下地方进行修改。 打开系统目录:c:/windows/system32/drivers/etc找到hosts文件,打开hosts文件并在最后面添加一条记录 例如: 127.0.0.1 www.163.com 附录: Windows2000操作中Hosts文件的作用 很多用户都知道在Window系统中有个Hosts文件(没有后缀名),在Win...
阅读全文
posted @
2018-12-26 20:33
o_0的园子
阅读(9209)
推荐(0)
大数据学习——HDFS的shell
摘要:-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdfs...
阅读全文
posted @
2018-12-26 20:18
o_0的园子
阅读(200)
推荐(0)
大数据学习——yarn集群启动
摘要:启动yarn命令: start-yarn.sh 验证是否启动成功 1 jps查看进程 2 http://192.168.74.100:8088页面 关闭 stop-yarn.sh
阅读全文
posted @
2018-12-25 18:32
o_0的园子
阅读(504)
推荐(0)
大数据学习——hdfs集群启动
摘要:第一种方式: 1 格式化namecode(是对namecode进行格式化) hdfs namenode -format(或者是hadoop namenode -format) 进入 cd /root/apps/hadoop/tmp/dfs/name/current 启动namecode hadoop
阅读全文
posted @
2018-12-24 13:53
o_0的园子
阅读(722)
推荐(0)
大数据学习——hadoop安装
摘要:上传centOS6.7-hadoop-2.6.4.tar.gz 解压 tar -zxvf centOS6.7-hadoop-2.6.4.tar.gz hadoop相关修改配置 1 修改 /root/apps/hadoop/etc/hadoop 目录下的hadoop-env.sh vi hadoop-
阅读全文
posted @
2018-12-23 19:10
o_0的园子
阅读(190)
推荐(0)
大数据学习——软件安装
摘要:1 jdk yum install lrzsz 比alt+p上传文件更方便 rz 回车就可以上传文件了,上传是上传到当前目录下 解压上传的jdk tar -zxvf jdk-7u80-linux-x64.tar.gz 配置变量 vi /etc/profile #在文件最后添加 export JAVA_HOME=/root/apps/jdk1.7.0_80 export PATH=$...
阅读全文
posted @
2018-12-23 18:49
o_0的园子
阅读(335)
推荐(0)
大数据学习——免密登录配置
摘要:1 在mini1上 ssh-keygen -t rsa 回车——回车——回车 ssh-copy-id root@mini2 yes 密码 hadoop 测试 ssh mini2可以从mini1切换到mini2 退出是exit,从mini2切换回mini1 注意也要给自给机器配置一个 ssh-copy-id root@mini1
阅读全文
posted @
2018-12-23 18:12
o_0的园子
阅读(423)
推荐(0)
大数据学习——修改主机名和ip的映射关系
摘要:vi /etc/hosts 192.168.1.101 itcast
阅读全文
posted @
2018-12-23 17:53
o_0的园子
阅读(505)
推荐(0)
大数据学习——hadoop集群搭建2.X
摘要:1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选...
阅读全文
posted @
2018-12-23 17:41
o_0的园子
阅读(222)
推荐(0)
大数据学习——ip改成固定ip
摘要:vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改BOOTPROTO为static 添加IPADDR=192.168.74.100 添加NETMASK=255.255.255.0 添加GATEWAY=192.168.74.2 添加DNS1=192.168.
阅读全文
posted @
2018-12-23 17:06
o_0的园子
阅读(390)
推荐(0)
大数据学习——HADOOP集群搭建
摘要:4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (那mapredu...
阅读全文
posted @
2018-12-23 10:57
o_0的园子
阅读(297)
推荐(0)
大数据学习——Hadoop第一天
摘要:1.1 什么是HADOOP 国内外HADOOP应用案例介绍 1、HADOOP应用于数据服务基础平台建设 2、/HADOOP用于用户画像 3、HADOOP用于网站点击流日志数据挖掘 金融行业: 个人征信分析 证券行业: 投资模型分析 交通行业: 车辆、路况监控分析 电信行业:用户上网行为分析 ...
阅读全文
posted @
2018-12-21 20:54
o_0的园子
阅读(217)
推荐(0)
大数据学习——服务器定期上传nginx日志到hdfs
摘要:需求:按照所学知识完成如下: 服务器定期上传nginx日志到hdfs 提示: Hdfs的创建文件夹命令: Hadoop fs -mkdir /文件夹名称 Hdfs的上传命令: Hadoop fs -put 目标文件 /目标目录 #日志文件存放的目录 log_src_dir=/home/hadoop/logs/log/ #待上传的日志存放目录 log_toupload_dir=/ho...
阅读全文
posted @
2018-12-21 14:28
o_0的园子
阅读(776)
推荐(0)
大数据学习——装私服nexus
摘要:(一)安装 解压之后 进入bin文件夹下 复制路径 D:\software\nexus-2.12.0-01-bundle\nexus-2.12.0-01\bin 进入命令行窗口输入以下命令,安装成功 (如果报错 'findstr' 不是内部或外部命令,也不是可运行的程序或批处理文件 这是PATH环境
阅读全文
posted @
2018-12-19 19:07
o_0的园子
阅读(308)
推荐(0)
大数据学习——redis安装
摘要:用源码工程来编译安装 1/ 到官网下载最新stable版 2/ 解压源码并进入目录 tar -zxvf redis-2.8.19.tar.gz -C ./redis-src/ 3/ make 如果报错提示缺少gcc,则安装gcc : yum install -y gcc 如果报错提示:Newer version of jemalloc required 则在make时加参数...
阅读全文
posted @
2018-12-13 19:55
o_0的园子
阅读(246)
推荐(0)