大数据学习 - 随笔分类(第5页) - o_0的园子

摘要：1 新建一个maven项目打印根目录下的文件的名字添加pom依赖 pom.xml 2 测试运行结果如下图阅读全文

posted @ 2019-01-02 23:42 o_0的园子阅读(633) 评论(0) 推荐(0)

摘要：1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式：第一种：通过Linu... 阅读全文

posted @ 2019-01-02 22:24 o_0的园子阅读(171) 评论(0) 推荐(0)

大数据学习——数据流程图

摘要：1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle 阅读全文

posted @ 2019-01-02 22:14 o_0的园子阅读(1553) 评论(0) 推荐(0)

大数据学习——三大组件总结

摘要：#解决海量数据的存储问题分布式文件系统（HDFS） 1、具有分布式的集群结构我们把这样实际存储数据的节点叫做 datanode 2、具有一个统一对外提供查询存储搜索机器节点对外跟客户端统一打交道对内跟实际存储数据的节点打交道 3、具有备份的机制解决了机器挂掉时候数据丢失的问题 4、具阅读全文

posted @ 2019-01-02 21:17 o_0的园子阅读(1038) 评论(0) 推荐(0)

Windows下主机名和IP映射设置

摘要：如果需要添加域名和IP的对应关系可以在以下地方进行修改。打开系统目录：c:/windows/system32/drivers/etc找到hosts文件，打开hosts文件并在最后面添加一条记录例如： 127.0.0.1 www.163.com 附录： Windows2000操作中Hosts文件的作用很多用户都知道在Window系统中有个Hosts文件（没有后缀名），在Win... 阅读全文

posted @ 2018-12-26 20:33 o_0的园子阅读(9209) 评论(0) 推荐(0)

大数据学习——HDFS的shell

摘要：-help 功能：输出这个命令参数手册 -ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能：在hdfs... 阅读全文

posted @ 2018-12-26 20:18 o_0的园子阅读(200) 评论(0) 推荐(0)

大数据学习——securecrt同时向多个tab窗口发送相同的命令

摘要：右键选中然后在下面空白窗口写命令就可以了阅读全文

posted @ 2018-12-25 19:07 o_0的园子阅读(763) 评论(0) 推荐(0)

大数据学习——yarn集群启动

摘要：启动yarn命令: start-yarn.sh 验证是否启动成功 1 jps查看进程 2 http://192.168.74.100:8088页面关闭 stop-yarn.sh 阅读全文

posted @ 2018-12-25 18:32 o_0的园子阅读(504) 评论(0) 推荐(0)

大数据学习——hdfs集群启动

摘要：第一种方式： 1 格式化namecode（是对namecode进行格式化） hdfs namenode -format(或者是hadoop namenode -format) 进入 cd /root/apps/hadoop/tmp/dfs/name/current 启动namecode hadoop 阅读全文

posted @ 2018-12-24 13:53 o_0的园子阅读(722) 评论(0) 推荐(0)

大数据学习——hadoop安装

摘要：上传centOS6.7-hadoop-2.6.4.tar.gz 解压 tar -zxvf centOS6.7-hadoop-2.6.4.tar.gz hadoop相关修改配置 1 修改 /root/apps/hadoop/etc/hadoop 目录下的hadoop-env.sh vi hadoop- 阅读全文

posted @ 2018-12-23 19:10 o_0的园子阅读(190) 评论(0) 推荐(0)

大数据学习——软件安装

摘要：1 jdk yum install lrzsz 比alt+p上传文件更方便 rz 回车就可以上传文件了，上传是上传到当前目录下解压上传的jdk tar -zxvf jdk-7u80-linux-x64.tar.gz 配置变量 vi /etc/profile #在文件最后添加 export JAVA_HOME=/root/apps/jdk1.7.0_80 export PATH=$... 阅读全文

posted @ 2018-12-23 18:49 o_0的园子阅读(335) 评论(0) 推荐(0)

大数据学习——免密登录配置

摘要：1 在mini1上 ssh-keygen -t rsa 回车——回车——回车 ssh-copy-id root@mini2 yes 密码 hadoop 测试 ssh mini2可以从mini1切换到mini2 退出是exit,从mini2切换回mini1 注意也要给自给机器配置一个 ssh-copy-id root@mini1 阅读全文

posted @ 2018-12-23 18:12 o_0的园子阅读(423) 评论(0) 推荐(0)

大数据学习——修改主机名和ip的映射关系

摘要：vi /etc/hosts 192.168.1.101 itcast 阅读全文

posted @ 2018-12-23 17:53 o_0的园子阅读(505) 评论(0) 推荐(0)

大数据学习——hadoop集群搭建2.X

摘要：1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选... 阅读全文

posted @ 2018-12-23 17:41 o_0的园子阅读(222) 评论(0) 推荐(0)

大数据学习——ip改成固定ip

摘要：vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改BOOTPROTO为static 添加IPADDR=192.168.74.100 添加NETMASK=255.255.255.0 添加GATEWAY=192.168.74.2 添加DNS1=192.168. 阅读全文

posted @ 2018-12-23 17:06 o_0的园子阅读(390) 评论(0) 推荐(0)

大数据学习——HADOOP集群搭建

摘要：4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager (那mapredu... 阅读全文

posted @ 2018-12-23 10:57 o_0的园子阅读(297) 评论(0) 推荐(0)

大数据学习——Hadoop第一天

摘要：1.1 什么是HADOOP 国内外HADOOP应用案例介绍 1、HADOOP应用于数据服务基础平台建设 2、/HADOOP用于用户画像 3、HADOOP用于网站点击流日志数据挖掘金融行业：个人征信分析证券行业：投资模型分析交通行业：车辆、路况监控分析电信行业：用户上网行为分析 ... 阅读全文

posted @ 2018-12-21 20:54 o_0的园子阅读(217) 评论(0) 推荐(0)

大数据学习——服务器定期上传nginx日志到hdfs

摘要：需求：按照所学知识完成如下：服务器定期上传nginx日志到hdfs 提示： Hdfs的创建文件夹命令： Hadoop fs -mkdir /文件夹名称 Hdfs的上传命令： Hadoop fs -put 目标文件 /目标目录 #日志文件存放的目录 log_src_dir=/home/hadoop/logs/log/ #待上传的日志存放目录 log_toupload_dir=/ho... 阅读全文

posted @ 2018-12-21 14:28 o_0的园子阅读(776) 评论(0) 推荐(0)

大数据学习——装私服nexus

摘要：（一）安装解压之后进入bin文件夹下复制路径 D:\software\nexus-2.12.0-01-bundle\nexus-2.12.0-01\bin 进入命令行窗口输入以下命令，安装成功（如果报错 'findstr' 不是内部或外部命令，也不是可运行的程序或批处理文件这是PATH环境阅读全文

posted @ 2018-12-19 19:07 o_0的园子阅读(308) 评论(0) 推荐(0)

大数据学习——redis安装

摘要：用源码工程来编译安装 1/ 到官网下载最新stable版 2/ 解压源码并进入目录 tar -zxvf redis-2.8.19.tar.gz -C ./redis-src/ 3/ make 如果报错提示缺少gcc，则安装gcc ： yum install -y gcc 如果报错提示：Newer version of jemalloc required 则在make时加参数... 阅读全文

posted @ 2018-12-13 19:55 o_0的园子阅读(246) 评论(0) 推荐(0)

随笔分类 - 大数据学习