Hadoop - 随笔分类 - meiLinYa

摘要：hadoop -- fsck shell命令： hdfs fsck /1708a1 -files -blocks -locations -racks /1708a1:是hdfs 中的文件查看hdf... 阅读全文

posted @ 2018-06-20 17:04 meiLinYa 阅读(196) 评论(0) 推荐(0)

摘要：Hadoop 集群之MySQL的安装一：二：三：四：五：六：七：八：修改数据库字符：解决中文乱码问题，mysql默认为latin1，我们要修改为utf-8 1> 2>然后我们做修改：-->首先我们需要建一个文件夹mysql在 /etc/ -->然后将 /usr/sharemysql 阅读全文

posted @ 2018-06-06 11:53 meiLinYa 阅读(250) 评论(0) 推荐(0)

Hadoop--之RPC开发

摘要：Hadoop--之RPC开发介绍：百度百科:　RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，R 阅读全文

posted @ 2018-06-06 00:30 meiLinYa 阅读(267) 评论(0) 推荐(0)

Hadoop---Exception in thread "main" java.lang.NullPointerException问题的解决

摘要：Exception in thread "main" java.lang.NullPointerException问题的解决解决：首先我们来分析下这个问题，我是使用debug测试看哪里是空的。然后跑去百度了一下，发现好像是关于环境没有配置啊！！！给出两种解决方案： 1.在代码的第一行加 2. 阅读全文

posted @ 2018-06-05 00:44 meiLinYa 阅读(918) 评论(0) 推荐(0)

Hadoop---Java-API对HDFS的操作

摘要：Java-API对HDFS的操作哈哈哈哈，深夜来一波干货哦！！！ Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。首先来介绍下如何将java代码和HDFS联阅读全文

posted @ 2018-06-05 00:44 meiLinYa 阅读(568) 评论(0) 推荐(0)

Hadoop---hu-hadoop1: mv: cannot stat `/home/bigdata/hadoop-2.6.0/logs/hadoop-root-datanode-hu-hadoop1.out.4': No such file or directory

摘要：hu-hadoop1: mv: cannot stat `/home/bigdata/hadoop-2.6.0/logs/hadoop-root-datanode-hu-hadoop1.out.4': No such file or directory 看了好久没发现。。。。后来删了个东西就好了阅读全文

posted @ 2018-06-03 13:33 meiLinYa 阅读(2462) 评论(1) 推荐(0)

Hadoop---18/06/03 20:15:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemons

摘要：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable starting yarn daemon 阅读全文

posted @ 2018-06-03 12:43 meiLinYa 阅读(214) 评论(0) 推荐(0)

Hadoop--Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost]

摘要：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] hadoop初学者：哈哈哈哈阅读全文

posted @ 2018-06-02 19:14 meiLinYa 阅读(382) 评论(0) 推荐(0)

Hadoop--单点故障修复

摘要：nameNode单点故障修复 1.启动虚拟机，启动集群此时我们将主机hadoop1关机(断掉主机)，开始抢救： 1.使用秘书(secondaryNameNode)，成功率不是100% (这里我们把hadoop44作为新的nameNode) 2.zookeeper第三方代替方法一secondar 阅读全文

posted @ 2018-06-02 14:33 meiLinYa 阅读(921) 评论(0) 推荐(0)

Hadoop---静动态增删节点

摘要：静动态增删节点初始：这是我现在的集群重新克隆一个虚拟机： hadoop44:datanode(静态增加，删除和动态删除) hadoop55:datanode（动态hdfs添加，yarn动态增删）静态添加： 1）修改hosts文件，让主可以认识它 vi /etc/hosts 2）设置无密码访问阅读全文

posted @ 2018-06-01 20:06 meiLinYa 阅读(916) 评论(0) 推荐(0)

Hadoop---集群的时间同步

摘要：集群的时间同步(使用插件使从机和主机时间一致) 集群保障时间一致共有3个方法 1.手工的改 date –s “2016-01-05” 2.启动service NTP 3.基于实体机 7*24 不关机用脚本在规定时间同步达到时间同步完美我这里只使用插件的方法，使从机和主机时间同步。。。。。。。阅读全文

posted @ 2018-06-01 17:33 meiLinYa 阅读(665) 评论(0) 推荐(0)

Hadoop---日志服务器

摘要：Hadoop 日志服务器 1.历史服务器：启动： 1）测试使用： 1.做一个任务： 2.接受任务： 3.执行任务： 4.执行任务完成： 2）日志文件产生：成功后：失败后：点击进入History,查看日志报错 3）页面：只能记录以java开发程序。 2.ApplicationHistoryS 阅读全文

posted @ 2018-06-01 10:27 meiLinYa 阅读(575) 评论(0) 推荐(0)

Hadoop---桥接集群的搭建

摘要：Hadoop 桥接群的搭建集群分配：(一主四从) 我电脑的虚拟机：hadoop4:namenode+datanode+resourceManager 我one-friend的电脑虚拟机：hml-1:datanode+datamanager 我two-friend的电脑虚拟机：hadoop_yu1: 阅读全文

posted @ 2018-06-01 08:32 meiLinYa 阅读(487) 评论(0) 推荐(0)

HDFS - Shell命令

摘要：HDFS - Shell命令最近学习比较忙，本来想做一个搭建集群笔记，今天先记录HDFS-shell命令，明天，最迟明天下午我一定会做一个搭建集群的笔记。。介绍一个我的集群搭建：一主三从 3个虚拟机： 1. hadoop1:主+从 namenode+datanode+resourceMarage 阅读全文

posted @ 2018-05-31 22:35 meiLinYa 阅读(342) 评论(0) 推荐(0)

Hadoop---集群的搭建(仅主机模式)

摘要：Hadoop 集群的搭建我有一个虚拟机是用来克隆的，里面设置了java环境，开启不启动防火墙的配置。准备： 1.我的3个虚拟机： hu_hadoop1(主+从):nameNode+dataNode+ResouceManager hu_hadoop2(从):dataNode+nodeManager 阅读全文

posted @ 2018-05-30 18:20 meiLinYa 阅读(205) 评论(0) 推荐(0)

YARN

摘要：YARN Hadoop三大核心 mapreduce负责分布式计算 HDFS : 负责分布式文件管理，副本机制，机架策略（需要让Hadoop感知交换机）读流长，写流程，日志文件和镜像文件主从模式单点故障模式 YARN : 负责分布式资源管理 1.客户端携带的jar就去找ResourceManage计阅读全文

posted @ 2018-05-30 14:52 meiLinYa 阅读(173) 评论(0) 推荐(0)

Hadoop---HDFS读写流程

摘要：Hadoop HDFS HDFS 性能详解 HDFS 天生是为大规模数据存储与计算服务的，而对大规模数据的处理目前还有没比较稳妥的解决方案。 HDFS 将将要存储的大文件进行分割，分割到既定的存储块(Block)中进行了存储，并通过本地设定的任务节点进行预处理，从而解决对大文件存储与计算的需求。在实阅读全文

posted @ 2018-05-29 18:57 meiLinYa 阅读(705) 评论(0) 推荐(0)

Hadoop---目录结构介绍

摘要：Hadoop 目录结构介绍 1.Hadoop目录结构 1.一级目录介绍 2.etc详解： 3sbin 4.bin 5.share 6.一个数独测试 2.hadoop的历史 3. Hadoop的作用 1.数据分析功能数据分析能力是大数据平台的建设重心，也是大数据分析工具的存在意义。大数据分析平台的数阅读全文

posted @ 2018-05-29 11:16 meiLinYa 阅读(509) 评论(0) 推荐(0)

随笔分类 - Hadoop