随笔分类 -  Java大数据

上一页 1 2 3
Mac下报错'WARN security.UserGroupInformation: PriviledgedActionException as：用户名...No such file or directory'的一种解决方法
摘要：Mac下使用IDEA远程连接Hadoop调试MapReduce程序，参考网上博客，总会出现如题报错，下面是我在mac下的一种解决办法，可以参考。 前期准备 如果想远程调试，需要做一些准备工作，简单罗列下。 （1）在本地准备一份了hadoop(有博主直接从集群中copy一份)，设置环境变量。 （2）I 阅读全文
posted @ 2019-10-24 08:04 斐波那切 阅读(1784) 评论(0) 推荐(0)
Mac+Parallels+iTerm安装配置Linux Centos7
摘要：最近由于学习需要，需要在mac上安装linux，因此搜刮博客资料，选择Parallels+iTerm来安装连接centos7。其中Parallels是vmstation在mac上的替代，而iTerm则是xshell的替代，下面简单的配置一下。 Parallels安装centos7 （1）Parall 阅读全文
posted @ 2019-10-12 22:48 斐波那切 阅读(802) 评论(0) 推荐(0)
Yarn资源调度器入门学习
摘要：调度器scheduler是yarn中重要角色之一，它负责分配container资源给application，有如下三种调度器可供配置选择，分别是FIFO Scheduler，Capacity Scheduler和Fair Scheduler，可以通过yarn site.xml配置自己的调度器。 FI 阅读全文
posted @ 2019-10-07 23:53 斐波那切 阅读(875) 评论(0) 推荐(0)
MapReduce提交job到Yarn的流程学习
摘要：以MapReduce为例，提交一个MapReduce application的大致流程如下，其中Resource Manager简写为RM，Node Manager简写为NM，Application Master简写为AM。 提交application大致流程 （1）首先client里执行一个Map 阅读全文
posted @ 2019-10-07 23:45 斐波那切 阅读(1973) 评论(2) 推荐(0)
MapReduce的Shuffle理解
摘要：接下来了解了一下MapReduce中的shuffle，它就是map端产生输出到reduce端消化map端输出的全部过程。 ###map端 本地磁盘的文件如果有多份，会保存不同的block块到datanode，block块的个数决定了map任务数的个数，如图有3个block块，对应有3个map任务在执 阅读全文
posted @ 2019-09-19 21:11 斐波那切 阅读(517) 评论(0) 推荐(0)
HDFS中block设置128M的原因
摘要：现在记录一下为什么HDFS上一个block设置128M，参考了博客进行理解。 block块为什么设置的比较大 这是一个经典的面试题，需要从性能和储存上来考虑。 传输性能上考虑 在硬盘上读取数据就是一个个的扇区读取的，读取的最小单位是扇区sector，一个扇区大小一般为512byte，如果要读取到一个 阅读全文
posted @ 2019-09-14 19:07 斐波那切 阅读(1331) 评论(0) 推荐(1)
HDFS文件的读写流程入门学习
摘要：接下来学习了HDFS读写流程，这里记录一下。 HDFS NameNode DataNode之间的通信方式 在了解HDFS读写操作前，了解到HDFS Client是运行在JVM中，它也可以叫做Client Node，这个Client可能在DataNode上，他们之间相互通信方式如上图。 （1）HDFS 阅读全文
posted @ 2019-09-13 12:57 斐波那切 阅读(1766) 评论(0) 推荐(0)
Linux下扩展根分区-非LVM
摘要：在配置大数据节点的过程中，node03节点由于安装了图形化界面，以及IDEA等工具，导致/根分区只有几百兆了，因此需要对根分区进行扩容，本文是在参考如下博文（https://www.jianshu.com/p/9db2df60fd0a）的基础上完成的，感谢被引用的博主，这里也记录一下。 VMware 阅读全文
posted @ 2019-09-06 23:03 斐波那切 阅读(8037) 评论(8) 推荐(0)
配置Hadoop集群
摘要：在完成Xshell成功连接上虚拟机后，接下来在里面完成剩余的虚拟机配置，包括配置时间同步，安装JDK和Hadoop，设置Hadoop用户，设置免密登录等。 安装时间同步软件 使用yum install -y ntpdate命令安装ntpdate，搭建大数据集群时需要每个节点之间的时间保持一样，所以需 阅读全文
posted @ 2019-09-04 01:04 斐波那切 阅读(805) 评论(0) 推荐(0)
克隆虚拟机配置节点以及Xshell连接不上虚拟机解决
摘要：先克隆以前搭建的虚拟机，需要修改主机名，配置网卡，配置hosts文件等 配置Hadoop虚拟机 省略克隆过程，现在直接登进去在虚拟机中先进行配置。 修改主机名 可以有两种方式修改主机名，可以直接修改/etc/hostname，或者使用命令，在centos7中我采用命令的方式。 配置网卡 首先查看，然 阅读全文
posted @ 2019-09-02 07:32 斐波那切 阅读(1982) 评论(0) 推荐(0)

上一页 1 2 3