RZ_Lee

摘要： 1、Reduce Task Number 通常来说一个block就对应一个map任务进行处理，reduce任务如果人工不去设置干预的话就一个reduce。reduce任务的个数可以通过在程序中设置 job.setNumReduceTasks(个数); ，也可在配置文件上设置reduce任务个数，默认 阅读全文

摘要： Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 阅读全文

摘要： YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理 阅读全文

摘要： 首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.apache.org Hadoop是一个开源的可拓展的分布式并行处理计算平台，利用服务器集群根据用户的自定义业务逻辑，对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统，H 阅读全文

摘要： Linux自带定时调度Crontab使用详解 在Linux当中，有一个自带的任务调度功能crontab，它是针对每个用户，每个用户都可以调度自己的任务。 示例：每分钟执行一次，将时间写入到指定文件当中 列出目前所有的定时任务 删除所有的定时任务 或者在该定时任务前加上“#”注释掉该定时任务 cron 阅读全文

摘要： 在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. jdk1.7的时候，没有如下报错,但是java1.8出现 原因可能与yarn配置文件中 containers 的默认属性有关,被强制限定了物理内存 可以尝试中hadoop的conf下yarn.xml配 阅读全文

摘要： 前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-en 阅读全文

摘要： 运行 报错 检查发现hadoop下bin目录下已经存在winutils.exe,检查hadoop的path路径,发现没有严格按照格式创建hadoop的path,真确的格式是HADOOP_HOME=......,因为在hadoop的生态圈中很多框架都是依赖hadoop的,所以他们的配置文件中,默认的e 阅读全文

摘要： 报错 纠错:把prom文件中的hadoop依赖删除 阅读全文

摘要： Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 3.在 /usr 下创建软链接到目标文件夹 4.修改配置文件,目标目录 /usr/spark/ 阅读全文