09 2017 档案

Linux- Linux自带定时调度Crontab使用详解
摘要：Linux自带定时调度Crontab使用详解 在Linux当中，有一个自带的任务调度功能crontab，它是针对每个用户，每个用户都可以调度自己的任务。 示例：每分钟执行一次，将时间写入到指定文件当中 列出目前所有的定时任务 删除所有的定时任务 或者在该定时任务前加上“#”注释掉该定时任务 cron 阅读全文
posted @ 2017-09-30 02:12 RZ_Lee 阅读(1664) 评论(0) 推荐(0)
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory
摘要：在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. jdk1.7的时候，没有如下报错,但是java1.8出现 原因可能与yarn配置文件中 containers 的默认属性有关,被强制限定了物理内存 可以尝试中hadoop的conf下yarn.xml配 阅读全文
posted @ 2017-09-27 18:01 RZ_Lee 阅读(2263) 评论(0) 推荐(0)
Zeppelin- Linux下安装Zeppelin
摘要：前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-en 阅读全文
posted @ 2017-09-02 17:14 RZ_Lee 阅读(1368) 评论(0) 推荐(0)
Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
摘要：运行 报错 检查发现hadoop下bin目录下已经存在winutils.exe,检查hadoop的path路径,发现没有严格按照格式创建hadoop的path,真确的格式是HADOOP_HOME=......,因为在hadoop的生态圈中很多框架都是依赖hadoop的,所以他们的配置文件中,默认的e 阅读全文
posted @ 2017-09-02 13:08 RZ_Lee 阅读(2842) 评论(0) 推荐(0)