2020年9月17日
在windows的idea运行spark报ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
摘要： idea运行spark程序，报了如下错： 解决方案如下方案1//加上如下代码 指定hadoop的windows路径: System.setProperty("hadoop.home.dir", "D:\\DEvelop\\hadoop-2.7.2")方案2在windows解压hadoop并配置环境变 阅读全文
posted @ 2020-09-17 20:13 dudud 阅读(251) 评论(0) 推荐(0)
2020年7月26日
hadoophdfs、mapreduce、yarn三大组件 Hadoop-ha
摘要： Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角 阅读全文
posted @ 2020-07-26 19:13 dudud 阅读(308) 评论(0) 推荐(0)
2020年7月2日
linux常用命令
摘要： 文件和目录 cd /home 进入 '/ home' 目录' cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd 进入个人的主目录 cd ~user1 进入个人的主目录 cd - 返回上次所在的目录 pwd 显示工作路径 ls 查看目录中的文件 ls -F 查看目录中的文件 ls - 阅读全文
posted @ 2020-07-02 08:39 dudud 阅读(111) 评论(0) 推荐(0)