2018 年 11月 20 日随笔档案 - TIMLONG

2018年11月20日

摘要： 4.0.0 tim spark 1.0 2.11.0 2.3.2 2.8.3 org.apache.spark spark-core_2.11 ${spark.version} ... 阅读全文

posted @ 2018-11-20 22:18 TIMLONG 阅读(166) 评论(0) 推荐(0)

摘要： https://www.zifangsky.cn/1292.html Could not locate Hadoop executable: xxx\bin\winutils.exe 1 2 3 4 5 6 Caused by: java.io.FileNotFoundException: Coul 阅读全文

posted @ 2018-11-20 22:17 TIMLONG 阅读(722) 评论(0) 推荐(0)

hadoop在windows上的配置文件

摘要： core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 阅读全文

posted @ 2018-11-20 21:17 TIMLONG 阅读(866) 评论(0) 推荐(0)

UNC路径

摘要： UNC路径UNC（Universal Naming Convention）为了迎合网络化的趋势，Windows的地址风格（C:\ABC\def\ghi及\\计算机名\文件夹\文件）向网络地址风格作了一次兼容变换：file表示协议类型://后面是机器的网络地址（IP地址）/后面是文件夹（目录）和文件阅读全文

posted @ 2018-11-20 21:02 TIMLONG 阅读(5579) 评论(0) 推荐(1)

spark在windows的配置

摘要：在spark-env.cmd添加一行 FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i 修改：log4j.properties，去掉spark-shell退出的报错信息bug log4j.logger.org.ap 阅读全文

posted @ 2018-11-20 20:51 TIMLONG 阅读(919) 评论(0) 推荐(0)

公告