10 2017 档案

spark ml阅读笔记
摘要：参考文档：http://www.cnblogs.com/huliangwen/p/7491797.html 阅读全文

posted @ 2017-10-27 14:38 层林尽染 阅读(92) 评论(0) 推荐(0)

kafka删除主题
摘要：hdp集群默认不能删除kafka主题，如果要删除，需要在ambari上进行配置，将enable delete设置为true。 阅读全文

posted @ 2017-10-26 15:25 层林尽染 阅读(310) 评论(0) 推荐(0)

合并被分割的压缩文件
摘要：cat x* > google_bak.tar.gz 阅读全文

posted @ 2017-10-26 15:22 层林尽染 阅读(153) 评论(0) 推荐(0)

pyspark使用
摘要：1、安装python3 2、idea安装Python插件 3、下载spark，设置SPARK_HOME环境变量 4、安装pyspark，numpy 5、运行pyspark应用 pyspark应用如果使用到特定的接口，如kafka，则需要将kafka相关的jar包放到SPARK_HOME的jar文件夹 阅读全文

posted @ 2017-10-25 11:15 层林尽染 阅读(328) 评论(0) 推荐(0)

spark源码编译，本地调试
摘要：1、下载源码 2、进入源码根据README.md编译源码，注意使用的是源码目录下的maven编译 3、用idea导入顶层pom文件 4、修改顶层pom文件和example下的pom文件，将scope的值全部从provided替换成compile 5、运行任意example，由于是本地运行，需要添加 阅读全文

posted @ 2017-10-21 15:47 层林尽染 阅读(277) 评论(0) 推荐(0)

java的-D命令行参数 mvn -D参数
摘要：java的-D命令行参数 我们会用mvn启动一个应用,如下的命令行: 我们来解析一下这些命令行的意义. -Dxxxx是java运行参数的语法 作用是配置一些环境变量，具体有哪些参数,参数有什么效果,和你用的实际环境、项目架构都有关对，让程序知道log_path代表什么，具体程序怎么用，那是程序的事了 阅读全文

posted @ 2017-10-19 11:14 层林尽染 阅读(24754) 评论(0) 推荐(0)

storm1.1运行时问题
摘要：java.lang.NoClassDefFoundError: org/apache/curator/shaded/com/google/common/cache/CacheBuilder 程序并没有显示调用curator库，但是还是会报错1.0版本的storm不会报错 添加依赖即可： 阅读全文

posted @ 2017-10-13 17:38 层林尽染 阅读(1183) 评论(0) 推荐(0)

导航