2017年10月1日

YARN指令

摘要： 如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX 阅读全文

posted @ 2017-10-01 20:34 张叫兽的技术研究院 阅读(129) 评论(0) 推荐(0)

spark提交异常日志分析

摘要： java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp 阅读全文

posted @ 2017-10-01 20:14 张叫兽的技术研究院 阅读(989) 评论(0) 推荐(0)

Mesos提交任务没有被执行

摘要： 当通过marathon提交了一个任务后，发现一直处于waiting状态； 回到mesos，执行MASTER=$(mesos-resolve `cat /etc/mesos/zk`) & mesos-execute --master=$MASTER --name="cluster-test" --co 阅读全文

posted @ 2017-10-01 20:08 张叫兽的技术研究院 阅读(807) 评论(0) 推荐(0)

mesos的zookeeper变更

摘要： 采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke 阅读全文

posted @ 2017-10-01 19:47 张叫兽的技术研究院 阅读(223) 评论(0) 推荐(0)

VS Code使用git

摘要： vs code默认是支持git的，但是如果想要使用git，那么你打开的文件夹一定是包含.git文件夹，换言之已经放入到了现有的git仓库里面的。 阅读全文

posted @ 2017-10-01 19:38 张叫兽的技术研究院 阅读(169) 评论(0) 推荐(0)

vs code 安装Scala

摘要： 首先本机要安装scala（官网肿么下不了，CSDN上面下的）； 配置scala到环境变量PATH中（Scala的根目录）； VS中安装以下扩展： 1. Scala； 2. Sbt； 3. Code Runner； 代码中右键，选择“Run Code"，即可执行代码 无法Debug，VS Code现在 阅读全文

posted @ 2017-10-01 19:36 张叫兽的技术研究院 阅读(3114) 评论(0) 推荐(0)

导航