摘要: 该配置是在zeppelin的Interpreter的后台配置文件:conf/Interpreter.json spark Interpreter的模块定义那里。特别感谢开发团队组长大神的提示,深入挖掘到zeppelin的Interpreter的shared、scoped和isolated的配置与调优 阅读全文
posted @ 2017-03-29 09:23 StephenLu 阅读(816) 评论(0) 推荐(0) 编辑
摘要: 使用mvn test mvn test -Dtest=测试包名.测试类名时 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.19.1:test (default-test) on proj 阅读全文
posted @ 2017-03-28 15:13 StephenLu 阅读(646) 评论(1) 推荐(0) 编辑
摘要: [查看tensorflow安装的版本] anaconda search -t conda tensorflow [选择版本安装] conda install -c anaconda tensorflow [conda install --help] usage: conda install [-h] 阅读全文
posted @ 2017-03-25 10:24 StephenLu 阅读(439) 评论(0) 推荐(0) 编辑
摘要: ERROR [2017-03-23 20:01:50,799] ({qtp331657670-221} NotebookServer.java[onMessage]:221) - Can't handle messageorg.apache.zeppelin.interpreter.Interpre 阅读全文
posted @ 2017-03-24 10:45 StephenLu 阅读(827) 评论(0) 推荐(0) 编辑
摘要: 起因:YARN 使用capability schedule queue调度container,spark 的app卡死在YARN的队列里面无法出来,无奈请教大神时,可用[yarn application [option]]命令去操纵yarn的应用。 usage: application -appSt 阅读全文
posted @ 2017-03-24 09:33 StephenLu 阅读(14291) 评论(0) 推荐(0) 编辑
摘要: 如有错漏,望请指正,不胜感激。 参考:【zeppelin官网】:https://zeppelin.apache.org/docs/latest/interpreter/spark.html#interpreter-setting-option 【大神博客】:http://terrence.logdo 阅读全文
posted @ 2017-03-24 09:10 StephenLu 阅读(408) 评论(0) 推荐(0) 编辑
摘要: grep --help备忘录 Usage: grep [OPTION]... PATTERN [FILE]...Search for PATTERN in each FILE or standard input.PATTERN is, by default, a basic regular expr 阅读全文
posted @ 2017-03-23 18:59 StephenLu 阅读(519) 评论(0) 推荐(0) 编辑
摘要: 使用tail --help查看命令用于备忘 tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Number ] [ File ] Usage: tail [OPTION]... [FILE]...Print the la 阅读全文
posted @ 2017-03-23 16:21 StephenLu 阅读(1096) 评论(0) 推荐(0) 编辑
摘要: 学生今年大四,从大二暑假开始从0到一进入大数据处理的领域,中途发现机器学习的领域,那时AlphaGO还没火热,就已经听说DNN,后来发现DNN只是ML的一个更深的领域,无奈学习越来越深。 实习是大数据应用开发的岗位,身边的大神和大牛们带我玩大数据集群部署,应用开发,运气好到能加入项目组的sparkM 阅读全文
posted @ 2017-03-16 20:22 StephenLu 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 2015.08.12Storm 一、Storm简介 Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。 Storm能实现高频数据和大规模数据的实时处理。 官网资料显示storm的一个节点在1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24GB的内存) (storm +kafka+flume) 二、HADOOP与STOR... 阅读全文
posted @ 2016-07-21 10:46 StephenLu 阅读(231) 评论(0) 推荐(0) 编辑