摘要: 命令行调用方式: parser.add_argument('traindata_store',)这种形式前面没有--,就说明是必填项,在命令行中直接输入参数值即可 traindata_store_plus 与 traindata_store_plus 要按顺序填充。 对于参数前有--的,属于非必填项 阅读全文
posted @ 2019-03-09 10:25 透明的红萝卜 阅读(599) 评论(0) 推荐(0) 编辑
摘要: https://www.codetd.com/article/664330 https://blog.csdn.net/dream_an/article/details/84342770 通过idea开发mapreduce程序并直接run,提交到远程hadoop集群执行mapreduce。 简要流程 阅读全文
posted @ 2019-01-12 15:50 透明的红萝卜 阅读(1638) 评论(0) 推荐(0) 编辑
摘要: 屏蔽 不会报错 可以确定的是, 情况一:如果采用打成jar包,在hadoop集群中通过hadoop jar命令运行,则只需要写job.setJarByClass 情况二:本地idea开发mapreduce程序提交到hadoop集群执行,参考https://blog.csdn.net/dream_an 阅读全文
posted @ 2019-01-12 15:04 透明的红萝卜 阅读(1505) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/jiaotangX/article/details/78661862 https://liushilang.iteye.com/blog/2093173 阅读全文
posted @ 2019-01-12 11:09 透明的红萝卜 阅读(784) 评论(0) 推荐(0) 编辑
摘要: 先看两个程序,出自课程考试,只记得老师讲了多态中成员方法的使用,真的是不理解成员变量还有门道。 先看main方法 程序一 子类的i变成了1 子类方法 1 程序二 子类的i变成了3 子类方法 0 阅读全文
posted @ 2019-01-11 10:12 透明的红萝卜 阅读(420) 评论(0) 推荐(0) 编辑
摘要: 使用WordCloud生成词云图片 本文详细介绍参考自:https://www.jianshu.com/p/fdd0acccf1c5 wordcloud开源项目:https://github.com/amueller/word_cloud 调整图片清晰度:scale属性,该值越大越清楚,我设置的是s 阅读全文
posted @ 2018-11-12 22:19 透明的红萝卜 阅读(6032) 评论(0) 推荐(0) 编辑
摘要: studio版本: 3.0.1 系统 mac 安装过程参考: (链接一)https://blog.csdn.net/tangjie134/article/details/79481581 (链接二)https://blog.csdn.net/tangjie134/article/details/79 阅读全文
posted @ 2018-09-20 00:09 透明的红萝卜 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 来源: 慕课网 Spark SQL慕课网日志分析_大数据实战 目标: spark系列软件的伪分布式的安装、配置、编译 spark的使用 系统: mac 10.13.3 /ubuntu 16.06,两个系统都测试过 软件: hadoop,hive,spark,scala,maven hadoop伪分布 阅读全文
posted @ 2018-06-19 22:05 透明的红萝卜 阅读(532) 评论(0) 推荐(0) 编辑
摘要: Stackoverflow.com是程序员的好去处,本公众号将以pandas为主题,开始一个系列,争取做到每周一篇,翻译并帮助pandas学习者一起理解一些有代表性的案例。今天的主题就是Pandas与Numpy中一个非常重要的参数:axis.(轴) Stackoverflow问题如下: python 阅读全文
posted @ 2018-06-19 21:31 透明的红萝卜 阅读(5582) 评论(0) 推荐(2) 编辑
摘要: 环境: mac系统 + hadoop2.6.0-cdh5.7.0伪分布式 问题一: 在启动hdfs的secondarynamenode时,报错。 正常情况: 报错: 分析: /etc/hosts/中,我在破解idea中,加了一行 0.0.0.0 account.jetbrains.com 我猜是由他 阅读全文
posted @ 2018-06-11 22:19 透明的红萝卜 阅读(5826) 评论(0) 推荐(1) 编辑