摘要: 如何在Eclipse中屏蔽日志 阅读全文
posted @ 2017-05-28 14:28 xuefenhu 阅读(960) 评论(0) 推荐(0) 编辑
摘要: 情况1: hive> create table users(id int, name string); hive> load data local inpath '/usr/local/users.txt' into table users; 其中“/usr/local/users.txt”的内容为 阅读全文
posted @ 2017-05-23 23:23 xuefenhu 阅读(4816) 评论(0) 推荐(0) 编辑
摘要: 问题: [root@master conf]# flume-ng version Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty 解决方法: 将Hbase的配置文件hbas-env.sh修 阅读全文
posted @ 2017-05-21 23:48 xuefenhu 阅读(2535) 评论(1) 推荐(0) 编辑
摘要: 在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode,但是它并不是NameNode的备份,它只是NameNode的一个助理,协助NameNode工作,SecorndaryNam 阅读全文
posted @ 2017-05-21 09:54 xuefenhu 阅读(4395) 评论(0) 推荐(0) 编辑
摘要: 问题:用SecureCRT远程连接至Spark集群,启动spark-shell却发现输错命令后却无法用退格键删除。 解决方法: 第一步: 在SecureCRT的菜单栏选择“OPtions(选项)”按钮,在弹出的选项中选择“Session Options(会话选项)” 第二步: 在弹出的对话框中选择左 阅读全文
posted @ 2017-05-08 22:26 xuefenhu 阅读(699) 评论(0) 推荐(0) 编辑
摘要: 2.4 小试牛刀:Spark shell和SparkContext 本章使用的资料来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository),这个资料库为研究和教学提供了大量非常好的数据源, 这些数据源非常有意义,并且是免费的。由于网络原因,无法 阅读全文
posted @ 2017-05-07 22:47 xuefenhu 阅读(1480) 评论(0) 推荐(0) 编辑
摘要: 同时打开了两个SecureCRT的终端界面,其中一个已经进入了Spark-shell,在另一个SecureCRT界面中执行 "spark-shell --master yarn --deploy-mode client < cha02.scala" 时报错,如下: [root@master test 阅读全文
posted @ 2017-05-07 21:12 xuefenhu 阅读(5659) 评论(1) 推荐(0) 编辑
摘要: 由于需要首次手动安装sbt,需要联网,故将虚拟机的网络适配器模式设置为"桥接模式",这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时,无法启动,一直停留在中间状态不动, 如下: [root@master 阅读全文
posted @ 2017-05-07 18:36 xuefenhu 阅读(4078) 评论(0) 推荐(0) 编辑
摘要: 在类Unix系统上,可以在scala文件中开头第一行指定脚本的解释程序。如下例: 先输入chmod +x Script.scala,确保对Script.scala文件有执行权限。然后执行此文件,在命令行上输入./Script.scala Buddy (说明:此处,Buddy是传给脚本的参数) 输出如 阅读全文
posted @ 2017-05-07 18:03 xuefenhu 阅读(734) 评论(0) 推荐(0) 编辑
摘要: 虽然默认情况下 RDD 的内容是临时的,但 Spark 提供了在 RDD 中持久化数据的机制。第一次调用动作并计算出 RDD 内容后,RDD 的内容可以存储在集群的内存或磁盘上。这样下一次需要调用依赖该 RDD 的动作时,就不需要从依赖关系中重新计算 RDD,数据可以从缓存分区中直接返回: cach 阅读全文
posted @ 2017-05-06 23:13 xuefenhu 阅读(5823) 评论(0) 推荐(0) 编辑