2018年11月14日

大数据入门到精通2--spark rdd 获得数据的三种方法

摘要：通过hdfs或者spark用户登录操作系统，执行spark-shell spark-shell 也可以带参数，这样就覆盖了默认得参数 spark-shell --master yarn --num-executors 2 --executor-memory 2G --driver-memory 15 阅读全文

posted @ 2018-11-14 15:39 David_Zhu 阅读(911) 评论(0) 推荐(0)

大数据入门到精通1--大数据环境下的基础文件HDFS 操作

摘要： 1.使用hdfs用户或者hadoop用户登录 2.在linux shell下执行命令 hadoop fs -put '本地文件名' hadoop fs - put '/home/hdfs/sample/sample.txt' hadoop fs -ls / 列出具体的文件名。 hadoop fs - 阅读全文

posted @ 2018-11-14 15:36 David_Zhu 阅读(468) 评论(0) 推荐(0)

导航

2018年11月14日