随笔分类 -  Hadoop

关于学习Hadoop遇到的一些问题
Spark单机安装
摘要：1.解压安装包 2. SSH免密登录 3.配置环境变量 配置环境变量 4.修改Spark配置文件 5.测试是否安装成功 升级pip 安装 pyspark 阅读全文
posted @ 2020-03-23 08:44 爪洼 阅读(232) 评论(0) 推荐(0)
HDFS文件的读取和上传
摘要：在了解HDFS的文件上传的读取之前要了解几个组件的作用 NameNode，DataNode，SecondaryNameNode NameNode NameNode也被称之为名字节点，在HDFS的主从架构中的主角是的扮演者。它维护着整个文件系统的目录树，以及目录树里所有的文件和目录。这些信息以文件的形 阅读全文
posted @ 2020-03-16 15:05 爪洼 阅读(357) 评论(0) 推荐(0)