随笔分类 -  大数据

大数据文章
摘要:大数据架构 目前围绕Hadoop体系的大数据架构包括: 传统大数据架构 数据分析的业务没有发生任何变化,但是因为数据量、性能等问题导致系统无法正常使用,需要进行升级改造,那么此类架构便是为了解决这个问题。依然保留了ETL的动作,将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主,但是因 阅读全文
posted @ 2019-12-05 14:51 云刄
摘要:1. 文件操作(1) 列出HDFS下的文件/usr/local/hadoop$bin/ hadoop dfs -ls(2) 列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/ hadoop dfs -ls in(3) 上传文件将hadoop目录下的test1文件上传 阅读全文
posted @ 2019-07-04 14:18 云刄 阅读(165) 评论(0) 推荐(0)