摘要：
排错 访问bigdata111:50070没显示 jps发现hdfs的namenode没启动 查看namenode日志发现9000端口被占用 查找占用端口的进程 杀死进程，或在配置文件中更改端口号 参考 https://blog.csdn.net/u010022051/article/details 阅读全文
posted @ 2020-09-08 23:19
cxc1357
阅读(275)
评论(0)
推荐(0)
摘要：
Hadoop hdfs适用的场景 存储量非常大，TB级，高吞吐量，对延时无要求 流式数据访问，一次写入，多次读取 运行在普通机器，节约成本 高容错性 hdfs不适用的场景 低延时数据访问，如ms级 大量小文件，文件系统的文件数量受限于NameNode的内存大小（100万个文件，元数据占据空间300M 阅读全文
posted @ 2020-09-08 21:37
cxc1357
阅读(247)
评论(0)
推荐(0)
摘要：
业务架构 流程 成都、海口两台日志服务器的数据不断产生，flume采集 网络传输到第三台flume（兼做网关），再到kafka不同的topic里 sparkstreaming解析kafka数据，存入hbase，redis 技术选型 数据采集 大数据平台和关系型数据库的导入导出：Sqoop、datax 阅读全文
posted @ 2020-09-08 08:47
cxc1357
阅读(312)
评论(1)
推荐(0)
摘要：
https://zhidao.baidu.com/question/1365763015568639579.html 阅读全文
posted @ 2020-09-08 07:38
cxc1357
阅读(139)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/520playboy/p/6275022.html 阅读全文
posted @ 2020-09-08 07:27
cxc1357
阅读(106)
评论(0)
推荐(0)
浙公网安备 33010602011771号