随笔分类 -  大数据

hadoop
Spark四种运行模式和RDD常用创建方法
摘要：/** * Spark的四种运行模式 * 本地模式, Standalone模式, Spark on Yarn模式, Spark on Mesos模式 */ ////进行配置， setMaster("local")本地运行模式 val conf = new SparkConf().setAppName 阅读全文
posted @ 2020-08-27 16:50 火火火火四火 阅读(291) 评论(0) 推荐(0)
Fix Under-replicated blocks in HDFS manually
摘要：Short Description: Quick instruction to fix under replicated Blocks in HDFS manually Article To Fix under replicated blocks in HDFS, below is quick in 阅读全文
posted @ 2019-06-18 13:46 火火火火四火 阅读(182) 评论(0) 推荐(0)
用户行为日志离线数据处理架构
摘要：用户行为日志离线数据处理架构 阅读全文
posted @ 2019-04-09 14:33 火火火火四火 阅读(415) 评论(0) 推荐(0)
用户行为日志分析数据处理流程
摘要：用户行为日志分析数据处理流程 阅读全文
posted @ 2019-04-09 14:32 火火火火四火 阅读(1021) 评论(0) 推荐(0)
Ambari搭建hadoop错误记录
摘要：1.ResourceManager启动失败 错误如下 2019 03 24 19:57:00,607 Error while executing command 'start': Traceback (most recent call last): File "/usr/lib/python2.6/ 阅读全文
posted @ 2019-03-25 11:09 火火火火四火 阅读(533) 评论(0) 推荐(0)