随笔分类 -  大数据平台

大数据平台的搭建和使用,hadoop+spark+airflow
大数据处理
摘要:https://blog.csdn.net/u010862794/article/details/90025104 大数据处理的应用场景大数据是近些年才出现的吗,人们是近些年才发现大数据的利用价值的吗?其实不然,早在几十年前,数学分析就已经涉猎金融行业了,人们依托于金融和数学知识来建立数学模型,利用 阅读全文

posted @ 2021-06-21 10:45 傅里叶变身 阅读(716) 评论(0) 推荐(0)

Hadoop伪分布式HDFS环境搭建和使用
摘要:1.环境要求 Java版本不低于Hadoop要求,并配置环境变量 2.安装 1)在网站hadoop.apache.org下载稳定版本的Hadoop包 2)解压压缩包 检查Hadoop是否可用 3)修改配置文件 Hadoop配置以.xml文件形式存在 修改文件hadoop/etc/hadoop/cor 阅读全文

posted @ 2017-09-13 17:07 傅里叶变身 阅读(10356) 评论(0) 推荐(0)

Hadoop的存储架构介绍
摘要:http://lxw1234.com/archives/2016/04/638.htm 该文章介绍了Hadoop的架构原理,简单易懂。 目前公司提供Hadoop的运算集群BMR,可以直接申请集群资源。 阅读全文

posted @ 2017-05-04 21:03 傅里叶变身 阅读(327) 评论(0) 推荐(0)

Spark和Hadoop MapReduce之间的比较
摘要:关于两者的讨论文章: https://www.zhihu.com/question/26568496 http://blog.jobbole.com/97150/ 文章通过多个角度对两者进行对比,根据目前的使用情况,Spark更适用于我们的大数据平台进行大数据运算。 公司的Spark集群资源正在搭建 阅读全文

posted @ 2017-05-04 20:40 傅里叶变身 阅读(175) 评论(0) 推荐(0)

大数据运算平台框架结构
摘要: 阅读全文

posted @ 2017-05-04 20:28 傅里叶变身 阅读(155) 评论(0) 推荐(0)

导航