2018年7月11日

摘要: 2017年,科学,商业和有关部门使用大数据的速度将加快。在科学中,我们正在看到利用数据进行理论发展。在业务中,我们看到云部署创造了新的效率,部署了预测分析来提高决策和效率。政府和法规侧重于安全性,关键系统的稳定性和更好的治理。 2018年将是这些领域取得长足进步的一年。我是一个大数据程序员,建了一个 阅读全文

posted @ 2018-07-11 17:38 浩轩0 阅读(209) 评论(0) 推荐(0)

2018年7月8日

摘要: 什么是大数据架构师: 围绕大数据系平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBas 阅读全文

posted @ 2018-07-08 22:08 浩轩0 阅读(563) 评论(0) 推荐(0)

2018年7月5日

摘要: 0、创建挂载目录 1、确认是否有没有分区的磁盘,如下图,没有分区的磁盘是 /dev/xvdb ,在您的服务器中可能是 /dev/vdb 请注意按实际名称修改 2、为磁盘分区,若已分区的,请跳过! 3、输入n开始创建分区 4、输入p创建主分区 5、选择分区号,这里输入1 6、输入分区开始位置,直接回车 阅读全文

posted @ 2018-07-05 23:40 浩轩0 阅读(366) 评论(0) 推荐(0)

2018年7月2日

摘要: 什么是大数据架构师: 围绕大数据系平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBas 阅读全文

posted @ 2018-07-02 15:56 浩轩0 阅读(182) 评论(0) 推荐(0)

2018年6月23日

摘要: 阿里 大数据全栈工程师一词,最早出现于Facebook工程师Calos Bueno的一篇文章 - Full Stack (需fanqiang)。他把全栈工程师定义为对性能影响有着深入理解的技术通才。自那以后全栈这个词便流行起来,我看到过的就有大数据全栈工程师,大数据全栈设计师,大数据全栈运维,大数据 阅读全文

posted @ 2018-06-23 17:50 浩轩0 阅读(367) 评论(1) 推荐(0)

2018年6月16日

摘要: 大数据的学习技术点 Hadoop核心 (1) 分布式存储基石:HDFS HDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示 (2) 分布式计算基础:MapReduce 阅读全文

posted @ 2018-06-16 18:59 浩轩0 阅读(151) 评论(1) 推荐(0)