摘要: “第一砖”从相认到相识 什么是大数据?可能有人会说写字楼的所有人的资料信息就是个大数据。NO!这里的数据只能说比较大,但却不能称之为大数据。百度百科上给出了很明确的解释“大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策 阅读全文
posted @ 2020-02-11 13:13 暮光倾城 阅读(152) 评论(0) 推荐(0)
摘要: 我们在学习大数据开发前需要先找到适合自己的方式方法,首先需要审视一下自身的情况,是否是以兴趣为出发点,对大数据是不是自己是真的感兴趣吗,目前对大数据的了解有多少,自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。根据不同基础水平可以分为三类: 第一类:零基础学员,对大数据行业 阅读全文
posted @ 2020-02-09 21:30 暮光倾城 阅读(257) 评论(0) 推荐(0)
摘要: 我们迎来了一个新的时代,这就是大数据的时代。 —经济学家 詹姆斯·莫里斯 行业背景 国家信息中心《2017中国大数据产业发展报告》对我国大数据产业发展的人才、政策、投融资、创新创业、产业发展、区域潜力、机构和人物影响力等多个维度进行了全面分析。结果显示,我国大数据发展总体处于起步阶段。但大数据领域资 阅读全文
posted @ 2020-02-08 14:14 暮光倾城 阅读(726) 评论(0) 推荐(0)
摘要: 数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 一、数据挖掘对象 根据信息存储格式,用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异 阅读全文
posted @ 2020-02-07 14:53 暮光倾城 阅读(1247) 评论(0) 推荐(0)
摘要: 经常有初学者 问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业 阅读全文
posted @ 2020-02-06 15:59 暮光倾城 阅读(790) 评论(0) 推荐(1)
摘要: 1. 下列哪项通常是集群的最主要瓶颈(C) A. CPU B. 网络 C. 磁盘IO D. 内存 2. 下列哪项可以作为集群的管理工具?(C) A.Puppet B.Pdsh C.ClouderaManager D.Zookeeper 3. 下列哪个是Hadoop 运行的模式?(ABC) A. 单机 阅读全文
posted @ 2020-02-05 16:55 暮光倾城 阅读(3077) 评论(0) 推荐(0)
摘要: 先开门见山的给出结论:在职场中,学习任何一门技术,优先考虑工作需求本身,其次是职业发展所需,最后才是兴趣和好奇驱动。本末颠倒的话,不仅学习效率低下,而且还可能竹篮打水一场空,浪费时间成本。 就拿我自己说事,读书期间在做「数学建模」时,因为不是计算机\软件相关的专业,唯一接触过的C语言(The C P 阅读全文
posted @ 2020-01-11 12:50 暮光倾城 阅读(178) 评论(0) 推荐(0)
摘要: 撰写我对java后端开发工程师选择方向的想法,写给在java后端选择转方向的人 背景 看到一些java开发工程师,对java后端薪酬太悲观了。认为换去大数据领域就会高工资。觉得java后端没有前途。我从事java后端开发,对大数据领域工作有些了解,但不深入。本文描述一下我对java后端和是否转大数据 阅读全文
posted @ 2020-01-10 12:48 暮光倾城 阅读(3002) 评论(1) 推荐(1)
摘要: Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/ 阅读全文
posted @ 2020-01-09 18:51 暮光倾城 阅读(2309) 评论(0) 推荐(2)
摘要: 为了降低大数据应用开发的门槛,简化开发过程,星环随Transwarp Data Hub 5.0开发出了大数据开发套件Transwarp Studio。Studio由一套PaaS产品构成,提供从提取、存储、计算、展示的全链路大数据开发服务,全面覆盖大数据开发流水线上的各项环节,为开发人员带来流畅的数据 阅读全文
posted @ 2020-01-08 10:57 暮光倾城 阅读(258) 评论(0) 推荐(0)