摘要：ETL是什么？为什么要使用ETL？KETTLE是什么？为什么要学KETTLE？ ETL是数据的抽取清洗转换加载的过程，是数据进入数据仓库进行大数据分析的载入过程，目前流行的数据进入仓库的过程有两种形式，一种是进入数据库后再进行清洗和转换，另外一条路线是首先进行清洗转换再进入数据库，我们的ETL属于后
阅读全文
随笔分类 - spark
摘要：Hadoop是2013年最热门的技术之一，通过北风网robby老师<深入浅出Hadoop实战开发>、<Hadoop应用开发实战>两套课程的学习，普通Java开发人员可以在最快的时间内提升工资超过15000.成为一位完全精通Hadoop应用开发的高端人才。 Hadoop是什么，为什么要学习Hadoop
阅读全文
摘要：Hadoop是什么，为什么要学习Hadoop? Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System
阅读全文
摘要：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B
阅读全文
摘要：这门课程是针对大数据工程师和云计算工程师的基础课程，同时也是所有计算机专业人士必须掌握的一门课程。 如果不掌握数据结构和算法，你将难以掌握高效、专业的数据处理手段，更难以从容应对复杂的大数据处理场景。 请思考以下问题： 1、社交网站（如微博、facebook）中，人与人的关系是海量数据，你如何研究和
阅读全文
摘要：1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0
阅读全文
摘要：SPSS Modeler是业界极为著名的数据挖掘软件，其前身为SPSS Clementine。SPSS Modeler内置丰富的数据挖掘模型，以其强大的挖掘功能和友好的操作习惯，深受用户的喜爱和好评，成为众多知名企业在数据挖掘项目上的软件产品选择。 本课程以SPSS Modeler为应用软件，以数据
阅读全文
摘要：本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、
阅读全文
摘要：2013年，云计算领域从此多了一个名词“Docker”。以轻量著称，更好的去解决应用打包和部署。之前我们一直在构建Iaas，但通过Iaas去实现统一功 能还是相当复杂得，并且维护复杂。将特殊性封装到镜像中实现几乎一致得部署方法，它就是“Docker”，以容器为技术核心，实现了应用的标准化。企业可 以
阅读全文
摘要：随着大数据在各行业的落地生根和蓬勃发展，能从数据中挖金子的数据分析人员越来越宝贝，于是很多的程序员都想转行到数据分析， 挖掘技术哪家强？当然是R语言了，R语言的火热程度，从TIOBE上编程语言排名情况可见一斑。于是善于学习的程序员们开始了R语言的学习 之旅。对于有其他语言背景的程序员来说，学习R的语
阅读全文
摘要：鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深
阅读全文
摘要：什么是MapReduce？ MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运
阅读全文
摘要：1.1、课程的背景 Storm是什么？ 为什么学习Storm？ Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Sto...
阅读全文
摘要：Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并
阅读全文
摘要：随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha
阅读全文
摘要：Hadoop的前景 随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Andr
阅读全文
摘要：
阅读全文
摘要：Spark内核源码剖析、Hadoop高端
阅读全文
摘要：本项目主要讲解了一套应用于互联网电商企业中，使用Java、Spark等技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、页面跳转行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为
阅读全文
摘要：离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏等领域有非常广泛，因为这些领域对数据和用户的特性把握要求比较高，所以对于离线数据的分析就有比较高的要求了。 讲师本人之前在游戏、旅游等公司专门从事离线数
阅读全文
浙公网安备 33010602011771号