spark - 随笔分类(第2页) - xxxxxxxx1x2xxxxxxx

7种最常见的Hadoop和Spark项目

摘要：7种最常见的Hadoop和Spark项目 7种最常见的Hadoop和Spark项目如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火阅读全文

posted @ 2016-11-06 03:06 xxxxxxxx1x2xxxxxxx 阅读(384) 评论(0) 推荐(0)

基于大数据的银行反欺诈的分析报告

摘要：基于大数据的银行反欺诈的分析报告（备注，本人主要是整理，学习他人的博客。由于大量的资料，所以，无法一一附上参考链接，所以，各位看我博客的同学们就不要外传了。） 0，大数据知识背景。在我第一次接触大数据的时候，那个故事便是“啤酒和尿布”。是美国沃尔玛超市的一则营销案例。每到周末的时候，啤酒和尿片阅读全文

posted @ 2016-10-30 16:04 xxxxxxxx1x2xxxxxxx 阅读(1194) 评论(1) 推荐(0)

京东基于Spark的风控系统架构实践和技术细节

摘要：京东基于Spark的风控系统架构实践和技术细节时间 2016-06-02 09:36:32 炼数成金原文 http://www.dataguru.cn/article-9419-1.html 主题 Spark 软件架构时间 2016-06-02 09:36:32 炼数成金原文 http:// 阅读全文

posted @ 2016-10-30 15:42 xxxxxxxx1x2xxxxxxx 阅读(346) 评论(0) 推荐(0)

地震数据挖掘分析系统（云计算处理、智能挖掘技术）

摘要：本课程由浅入深，全面、系统地介绍了大数据基础、应用、管理、性能优化、数据库的架构，环境搭建实例，编程实例等内容。课程中的每一章都提供了大量的实例代码，以方便学者进行练习和学习。每个例程都经过精挑细选，具有很强的针对性，适合各个阶段的读者的学习。本课程既注重基础知识，又非常注重实践，学者可以快速上手阅读全文

posted @ 2016-08-03 12:12 xxxxxxxx1x2xxxxxxx 阅读(358) 评论(0) 推荐(0)

Mac部署hadoop3.2.1(伪分布式) ，Hadoop自带的MapReduce程序(wordcount)，，，，安装scala，hadoop安装启动问题，Pyspark开发环境搭建，MAC Spark安装和环境变量设置

摘要：Mac部署hadoop3(伪分布式) 环境信息操作系统：macOS Mojave 10.14.6 JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home) hadoop：3.2.1 免阅读全文

posted @ 2016-07-01 02:51 xxxxxxxx1x2xxxxxxx 阅读(808) 评论(0) 推荐(0)

网格计算, 云计算, 集群计算, 分布式计算, 超级计算

摘要：网格计算, 云计算, 集群计算, 分布式计算, 超级计算网格计算, 云计算, 集群计算, 分布式计算, 超级计算整体来说都有将任务分割、运算、组合，只是协同和处理的重点不同；超级计算强调的是高并行计算能力，应用设备多是超级计算机如天河一号，是infiniband的高并行处理架构，实现总线级协同阅读全文

posted @ 2016-06-20 17:46 xxxxxxxx1x2xxxxxxx 阅读(900) 评论(0) 推荐(0)

使用docker打造spark集群

摘要：前提条件：安装好了docker，见我的另一篇博客，Docker安装有两种方式， Spark官方repo里，docker文件夹下的脚本。官方的这个脚本封装很薄，尽可能把必要的信息展示出来。 AMPLab开源的这个独立小项目，来打造一个spark集群。这个脚本封装很深，自带了一个DNS服务器，还有ha 阅读全文

posted @ 2016-06-20 14:07 xxxxxxxx1x2xxxxxxx 阅读(205) 评论(0) 推荐(0)

zhihu spark集群,书籍,论文

摘要：spark集群中的节点可以只处理自身独立数据库里的数据，然后汇总吗？修改 spark集群中的节点可以只处理自身独立数据库里的数据，然后汇总吗？修改我将spark搭建在两台机器上，其中一台既是master又是slave，另一台是slave，两台机器上均装有独立的mongodb数据库。我是否可以让阅读全文

posted @ 2016-06-20 11:22 xxxxxxxx1x2xxxxxxx 阅读(396) 评论(0) 推荐(0)

大数据为什么要选择Spark

摘要：大数据为什么要选择Spark Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 Hadoop 相似的开源集群计阅读全文

posted @ 2016-05-30 03:36 xxxxxxxx1x2xxxxxxx 阅读(370) 评论(0) 推荐(0)

delete

摘要：delete 阅读全文

posted @ 2016-05-14 06:53 xxxxxxxx1x2xxxxxxx 阅读(137) 评论(0) 推荐(0)

2013年国际“云先锋”系列公司

摘要：Cloud Edge：2013年国际“云先锋”系列报道序号公司名称成立时间CEO/CTO风险投资公司产品/方向 1. HStreaming 2011年 Jana Uhlig $ 1M （B）实时Hadoop系统 2. CitusData 2012年 Matt Ocko CitusDB 3. Ba 阅读全文

posted @ 2016-04-15 00:57 xxxxxxxx1x2xxxxxxx 阅读(167) 评论(0) 推荐(0)

北风风hadoop课程体系

摘要：课程一、基于Linux操作系统平台下的Java语言开发（20课时）课程简介本套课程主要介绍了Linux系统下的Java环境搭建及最基础的Java语法知识。学习Linux操作系统下Java语言开发的好处好处一：不再束缚在Windows操作系统下，开阔眼界。好处二：熟练Linux操作系统的指令，走出“ 阅读全文

posted @ 2016-04-12 10:11 xxxxxxxx1x2xxxxxxx 阅读(316) 评论(0) 推荐(0)

IT大数据服务管理高级课程(IT服务，大数据，云计算，智能城市)

摘要：个人简历金石先生是马克思主义中国化的研究学者，上海财经大学经济学和管理学硕士，中国民主建国会成员，中国特色社会主义人文科技管理哲学的理论奠基人之一。金石先生博学多才，对问题有独到见解、专于工作且乐于助人，在知识结构上已经实现了哲学、国学、MBA、IT知识的纵向贯穿，是难得的产、学、研、用一体化人才阅读全文

posted @ 2016-04-12 02:58 xxxxxxxx1x2xxxxxxx 阅读(231) 评论(0) 推荐(0)

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)

摘要：1、Storm全面、系统、深入讲解，采用最新的稳定版本Storm 0.9.0.1 ； 2、注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解，让学员觉得简单易懂； 3、分享积累的经验和技巧，从架构的阅读全文

posted @ 2016-04-12 02:57 xxxxxxxx1x2xxxxxxx 阅读(330) 评论(0) 推荐(0)

Zookeeper从入门到精通（开发详解，案例实战，Web界面监控）

摘要：ZooKeeper是Hadoop的开源子项目（Google Chubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。 Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性，并且解决了M 阅读全文

posted @ 2016-04-12 02:56 xxxxxxxx1x2xxxxxxx 阅读(465) 评论(0) 推荐(1)

基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析

摘要：随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha 阅读全文

posted @ 2016-04-12 02:55 xxxxxxxx1x2xxxxxxx 阅读(688) 评论(0) 推荐(0)

深入浅出OpenStack云计算平台管理(nova-compute/network)

摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景 OpenStack是一个由Rackspace发起、全球开发者共同参与的开源项目，旨在打造易于部署、功能丰富且易于扩展的云计算平台。OpenStack企图成为数据中心的操作系统，即云操作系统。从项目发起之初，OpenStack就几乎赢阅读全文

posted @ 2016-04-12 02:50 xxxxxxxx1x2xxxxxxx 阅读(388) 评论(0) 推荐(0)

深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)

摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。 Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重阅读全文

posted @ 2016-04-12 02:50 xxxxxxxx1x2xxxxxxx 阅读(361) 评论(0) 推荐(0)

玩转大数据：深入浅出大数据挖掘技术(Apriori算法、Tanagra工具、决策树)

摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 “大数据” 其实离我们的生活并不遥远，大到微博的海量用户信息，小到一个小区超市的月销售清单阅读全文

posted @ 2016-04-12 02:49 xxxxxxxx1x2xxxxxxx 阅读(620) 评论(0) 推荐(0)

Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)

摘要：课程大纲及内容简介: 每节课约35分钟，共不下40讲第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 · 阅读全文

posted @ 2016-04-12 02:48 xxxxxxxx1x2xxxxxxx 阅读(228) 评论(0) 推荐(0)

yyyyyyyyyyyyyyyyyyyy

公告

随笔分类 - spark