上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 45 下一页
摘要: MapReduce 是现今一个非常流行的分布式计算框架,它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司,而Google 的灵感则来自于函数式编程语言,如LISP,Scheme,ML 等。 MapReduce 框架的核心步骤主要分两部分:Map 和Reduce。当你向MapR 阅读全文
posted @ 2018-06-12 14:11 大葱拌豆腐 阅读(290) 评论(0) 推荐(0)
摘要: 朴素贝叶斯 算法介绍: 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,在没有其它可用信息下,我们会选择条件概率最大的类别作为此待分类项应属的类别。 朴素贝叶斯分类的正式定义如下: 1、设 为一个 阅读全文
posted @ 2018-06-12 13:53 大葱拌豆腐 阅读(2197) 评论(0) 推荐(0)
摘要: 在使用git commit命令将修改从暂存区提交到本地版本库后,只剩下最后一步将本地版本库的分支推送到远程服务器上对应的分支了,git 仓库的基本结构。 git push的一般形式为 git push <远程主机名> <本地分支名> <远程分支名> ,例如 git push origin maste 阅读全文
posted @ 2018-06-12 11:50 大葱拌豆腐 阅读(153) 评论(0) 推荐(0)
摘要: git的服务器端(remote)端包含多个repository,每个repository可以理解为一个项目。而每个repository下有多个branch。"origin"就是指向某一个repository的指针。服务器端的"master"(强调服务器端是因为本地端也有master)就是指向某个re 阅读全文
posted @ 2018-06-12 11:48 大葱拌豆腐 阅读(223) 评论(0) 推荐(0)
摘要: 一 Git简介 1.1 Git 特点 Git是一种非常流行的分布式版本控制系统,它和其他版本控制系统的主要差别在于Git只关心文件数据的整体是否发生变化,而大多数版本控制系统只关心文件内容的具体差异,这类系统(CVS,Subversion,Perforce,Bazaar 等等)每次记录有哪些文件作了 阅读全文
posted @ 2018-06-12 11:45 大葱拌豆腐 阅读(287) 评论(0) 推荐(0)
摘要: 增删改查工具类 测试用例 阅读全文
posted @ 2018-06-08 17:29 大葱拌豆腐 阅读(1476) 评论(1) 推荐(0)
摘要: 背景 Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据,并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑,Spark 1.3版本后支持两种整合Kafka机制(Receiver-based Approach 和 Direct Approach),具体细节请参考文章最后官方文档链 阅读全文
posted @ 2018-06-08 17:19 大葱拌豆腐 阅读(4097) 评论(0) 推荐(0)
摘要: 转载自:https://yq.aliyun.com/articles/60194 摘要: 这篇文章的主旨在于让你了解Spark UI体系,并且能够让你有能力对UI进行一些定制化增强。在分析过程中,你也会深深的感受到Scala语言的魅力。 前言 有时候我们希望能对Spark UI进行一些定制化增强。并 阅读全文
posted @ 2018-06-07 22:26 大葱拌豆腐 阅读(1024) 评论(0) 推荐(0)
摘要: 转载自:https://yq.aliyun.com/articles/60196 摘要: Spark 事件体系的中枢是ListenerBus,由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是Metrics 阅读全文
posted @ 2018-06-07 22:18 大葱拌豆腐 阅读(532) 评论(0) 推荐(0)
摘要: 在项目开发中在很多地方都要做单元测试,在做Spark项目时使用Scala开发.所以总结一下Scala中的单元测试: 在Maven pom文件中添加依赖: 运行: 使用Intelij IDEA,把光标点击在方法名那一行上,右键,run。 阅读全文
posted @ 2018-06-07 17:37 大葱拌豆腐 阅读(4351) 评论(0) 推荐(0)
上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 45 下一页