摘要：云计算技术－培训课程方案 ——云计算培训之一：云计算概述 课程简介： 随着网络带宽的不断增长，通过网络访问非本地的计算服务（包括数据处理、存储和信息服务等）的条件越来越成熟，于是就有了今天我们称作“云计算”的技术。之所以称作“云”，是因为计算设施不在本地而在网络中，用户不需要关心它们所处的具体位置，
阅读全文
随笔分类 - hadoop，大数据
摘要：全文检索、数据分析挖掘、推荐系统、广告系统、图像识别、海量存储、快速查询 l Hadoop介绍 n Hadoop来源与历史 n Hadoop版本 n Hadoop开源与商业 l HDFS系统架构 n NameNode功能与原理 n DataNode功能与原理 n SecondaryNameNode功
阅读全文
摘要：Hadoop 3.x后，应用的端口有所调整，如下： 分类 应用 Haddop 2.x Haddop 3 NNPorts Namenode 8020 9820 NNPorts NN HTTP UI 50070 9870 NNPorts NN HTTPS UI 50470 9871 SNN ports
阅读全文
摘要：大数据有两个方向，一个是偏计算机的，另一个是偏经济的。你学过Java，所以你可以偏将计算机基础1. 读书《Introduction to Data Mining》，这本书很浅显易懂，没有复杂高深的公式，很合适入门的人。另外可以用这本书做参考《Data Mining : Concepts and Te
阅读全文
摘要：人工智能的概念提出已经很多年，但最近一次大热是在“人机大战”战胜世界围棋高手李世石的AlphaGo。同样，近几年安防行业热门的深度学习和模式识别的概念也频频出现在公众的视野当中，那么它们是如何应用在安防领域中？目前最前沿的应用又有哪些？以下将为您一一解答。 安防大数据挖掘 平安城市从2010年在全国
阅读全文
摘要：0.缺乏数据(LackData) 对于分类问题或预估问题来说，常常缺乏准确标注的案例。 例如： 欺诈侦测(FraudDetection)：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标注出来，这就需要在建模前花费大量人力来修正。 信用评分(CreditScoring)：
阅读全文
摘要：操作系统文件管理 在现代计算机系统中，要用到大量的程序和数据，因内存容量有限，且不能长期保存，故而平时总是把它们以文件的形式存放在外存中，需要时再随时将它们调入内存。如果由用户直接管理外存上的文件，不仅要求用户熟悉外存特性，了解各种文件的属性，以及它们在外存上的位置，而且在多用户环境下，还必须能保持
阅读全文
摘要：解读Google分布式锁服务 背景介绍 在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。 在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索
阅读全文
摘要：五大主流数据库模型 导读：无论是关系型数据库还是非关系型数据库，都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型，让我们来追本溯源，窥探现在流行的数据库解决方案背后的神秘世界。 什么是数据模型？ 访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。
阅读全文
摘要：使用Storm实现实时大数据分析 使用Storm实现实时大数据分析 摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN
阅读全文
摘要：大数据计算：如何仅用1.5KB内存为十亿对象计数 Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K This is a guest post by Matt Abrams (@abramsm), fr
阅读全文
摘要：谷歌三大核心技术（一）The Google File System中文版 The Google File System中文版 译者：alex 摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了
阅读全文
摘要：谷歌三大核心技术（三）Google BigTable中文版 谷歌三大核心技术（三）Google BigTable中文版 Bigtable：一个分布式的结构化数据存储系统 译者：alex 摘要 Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的
阅读全文
摘要：谷歌三大核心技术（二）Google MapReduce中文版 Google MapReduce中文版 译者: alex 摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基
阅读全文
摘要：用PHP编写Hadoop的MapReduce程序 Hadoop流 虽然Hadoop是用Java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口
阅读全文
摘要：MapReduce数据流 Hadoop的核心组件在一起工作时如下图所示： 图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapp
阅读全文
摘要：Hadoop HDFS分布式文件系统设计要点与架构 Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File Sy
阅读全文
摘要：使用python来访问Hadoop HDFS存储实现文件的操作 原文：http://rfyiamcool.blog.51cto.com/1030776/1258292 在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程 查看文件内容 www.xiaorui
阅读全文
摘要：hadoop安全模式在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也
阅读全文
浙公网安备 33010602011771号