摘要：数学算法那些事 1. 三种方法求最大公约数 1、连续整数检测法. 此算法比较简单： [php] view plain copy print? /** * greatest common divisor * * @param int $a * @param int $b */ function gcd
阅读全文
04 2016 档案
摘要：解读Google分布式锁服务 背景介绍 在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。 在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索
阅读全文
摘要：链接分析算法之：HillTop算法 Hilltop算法是由Krishna Baharat 在2000年左右研究的，于2001年申请专利，但是有很多人以为Hilltop算法是由谷歌研究的。只不过是Krishna Baharat 后来加入了Google成为了一名核心工程师，然后授权给Google使用的。
阅读全文
摘要：细数二十世纪最伟大的十大算法 参考论文：The Best of the 20th Century: Editors Name Top 10 Algorithms。By Barry A. Cipra。地址：http://www.uta.edu/faculty/rcli/TopTen/topten.pd
阅读全文
摘要：链接分析算法之：SALSA算法 SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点，既可以利用HITS算法与查询相关的特点，也可以采纳PageRank的“随机游走模型”，这是SALSA算法提出的背景。由此可见，SALSA算法融合了PageRank和HITS算法的基本思想，从
阅读全文
摘要：链接分析算法之：主题敏感PageRank 前面的讨论提到。PageRank忽略了主题相关性，导致结果的相关性和主题性降低，对于不同的用户，甚至有很大的差别。例如，当搜索“苹果”时，一个数码爱好者可能是想要看 iphone 的信息，一个果农可能是想看苹果的价格走势和种植技巧，而一个小朋友可能在找苹果的
阅读全文
摘要：链接分析算法之：HITS算法 HITS（HITS(Hyperlink - Induced Topic Search) ） 算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almade
阅读全文
摘要：1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模
阅读全文
摘要：B-树和B+树的应用：数据搜索和数据库索引 B-树 1 .B-树定义 B-树是一种平衡的多路查找树，它在文件系统中很有用。 定义：一棵m 阶的B-树，或者为空树，或为满足下列特性的m 叉树：⑴树中每个结点至多有m 棵子树；⑵若根结点不是叶子结点，则至少有两棵子树； ⑶除根结点之外的所有非终端结点至少
阅读全文
摘要：八大排序算法 概述 排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。 我们这里说说八大排序就是内部排序。 当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。 快速
阅读全文
摘要：查找 -数据结构 几种查找算法:顺序查找，折半查找，分块查找，散列表 查找 -数据结构 几种查找算法:顺序查找，折半查找，分块查找，散列表 一、顺序查找的基本思想： 从表的一端开始，向另一端逐个按给定值kx 与关键码进行比较，若找到，查找成功，并给出数据元素在表中的位置；若整个表检测完，仍未找到与k
阅读全文
摘要：五大主流数据库模型 导读：无论是关系型数据库还是非关系型数据库，都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型，让我们来追本溯源，窥探现在流行的数据库解决方案背后的神秘世界。 什么是数据模型？ 访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。
阅读全文
摘要：1. 前言 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。 在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界，熵越高，
阅读全文
摘要：海量数据处理 算法总结 前面我们说海量数据处理提到，从算法的角度去考虑处理海量数据。 1. Bloom Filter 【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否
阅读全文
摘要：Trie树：应用于统计和排序 Trie树：应用于统计和排序 1. 什么是trie树 1.Trie树 （特例结构树） Trie树，又称单词查找树、字典树，是一种树形结构，是一种哈希树的变种，是一种用于快速检索的多叉树结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统
阅读全文
摘要：海量数据处理算法—Bit-Map 1. Bit Map算法简介 来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 2、 Bit Map的基本思想 我们先来看一个具体的例
阅读全文
摘要：使用Storm实现实时大数据分析 使用Storm实现实时大数据分析 摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN
阅读全文
摘要：用Redis bitmap统计活跃用户、留存 用Redis bitmap统计活跃用户、留存 Spool的开发者博客，描述了Spool利用Redis的bitmaps相关的操作，进行网站活跃用户统计工作。 原文：http://blog.getspool.com/2011/11/29/fast-easy-
阅读全文
摘要：大数据计算：如何仅用1.5KB内存为十亿对象计数 Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K This is a guest post by Matt Abrams (@abramsm), fr
阅读全文
摘要：6个用于大数据分析的最好工具 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军
阅读全文
摘要：谷歌三大核心技术（一）The Google File System中文版 The Google File System中文版 译者：alex 摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了
阅读全文
摘要：谷歌三大核心技术（三）Google BigTable中文版 谷歌三大核心技术（三）Google BigTable中文版 Bigtable：一个分布式的结构化数据存储系统 译者：alex 摘要 Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的
阅读全文
摘要：谷歌三大核心技术（二）Google MapReduce中文版 Google MapReduce中文版 译者: alex 摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基
阅读全文
摘要：Hadoop Hive与Hbase整合+thrift 1. 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapR
阅读全文
摘要：Hadoop Hive sql语法详解 Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL
阅读全文
摘要：用PHP编写Hadoop的MapReduce程序 Hadoop流 虽然Hadoop是用Java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口
阅读全文
摘要：MapReduce数据流 Hadoop的核心组件在一起工作时如下图所示： 图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapp
阅读全文
摘要：Hadoop HDFS分布式文件系统设计要点与架构 Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File Sy
阅读全文
摘要：使用python来访问Hadoop HDFS存储实现文件的操作 原文：http://rfyiamcool.blog.51cto.com/1030776/1258292 在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程 查看文件内容 www.xiaorui
阅读全文
摘要：hadoop安全模式在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也
阅读全文
摘要：hbase安装配置（整合到hadoop） hbase安装配置（整合到hadoop） 如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方法。会引导你通过s
阅读全文
摘要：HBase技术介绍 HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtab
阅读全文
摘要：Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://Hadoop.apache.
阅读全文
摘要：Hadoop简介 Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象编
阅读全文
摘要：Hadoop实战实例 Hadoop实战实例 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统
阅读全文
摘要：摘要：Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 随着互联网、移动互联网和物联网的发展，谁也无法否认，
阅读全文
摘要：跟上节奏 大数据时代十大必备IT技能 新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体……在互联网时代，各种新词层出不穷，让人应接不暇。这些新的技术，这些新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。 新的想法诞生新的技术，从而造出许多新词，云计算
阅读全文
摘要：深入解析：分布式系统的事务处理经典问题及模型(转载分享) 摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Paxos，以及Dynamo的NRW和VectorC
阅读全文
摘要：Hive深入浅出 1. Hive是什么 1) Hive是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy
阅读全文
摘要：数据分析≠Hadoop+NoSQL 数据分析≠Hadoop+NoSQL 目录(?)[+] 目录(?)[+] Hadoop让大数据分析走向了大众化，然而它的部署仍需耗费大量的人力和物力。在直奔Hadoop之前，是否已经将现有技术推向极限？这里总结了对Hadoop投资前可以尝试的10个替代方案，省时、省
阅读全文
摘要：你的数据根本不够大，别老扯什么Hadoop了 本文原名“Don’t use Hadoop when your data isn’t that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计
阅读全文
摘要：海量数据处理 海量数据处理 海量数据处理是基于海量数据上的存储、处理、操作。 所谓海量，就是数据量很大，可能是TB级别甚至是PB级别，导致无法一次性载入内存或者无法在较短时间内处理完成。面对海量数据，我们想到的最简单方法即是分治法，即分开处理，大而化小，小而治之。我们也可以想到集群分布式处理。 1
阅读全文
摘要：海量数据处理算法—Bloom Filter 海量数据处理算法—Bloom Filter 1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据
阅读全文
摘要：PHP通过Thrift操作Hbase HBase是一个开源的NoSQL产品，它是实现了Google BigTable论文的一个开源产品，和Hadoop和HDFS一起，可用来存储和处理海量column family的数据。官方网址是：http://hbase.apache.org 一 、HBase访问
阅读全文
摘要：每个程序员都该知道的10大编程格言 每个程序员都该知道的10大编程格言 编程格言1：无风不起浪 (There is no smoke without fire） 编程格言2：预防为主，治疗为辅(An ounce of prevention is worth a pound of cure：） 编程格
阅读全文
摘要：设计模式原则详解 设计模式原则详解 我们在应用程序开发中，一般要求尽量两做到可维护性和可复用性。 应用程序的复用可以提高应用程序的开发效率和质量，节约开发成本，恰当的复用还可以改善系统的可维护性。而在面向对象的设计里面，可维护性复用都是以面向对象设计原则为基础的，这些设计原则首先都是复用的原则，遵循
阅读全文
摘要：UML图中类之间的关系:依赖,泛化,关联,聚合,组合,实现 UML图中类之间的关系:依赖,泛化,关联,聚合,组合,实现 类与类图 1) 类(Class)封装了数据和行为，是面向对象的重要组成部分，它是具有相同属性、操作、关系的对象集合的总称。 2) 在系统中，每个类具有一定的职责，职责指的是类所担任
阅读全文
摘要：重构与模式：改善代码三部曲中的第三部 重构与模式：改善代码三部曲中的第三部 一、改善代码的三部曲 《设计模式》-> 《重构》-> 《重构与模式》。也就是设计->重构->重构出新设计。 《设计模式》主要详细说明20几种模式，为我们带来了常见设计问题的经典解决方案，从而改变了整个面向对象开发的面貌。为设
阅读全文
摘要：《设计模式》（GOF）：不推荐初学者看。这四人都是Phd级别，就是他们最先提出了设计模式，理论水平高，虽然薄薄一本，但是文字相对晦涩，也缺乏容易理解的例子。等你到一定程度了，有兴趣的话可以看一下。《Head First设计模式》：好书，里面的例子生活化，而且非常贴切，读起来比较有乐趣，一步一步推进，
阅读全文
摘要：Java开发中的23种设计模式详解(转) 设计模式（Design Patterns） ——可复用面向对象软件的基础 设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无
阅读全文
摘要：http://www.runoob.com/design-pattern/factory-pattern.html
阅读全文
摘要：目录 创建型 1. Factory Method（工厂方法） 2. Abstract Factory（抽象工厂） 3. Builder（建造者） 4. Prototype（原型） 5. Singleton（单例） 结构型 6. Adapter Class/Object（适配器） 7. Bridge（
阅读全文
摘要：设计模式 ( 二十 ) 访问者模式Visitor（对象行为型） 1.概述 在软件开发过程中，对于系统中的某些对象，它们存储在同一个集合collection中，且具有不同的类型，而且对于该集合中的对象，可以接受一类称为访问者的对象来访问，而且不同的访问者其访问方式有所不同。 例子1：顾客在超市中将选择
阅读全文
摘要：设计模式 ( 十九 ) 模板方法模式Template method（类行为型） 1.概述 在面向对象开发过程中，通常我们会遇到这样的一个问题：我们知道一个算法所需的关键步骤，并确定了这些步骤的执行顺序。但是某些步骤的具体实现是未知的，或者说某些步骤的实现与具体的环境相关。例子1：银行业务办理流程在银
阅读全文
摘要：设计模式 ( 十七) 状态模式State（对象行为型） 1.概述 在软件开发过程中，应用程序可能会根据不同的情况作出不同的处理。最直接的解决方案是将这些所有可能发生的情况全都考虑到。然后使用if... ellse语句来做状态判断来进行不同情况的处理。但是对复杂状态的判断就显得“力不从心了”。随着增加
阅读全文
摘要：设计模式 ( 十八 ) 策略模式Strategy（对象行为型） 1.概述 在软件开发中也常常遇到类似的情况，实现某一个功能有多种算法或者策略，我们可以根据环境或者条件的不同选择不同的算法或者策略来完成该功能。如查找、排序等，一种常用的方法是硬编码(Hard Coding)在一个类中，如需要提供多种查
阅读全文
摘要：设计模式 ( 十六 ) 观察者模式Observer（对象行为型） 1.概述 一些面向对象的编程方式，提供了一种构建对象间复杂网络互连的能力。当对象们连接在一起时，它们就可以相互提供服务和信息。 通常来说，当某个对象的状态发生改变时，你仍然需要对象之间能互相通信。但是出于各种原因，你也许并不愿意因为代
阅读全文
摘要：设计模式 ( 十三 ) 命令模式Command（对象行为型） 设计模式 ( 十三 ) 命令模式Command（对象行为型） 1.概述 在软件设计中，我们经常需要向某些对象发送请求，但是并不知道请求的接收者是谁，也不知道被请求的操作是哪个，我们只需在程序运行时指定具体的请求接收者即可，此时，可以使用命
阅读全文
摘要：设计模式 ( 十四 ) 迭代器模式Iterator（对象行为型） 1.概述 类中的面向对象编程封装应用逻辑。类，就是实例化的对象，每个单独的对象都有一个特定的身份和状态。单独的对象是一种组织代码的有用方法，但通常你会处理一组对象或者集合。 集合不一定是均一的。图形用户界面框架中的 Window 对象
阅读全文
摘要：设计模式 ( 十五 ) 中介者模式Mediator（对象行为型） 设计模式 ( 十五 ) 中介者模式Mediator（对象行为型） 1.概述 在面向对象的软件设计与开发过程中，根据“单一职责原则”，我们应该尽量将对象细化，使其只负责或呈现单一的职责，即将行为分布到各个对象中。 对于一个模块或者系统，
阅读全文
摘要：设计模式(十二)职责链模式(Chain of Responsibility)（对象行为型） 1.概述 你去政府部门求人办事过吗？有时候你会遇到过官员踢球推责，你的问题在我这里能解决就解决，不能解决就推卸给另外个一个部门（对象）。至于到底谁来解决这个问题呢？政府部门就是为了可以避免屁民的请求与官员之间
阅读全文
摘要：设计模式（九）外观模式Facade（结构型） 1. 概述 外观模式，我们通过外观的包装，使应用程序只能看到外观对象，而不会看到具体的细节对象，这样无疑会降低应用程序的复杂度，并且提高了程序的可维护性。例子1：一个电源总开关可以控制四盏灯、一个风扇、一台空调和一台电视机的启动和关闭。该电源总开关可以同
阅读全文
摘要：设计模式（十）享元模式Flyweight（结构型） 说明： 相对于其它模式，Flyweight模式在PHP实现似乎没有太大的意义，因为PHP的生命周期就在一个请求，请求执行完了，php占用的资源都被释放。我们只是为了学习而简单做了介绍。 1. 概述 面向对象技术可以很好地解决系统一些灵活性或可扩展性
阅读全文
摘要：设计模式（七）组合模式Composite（结构型） 设计模式（七）组合模式Composite（结构型） 1. 概述 在数据结构里面，树结构是很重要，我们可以把树的结构应用到设计模式里面。 例子1：就是多级树形菜单。 例子2：文件和文件夹目录 2.问题 我们可以使用简单的对象组合成复杂的对象，而这个复
阅读全文
摘要：设计模式（八）装饰器模式Decorator（结构型） 设计模式（八）装饰器模式Decorator（结构型） 1. 概述 若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许
阅读全文
摘要：设计模式（六）桥连模式Bridge（结构型） 1. 概述 在软件系统中，某些类型由于自身的逻辑，它具有两个或多个维度的变化，那么如何应对这种“多维度的变化”？如何利用面向对象的技术来使得该类型能够轻松的沿着多个方向进行变化，而又不引入额外的复杂度？ 例子1：设想如果要绘制矩形、圆形、椭圆、正方形，我
阅读全文
摘要：设计模式（四）原型模式Prototype（创建型） 1. 概述 我们都知道，创建型模式一般是用来创建一个新的对象，然后我们使用这个对象完成一些对象的操作，我们通过原型模式可以快速的创建一个对象而不需要提供专门的new()操作就可以快速完成对象的创建，这无疑是一种非常有效的方式，快速的创建一个新的对象
阅读全文
摘要：设计模式（五）适配器模式Adapter（结构型） 1. 概述： 接口的改变，是一个需要程序员们必须（虽然很不情愿）接受和处理的普遍问题。程序提供者们修改他们的代码;系统库被修正;各种程序语言以及相关库的发展和进化。 例子1：iphone4，你即可以使用UBS接口连接电脑来充电，假如只有iphone没
阅读全文
摘要：SINGLETON（单件）—对象创建型模式 几乎所有面向对象的程序中，总有一些类的对象需要是唯一的，例如，通过数据库句柄到数据库的连接是独占的。您希望在应用程序中共享数据库句柄，因为在保持连接打开或关闭时，它是一种开销。再如大家最经常用的IM,如QQ，在同一台电脑，一个帐号只能有唯一的登录。 1.
阅读全文
摘要：1. 概述 在软件开发的过程中，当遇到一个“复杂的对象”的创建工作，该对象由一定各个部分的子对象用一定的算法构成，由于需求的变化，复杂对象的各个部分经常面临剧烈的变化，但将它们组合在一起的算法相对稳定。 例子1：买肯德基 典型的儿童餐包括一个主食，一个辅食，一杯饮料和一个玩具（例如汉堡、炸鸡、可乐和
阅读全文
摘要：设计模式一到二十都是Gof《设计模式》内容的总结，并使用php说明实现，Gof《设计模式》提到的代码都是c++。举例也不是特别典型。 目前我在开发项目的框架里面，使用的模式有给外观模式，代理模式，适配器等模式，这些不是为了模式而去模式，用这些模式去组织代码后，对维护和阅读代码的人都有很大的好处。 我
阅读全文
摘要：在面向对象编程中, 最通常的方法是一个new操作符产生一个对象实例,new操作符就是用来构造对象实例的。但是在一些情况下, new操作符直接生成对象会带来一些问题。举例来说, 许多类型对象的创造需要一系列的步骤: 你可能需要计算或取得对象的初始设置; 选择生成哪个子对象实例; 或在生成你需要的对象之
阅读全文
摘要：1.1.1 摘要 在我们日常的工作中经常需要在应用程序中保持一个唯一的实例，如：IO处理，数据库操作等，由于这些对象都要占用重要的系统资源，所以我们必须限制这些实例的创建或始终使用一个公用的实例，这就是我们今天要介绍的——单例模式（Singleton）。 使用频率 高 单件模式（Singleton）
阅读全文
摘要：陈皓 单实例Singleton设计模式可能是被讨论和使用的最广泛的一个设计模式了，这可能也是面试中问得最多的一个设计模式了。这个设计模式主要目的是想在整个系统中只能出现一个类的实例。这样做当然是有必然的，比如你的软件的全局配置信息，或者是一个Factory，或是一个主控类，等等。你希望这个类在整个系
阅读全文
摘要：singleton单例模式 保证一个类仅有一个实例，并提供一个访问它的全局访问点。 解析： Singleton模式其实是对全局静态变量的一个取代策略，singleton模式的两个作用在C++中是通过如下的机制实现的： 1）仅有一个实例，提供一个类的静态成员变量，大家知道类的静态成员变量对应类的所有对
阅读全文
摘要：引子 “请写一个Singleton。”面试官微笑着和我说。 “这可真简单。”我心里想着，并在白板上写下了下面的Singleton实现： 1 class Singleton 2 { 3 public: 4 static Singleton& Instance() 5 { 6 static Single
阅读全文
摘要：Key-value存储简介 Key-value存储简介 具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这
阅读全文
摘要：在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。 在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数
阅读全文
摘要：搭建VPN 国外主机的最常见用处就是VPN了，当然这也是拜伟大的G**所赐。今天来讲一下搭建VPN的过程 CentOS 5.4 64位机器 搭建VPN 国外主机的最常见用处就是VPN了，当然这也是拜伟大的G**所赐。今天来讲一下搭建VPN的过程 CentOS 5.4 64位机器 yum instal
阅读全文
摘要：python 多线程两种实现方式 原创 Linux操作系统 作者：杨奇龙 时间：2014-06-08 20:24:26 44021 0 目前python 提供了几种多线程实现方式 thread，threading，multithreading ,其中thread模块比较底层，而threading模块
阅读全文
摘要：pycURL的内存问题 pycURL的内存问题 最近用pycURL写了一个工具，注册账号用的。写是写好了，但是发现内存占用超大。40个线程运行一天跑到了3.7G的内存。 于是着手调查这个问题。 调查方法就是用python的gc啦。 关于python gc的特性神马的我就不赘述了，google都能搜到
阅读全文
摘要：开了自己域名的博客，第一篇就得来个重磅一点的才对得起这4美金的域名。作为一个技术从业者十年，逛了十年发现有些知识东一榔头西一棒槌的得满世界看个遍才整理出个头绪，那咱就系统点的从头一步一步的说，一个从日几千访问的小小网站，到日访问一两百万的小网站，怎么才能让它平滑的度过这个阶段，别在技术上出现先天不足
阅读全文
摘要：今天下载了《MongoDB The Definitive Guide》电子版，浏览了里面的内容，还是挺丰富的。是官网文档实际应用方面的一个补充。和官方文档类似，介绍MongoDB的内部原理是少之又少，只有在附录的一个章节中介绍了相关内容。 对于大多数的MongoDB的用户来说，MongoDB就像是一
阅读全文
摘要：Python调用C库 Python可以利用ctypes库很方便地调用C的库函数。 C库例程： Python调用C库 Python可以利用ctypes库很方便地调用C的库函数。 C库例程： # file: a.c int sum(int a, int b){ int t = 0; int i = 0;
阅读全文
摘要：浅尝key-value数据库（二）——MongoDB的优与劣 浅尝key-value数据库（二）——MongoDB的优与劣 MongoDB的名字取自英文单词"humongous"的中间五个字母，是一个C++开发的基于分布式文件存储的数据库开源项目。他的文件存储格式是BSON(Binary JSON)
阅读全文
摘要：浅尝key-value数据库（三）——MongoDB的分布式 浅尝key-value数据库（三）——MongoDB的分布式 测试了单机MongoDB的随机读和写入性能，这一节来讲一讲MongoDB的分布式。 MongoDB的分布式分成两种，一种是Replication，一种是Sharding。我们主
阅读全文
摘要：浅尝key-value数据库（一）——一览NoSQL 浅尝key-value数据库（一）——一览NoSQL 最近由于一个项目的关系，研究了一下key-value数据库这个最近很火的概念。本系列从项目需求的角度分析并测试了几个key-value数据库的性能。 key-value数据库，又称作NoSQL
阅读全文
摘要：devise、cancan和rolify这三个组件结合，可以建立完整而强大的用户权限模型。 devise介绍，负责用户注册、登录、退出、找回密码等操作。细节参考devise on github cancan介绍， 负责角色建立、对角色授权、在页面中根据授权是否显示元素，以及模型中超出授权时抛出异常。
阅读全文
摘要：Java三大主流开源工作流引擎技术分析 Java三大主流开源工作流引擎技术分析 Java三大主流开源工作流引擎技术分析 首先，这个评论是我从网上，书中，搜索和整理出来的，也许有技术点上的错误点，也许理解没那么深入。但是我是秉着学习的态度加以评论，学习，希望对大家有用，进入正题！ 三大主流工作流引擎：
阅读全文
摘要：脱机手写汉字识别若干关键技术研究 脱机手写汉字识别若干关键技术研究 脱机手写汉字识别若干关键技术研究 对于大字符集识别问题，一般采用模板匹配的算法，主要是因为该算法比较简单，识别速度快。但直接的模板匹配算法往往无法满足实际应用中对识别精度的需求。为此任俊玲编著的《脱机手写汉字识别若干关键技术研究》在
阅读全文
摘要：windows下Eclipse安装Perl插件教程 windows下Eclipse安装Perl插件教程 想用eclipse编写perl。网上看了很多资料。但EPIC插件的下载连接都失效了。无奈，只好自己动手写个教程记录一下。 准备工作： 安装好Eclipse，Java，Perl(我用的是Active
阅读全文
摘要：Java 的序列化 (Serialization) 教程 英文原文：Serialization in java 标签： Java 33人收藏此文章, 我要收藏oschina 推荐于 3年前 (共 12 段, 翻译完成于 03-13) (6评) 参与翻译(3人)： enixyu, super0555,
阅读全文
摘要：1、RAID 0 RAID 0是最早出现的RAID模式，即Data Stripping数据分条技术。RAID 0是组建磁盘阵列中最简单的一种形式，只需要2块以上的硬盘即可，成本低，可以提高整个磁盘的性能和吞吐量。RAID 0没有提供冗余或错误修复能力，但实现成本是最低的。 RAID 0示意图 RAI
阅读全文
摘要：基于Server-Sent Event的简单聊天室 Web 2.0时代，即时通信已经成为必不可少的网站功能，那实现Web即时通信的机制有哪些呢？在这门项目课中我们将一一介绍。最后我们将会实现一个基于Server-Sent Event和Flask简单的在线聊天室。 基于Server-Sent Even
阅读全文
摘要：实验1-认识wxpython 一、实验说明 1. 环境登录 无需密码自动登录，系统用户名shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序： 3. 环境使用 使用GVim编辑器输入实验所需的代码及文件，使用LX终端（LXTerminal）
阅读全文
摘要：简单的http代理服务器 本项目课程是基于 Python 实现的一个简单的 HTTP 代理服务器，要求用户需了解 Python 基础和一定的 HTTP 服务器基础知识。 简单的http代理服务器 本项目课程是基于 Python 实现的一个简单的 HTTP 代理服务器，要求用户需了解 Python 基
阅读全文
摘要：仿OpenStack开发云计算管理软件 仿OpenStack开发云计算管理软件 使用Python语言开发一套类似OpenStack的云计算管理平台LouCloud，具备基本的用户，服务器，镜像与 虚拟机管理功能，学习IaaS，虚拟化，Libvirt API，Flask Web开发等知识。课程随到随学
阅读全文
摘要：仿StackOverflow开发在线问答系统 【第二期11月9日开课】使用Python Flask Web开发框架实现一套类似StackOverflow的在线问答平台LouQA，具备提问，回答，评论点赞等功能。学习数据库设计，Python Web开发及bootstrap相关知识。第二期开放报名中，名
阅读全文
摘要：第1节 pandas 回顾 第2节 读写文本格式的数据 第3节 使用 HTML 和 Web API 第4节 使用数据库 第5节 合并数据集 第6节 重塑和轴向旋转 第7节 数据转换 第8节 字符串操作 第9节 绘图和可视化 pandas 回顾 一、实验简介 学习数据分析的课程，需要同学们掌握好 Py
阅读全文
摘要：Python 数据分析（二） Python 数据分析（二） 本实验将学习利用 Python 数据聚合与分组运算，时间序列，金融与经济数据应用等相关知识 本实验将学习利用 Python 数据聚合与分组运算，时间序列，金融与经济数据应用等相关知识 本实验将学习利用 Python 数据聚合与分组运算，时间
阅读全文
摘要：Python 文本解析器 一、课程介绍 本课程讲解一个使用 Python 来解析纯文本生成一个 HTML 页面的小程序。 二、相关技术 Python：一种面向对象、解释型计算机程序设计语言，用它可以做 Web 开发、图形处理、文本处理和数学处理等等。 HTML：超文本标记语言，主要用来实现网页。 三
阅读全文
摘要：生僻字大全！ 文/网络 编辑制作/荷花小女子 厶部： gōng miǎn qiú qù kewumu lěi dū zhuān sān cān sān cān ài dài qí 厷 厸 厹 厺 厼 厽 厾 叀 叁 参 叄 叅 叆 叇 亝 又部： shōu guái bá ruò lì zhuó j
阅读全文
摘要：部首拼音 犇 品 bēn 猋 品 biāo 骉 品 biāo 麤 品 cū 毳 品 cuì 淼 品 miǎo 掱 品 pá 焱 品 yàn 垚 品 yáo 赑 品 bì 煊 火 xuān 烜 火 huǐ 烜 火 xuǎn 煐 火 yīng 焓 火 hán 烓 火 wēi 焺 火 shéng 炜 火
阅读全文
摘要：目标：动态网页爬取 说明：这里的动态网页指几种可能：1）需要用户交互，如常见的登录操作；2）网页通过JS / AJAX动态生成，如一个html里有<div id="test"></div>，通过JS生成<div id="test"><span>aaa</span></div>。 这里用了WebCol
阅读全文
摘要：1.Integer转换成int的方法 Integer i = new Integer(10); int k = i.intValue(); 即Integer.intValue(); 2.int转换成Integer int i = 10; Integer it = new Integer(i); 3.
阅读全文
摘要：java 泛型详解（普通泛型、 通配符、 泛型接口） java 泛型详解（普通泛型、 通配符、 泛型接口） java 泛型详解（普通泛型、 通配符、 泛型接口） java 泛型详解（普通泛型、 通配符、 泛型接口） JDK1.5 令我们期待很久,可是当他发布的时候却更换版本号为5.0。这说明Java
阅读全文
摘要：1. 概述 1. 概述 在引入范型之前，Java类型分为原始类型、复杂类型，其中复杂类型分为数组和类。引入范型后，一个复杂类型 就可以在细分成更多的类型。 例如原先的类型List，现在在细分成List<Object>, List<String>等更多的类型。 注意，现在List<Object>, L
阅读全文
摘要：public class StudentDao { public Student getStudent(){ Student stu = new Student(); stu.setName("aaa"); stu.setPassword("123"); return stu; } public s
阅读全文
摘要：Java返回类型泛型的用法小结 Java返回类型泛型的用法小结 版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 关于Java泛型的基本用法就不多说了，主要是一个编译期的检查，也避免了我们代码中的强制转换，比较经典的用法有泛型DAO,泛型Pa
阅读全文
摘要：java 一个函数如何返回多个值 在开发过程中，经常会有这种情况，就是一个函数需要返回多个值，这是一个问题！！ 网上这个问题的解决方法： 1、使用map返回值；这个方法问题是，你并不知道如何返回值的key是什么，只能通过doc或者通过源代码来查看。 2、传入一个引用进去，修改引用的属性值。问题：不实
阅读全文
摘要：Java多线程实现方式主要有三种：继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future实现有返回结果的多线程。其中前两种方式线程执行完后都没有返回值，只有最后一种是带返回值的。 1、继承Thread类实现多线程 继承Thread类的方法尽管
阅读全文
摘要：http://www.oschina.net/code/list_releted_codes?id=22634
阅读全文
摘要：Java中throw和throws的区别 Java中throw和throws的区别 系统自动抛出的异常所有系统定义的编译和运行异常都可以由系统自动抛出，称为标准异常，并且 Java 强烈地要求应用程序进行完整的异常处理，给用户友好的提示，或者修正后使程序继续执行。 语句抛出的异常 用户程序自定义的异
阅读全文
摘要：JAVA中extends 与implements有啥区别？1. 在类的声明中，通过关键字extends来创建一个类的子类。一个类通过关键字implements声明自己使用一个或者多个接口。extends 是继承某个类, 继承之后可以使用父类的方法, 也可以重写父类的方法; implements 是实
阅读全文
摘要：推荐五个最好的MySQL GUI工具 在本文中，我们会介绍一些最常用的MySQL GUI工具并附上下载链接。希望大家能更好的运用这些工具。 AD：网+线下沙龙 | 移动APP模式创新：给你一个做APP的理由>> 推荐五个最好的MySQL GUI工具 在本文中，我们会介绍一些最常用的MySQL GUI
阅读全文
摘要：Java操作操作Word文件，最近花了几天时间解决使用Word模板导出数据的问题，收集到一些资料分享下。 常见的技术如下： 1、POI（兼容doc、docx文件） 官方网站：http://poi.apache.org/ 网上例子很多，由于发布时间较早，很多外国网站的例子，建议Google搜索 书签替
阅读全文
摘要：5 4 Eclipse中10个最有用的快捷键组合 一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码，使得整体的开发效率和质量得到提升。 1. ctrl+shift+r：打开资源 这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你
阅读全文
摘要：我安装后memcached后，并使用 ? 1 sudo service memcached start ? 1 sudo service memcached start ? 1 sudo service memcached start sudo service memcached start
阅读全文
摘要：问题的原因是无法找到org.slf4j.impl.StaticLoggerBinder，我找了一下，确实没有该类，网上搜了一下下面是官方的解答http://www.slf4j.org/codes.html#StaticLoggerBinder： This error is reported when
阅读全文
摘要：http://www.codesec.net/view/166971.html
阅读全文
摘要：exe4j_windows-x64_5_0_1.exe
阅读全文
摘要：参考文献： linux中shell截取字符串方法总结 [Linux]如何在Shell脚本中计算字符串长度？ 截取字符串的方法一共有八种，主要为以下方法 shell中截取字符串的方法有很多中， ${expression}一共有9种使用方法。 ${parameter:-word} ${parameter
阅读全文
摘要：<!DOCTYPE html><html><body> <?phpecho "我的第一段 PHP 脚本！";?> </body></html>
阅读全文
摘要：1.DNS记录（A,NS,TXT,MX 和SOA） 2.网站服务器的类型（Apache,IIS,Tomcat） 3.域名的注册信息（哪个公司拥有这个域名） 4.你的名字，地址，EMAIL和电话 5.你的网站上所运行的脚本类型（PHP,ASP,ASP.NET,JSP,CFM） 6.服务器的操作系统类型
阅读全文
摘要：Linux中TCP wrapper的使用 tcpwrapper的目的是对那些访问控制功能较弱的服务提供访问控制功能要想了解访问控制就必须先知道服务监听的概念： 服务监听的两种方式： listen : socket 监听在套接字上提供服务 循环 不停歇的查看某个端口来提供服务 有两种方式来判断一个服务
阅读全文
摘要：本文就是想对装上了防火墙的主机，进行入侵攻击的大概思路小结一下。 首先当然是用扫描器对这台服务器（以下简称主机A）进行常规的扫描，得到初步的信息。再用nmap -sS IP -P0 -p 139 ，透过防火墙查看是否开有139端口。从上面得到的信息我们可以简单的判断到：主机A的系统是什么，装有防火墙
阅读全文
摘要：只开80端口主机的入侵思路 主机配置:win2kserver(sp3)+sygate personal firewall pro 安全设置：不说啦太**了竟然只允许80进 扫描：先用x-scan2.3扫端口晕只开80，然后又扫了一遍 唉还是一样的结果，看来管理员也不算笨啊! 检查系统洞洞:先ping
阅读全文
摘要：一.TcpWrapper的定义 任何以xinetd管理的服务都可以通过TcpWrapper来设置防火墙。简单地说，就是针对源IP或域进行允许或拒绝的设置，以决定该连接是否能够成功实现连接。 通过名称我们可以知道，这个软件本身的功能就是分析TCP网络数据数据包，而TCP数据包的文件头主要记录了来源与目
阅读全文
摘要：通过cmd命令到ftp上下载文件 通过cmd命令到ftp上下载文件 点击"开始"菜单.然后输入"cmd"点"enter"键,出现cmd命令执行框 点击"开始"菜单.然后输入"cmd"点"enter"键,出现cmd命令执行框 2 输入"ftp"切换到到ftp下面.然后输入"open 服务器地址".点击
阅读全文
摘要：TCP端口 7 = 回显 9 = 丢弃 11 = 在线用户 13 = 时间服务 15 = 网络状态 17 = 每日引用 18 = 消息发送 19 = 字符发生器 20 = ftp数据 21 = 文件传输 22 = SSH端口 23 = 远程终端 25 = 发送邮件 31 = Masters Para
阅读全文
摘要：摘要：函数式编程这个不温不火的语言由来已久。有人说，这一年它会很火，尽管它很难，这也正是你需要学习的理由。那么，为什么函数式编程在Java中很危险呢？也许这个疑问普遍存在于很多程序员的脑中，作者Elliotte对此发表了一些见解，我们一起来看看他是怎么说的。 在我的日常工作中，我身边的开发者大多是毕
阅读全文
摘要：在 Linux、Mac OS X和 Windows下都可以用，但在 Linux 下无法启动时怎么办？ 笔者回家工作时，都会用 Teamviewer 连线到其他 Linux 桌面，但某天起 Teamviewer 却表示连线目的的远端主机没有上线。到该被连线的主机下终于发现问题所在，原来 Teamvie
阅读全文
摘要：xpath中tidyText()获取标签下所有文本, text()本级文本, allText()各级所有文本.
阅读全文
摘要：科学解释为因为你身体进入的深度睡眠，导致身体生理出现接近死亡的现象，也就是心跳都快停了，但是你大脑知道你不是死人，是活的，所以神经传导一下让你抖动清醒，以防止你睡死过去。和电击唤醒心跳差不多意思。往往发生在身体比较劳累入睡的情况下居多。自觉夜间憋醒，夜间阵发性呼吸困难，这是由于晚上睡觉，迷走神经兴奋
阅读全文
摘要：这个列表包含数据分析经常使用的Python库，供大家使用。1. 网络通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库（基于pycurl）。pycurl – 网络库（绑定libcurl）。urllib3 – Python HTTP库，安全连接池、支持文件po
阅读全文
摘要：摘要 webmagic 学习 从头 刚刚开始学，很多东西可能理解错了，还请各位指教 一些基本类： Request：包含要爬行的url和一些附加信息,是Page的一个成员变量 主要成员变量 String url Map<String, Object> extras 存储附加信息 long priori
阅读全文
摘要：Note to the Reader - Docs Being Revised for Selenium 2.0! Introduction Test Automation for Web Applications To Automate or Not to Automate? Introducin
阅读全文
摘要：系统出现启动异常，某个软件卡住了不能启动(按Fx键可以查看是哪个软件卡住了)，需要进入单用户模式或修复模式对系统进行管理。 使用单用户模式有一个前提，只要系统引导器（grub）能正常工作，否则要进行系统维护就要使用修复模式。进入单用户模式，没有开启网络服务，不支持远程连接 1.Linux开机引导的时
阅读全文
摘要：使用Squid做代理服务器 使用Squid做代理服务器 说到代理服务器，我们最先想到的可能是一些专门的代理服务器网站，某些情况下，通过它们能加快访问互联网的速度。其实，在需要访问外部的局域网中，我们自己就能设置代理，把访问次数较多的网页保存在缓存中，从而“提高”网络速度。更重要的是，我们能通过代理服
阅读全文
摘要：URL，URLConnection，HttPURLConnection的使用 URL，URLConnection，HttPURLConnection的使用 URLConnection与HttPURLConnection都是抽象类，无法直接实例化对象。其对象主要通过URL的openconnection
阅读全文
摘要：Cloud Edge：2013年国际“云先锋”系列报道 序号公司名称成立时间CEO/CTO风险投资公司产品/方向 1. HStreaming 2011年 Jana Uhlig $ 1M （B） 实时Hadoop系统 2. CitusData 2012年 Matt Ocko CitusDB 3. Ba
阅读全文
摘要：HttpURLConnection中使用代理（Proxy）及其验证（Authentication） HttpURLConnection中使用代理（Proxy）及其验证（Authentication） 使用Java的HttpURLConnection类可以实现HttpClient的功能，而不需要依赖任
阅读全文
摘要：Java获取随机数的几种方法 1.使用org.apache.commons.lang.RandomStringUtils.randomAlphanumeric(10)取数字字母随机10位; //取得一个3位随机数字字符串 String num = RandomStringUtils.random(3
阅读全文
摘要：代码如下： [java] view plain copy print? package com.zuidaima.core.util; import java.util.Random; public class RandomUtil { public static final String ALLC
阅读全文
摘要：httpClient中的三种超时设置小结 本文章给大家介绍一下关于Java中httpClient中的三种超时设置小结，希望此教程能给各位朋友带来帮助。 ConnectTimeoutException： 当连接HTTP服务 本文章给大家介绍一下关于Java中httpClient中的三种超时设置小结，希
阅读全文
摘要：我个人认为一个优秀的软件工程师必须掌握一定的测试技能。可能有的开发工程师认为测试是测试工程师的事情，不是开发工程师的事情。这种开发工程师是缺一条腿的，离开了测试工程师，你如何证明你的程序没有问题。 下面是我这两天搜集的性能测试工具，如果大家知道别的工具，可以在回复中分享出来。 Web Bench W
阅读全文
摘要：峰瑞资本创始人李丰,投资方向是TMT,医疗,硬件,科技制造 威腾网平台上哪种智通设备最多:可穿戴设备, 机智云:pass,saas服务 72变智能生活平台,真实生活场景,人群,需求定位智能硬件产品, 洛可可主要提供硬件服务,获得IF,reddot,IDEA,红星四项大奖, 西泽天使靠哪个机构的资源优
阅读全文
摘要：课程一、基于Linux操作系统平台下的Java语言开发（20课时）课程简介本套课程主要介绍了Linux系统下的Java环境搭建及最基础的Java语法知识。学习Linux操作系统下Java语言开发的好处 好处一：不再束缚在Windows操作系统下，开阔眼界。好处二：熟练Linux操作系统的指令，走出“
阅读全文
摘要：个人简历 金石先生是马克思主义中国化的研究学者，上海财经大学经济学和管理学硕士，中国民主建国会成员，中国特色社会主义人文科技管理哲学的理论奠基人之一。金石先生博学多才，对问题有独到见解、专于工作且乐于助人，在知识结构上已经实现了哲学、国学、MBA、IT知识的纵向贯穿，是难得的产、学、研、用一体化人才
阅读全文
摘要：1、Storm全面、系统、深入讲解，采用最新的稳定版本Storm 0.9.0.1 ； 2、注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解， 让学员觉得简单易懂； 3、分享积累的经验和技巧，从架构的
阅读全文
摘要：ZooKeeper是Hadoop的开源子项目（Google Chubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。 Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性，并且解决了M
阅读全文
摘要：随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha
阅读全文
摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、 课程的背景 OpenStack是 一个由Rackspace发起、全球开发者共同参与的开源项目，旨在打造易于部署、功能丰富且易于扩展的云计算平台。OpenStack企图成为数据中心 的操作系统，即云操作系统。从项目发起之初，OpenStack就几乎赢
阅读全文
摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景 作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。 Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重
阅读全文
摘要：一、本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 “大数据” 其实离我们的生活并不遥远，大到微博的海量用户信息，小到一个小区超市的月销售清单
阅读全文
摘要：课程大纲及内容简介: 每节课约35分钟，共不下40讲 第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 ·
阅读全文
摘要：ETL是什么？为什么要使用ETL？KETTLE是什么？为什么要学KETTLE？ ETL是数据的抽取清洗转换加载的过程，是数据进入数据仓库进行大数据分析的载入过程，目前流行的数据进入仓库的过程有两种形式，一种是进入数据库后再进行清洗和转换，另外一条路线是首先进行清洗转换再进入数据库，我们的ETL属于后
阅读全文
摘要：课程简介: 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。 通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。 亮点一：真实环境还原，课程采用了VM环境
阅读全文
摘要：Hadoop是2013年最热门的技术之一，通过北风网robby老师<深入浅出Hadoop实战开发>、<Hadoop应用开发实战>两套课程的学习，普通Java开发人员可以在最快的时间内提升工资超过15000.成为一位完全精通Hadoop应用开发的高端人才。 Hadoop是什么，为什么要学习Hadoop
阅读全文
摘要：Hadoop是什么，为什么要学习Hadoop? Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System
阅读全文
摘要：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B
阅读全文
摘要：这门课程是针对大数据工程师和云计算工程师的基础课程，同时也是所有计算机专业人士必须掌握的一门课程。 如果不掌握数据结构和算法，你将难以掌握高效、专业的数据处理手段，更难以从容应对复杂的大数据处理场景。 请思考以下问题： 1、社交网站（如微博、facebook）中，人与人的关系是海量数据，你如何研究和
阅读全文
摘要：1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0
阅读全文
摘要：SPSS Modeler是业界极为著名的数据挖掘软件，其前身为SPSS Clementine。SPSS Modeler内置丰富的数据挖掘模型，以其强大的挖掘功能和友好的操作习惯，深受用户的喜爱和好评，成为众多知名企业在数据挖掘项目上的软件产品选择。 本课程以SPSS Modeler为应用软件，以数据
阅读全文
摘要：本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、
阅读全文
摘要：2013年，云计算领域从此多了一个名词“Docker”。以轻量著称，更好的去解决应用打包和部署。之前我们一直在构建Iaas，但通过Iaas去实现统一功 能还是相当复杂得，并且维护复杂。将特殊性封装到镜像中实现几乎一致得部署方法，它就是“Docker”，以容器为技术核心，实现了应用的标准化。企业可 以
阅读全文
摘要：随着大数据在各行业的落地生根和蓬勃发展，能从数据中挖金子的数据分析人员越来越宝贝，于是很多的程序员都想转行到数据分析， 挖掘技术哪家强？当然是R语言了，R语言的火热程度，从TIOBE上编程语言排名情况可见一斑。于是善于学习的程序员们开始了R语言的学习 之旅。对于有其他语言背景的程序员来说，学习R的语
阅读全文
摘要：鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深
阅读全文
摘要：什么是MapReduce？ MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运
阅读全文
摘要：1.1、课程的背景 Storm是什么？ 为什么学习Storm？ Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Sto...
阅读全文
摘要：Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并
阅读全文
摘要：随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha
阅读全文
摘要：Hadoop的前景 随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Andr
阅读全文
摘要：
阅读全文
摘要：Spark内核源码剖析、Hadoop高端
阅读全文
摘要：本项目主要讲解了一套应用于互联网电商企业中，使用Java、Spark等技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、页面跳转行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为
阅读全文
摘要：离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏等领域有非常广泛，因为这些领域对数据和用户的特性把握要求比较高，所以对于离线数据的分析就有比较高的要求了。 讲师本人之前在游戏、旅游等公司专门从事离线数
阅读全文
摘要：Solr是一个高性能，采用Java开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 讲师本人之前在互联网大数据、国家水电数据中心方面的项
阅读全文
摘要：近年来，金融领域的量化分析越来越受到理论界与实务界的重视，量化分析的技术也取得了较大的进展，成为备受关注的一个热点领域。所谓金融量化，就是将金融分析理论与计算机编程技术相结合，更为有效的利用现代计算技术实现准确的金融资产定价以及交易机会的发现。量化分析目前已经涉及到金融领域的方方面面，包括基础和衍生
阅读全文
摘要：注：在上一篇的一般线性回归中，使用的假设函数是一元一次方程，也就是二维平面上的一条直线。但是很多时候可能会遇到直线方程无法很好的拟合数据的情况，这个时候可以尝试使用多项式回归。多项式回归中，加入了特征的更高次方（例如平方项或立方项），也相当于增加了模型的自由度，用来捕获数据中非线性的变化。添加高阶项
阅读全文
摘要：elasticsearch集群的安装搭建、创建索引的流程、集群中查询的流程、 es java客户端jest使用.
阅读全文
摘要：吴超老师 超人学院CEO 多年从事Hadoop大数据开发及教学工作，擅长Hadoop大数据开发、优化、存储等，培养近千名的大数据开发学员，超过1000小时的培训经验，在企业及学员中得到一致的好评，现在致力于培养大数据高端人才，让学员可以高薪就业，让企业找到满意的人才。 徐老师 大数据高级工程师 曾就
阅读全文
摘要：Java IO/NIO JVM原理与配置、调优 Socket 网络套接字技术 Java Collection java Reflection 多线程与并发编程 设计模式 Collection深入 流式计算原理及应用场景 Storm Kafka Redis 实战案例 离线计算原理及应用场景 Hadoo
阅读全文
摘要：“大数据分析高级工程师”培训 随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业
阅读全文
摘要：关于举办大数据处理技术培训的通知 各有关单位： 中国科学院计算技术研究所是国家专门的计算技术研究机构，同时也是中国信息化建设的重要支撑单位，中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量，在总结多年大型软件开发和组织经验的基础上，自主研发出一整套
阅读全文
摘要：成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班，通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师、开发设计人员的工作水平，旨在培养专业的大数据Hadoop与Spark技术架构专家，更好地服务于各个行业
阅读全文
摘要：原文 http://datameng.com/info/2014/03/big-data-xinwen-caibian/ 据统计，到2013年，全世界储存的信息如果记录在光盘上，再把这些光盘叠加起来，高度等于从地球到月球的距离。美国互联网数据中心指出，目前世界 上90%以上的数据是近几年才产生的。互
阅读全文
摘要：随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据 的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台，但目前对大数据的实时分析工具，业界
阅读全文
摘要：EXCEL常用函数序号 分类 函数名称及链接 语法 作用和功能 应用及备注1 日期与时间函数 DATE date(year,month,day) 返回特定的日期序列号2 EDATE edate(start_date,months) 按指定日期上下推月份并回到相应日期3 DATEVALUE datev
阅读全文
摘要：老师简介： Gino老师，即将步入不惑之年，早年获得名校数学与应用数学专业学士和统计学专业硕士，有海外学习和工作的经历，近二十年来一直进行着数据分析的理论和实践，数学、统计和计算机功底强悍。 曾在某一世界500强公司核心部门担任高级主管负责数据建模和分析工作，在实践中攻克统计建模和数据分析难题无数，
阅读全文
摘要：Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大,
阅读全文
摘要：代理的用途 其实，除了抓取国外网页需要用到IP代理外，还有很多场景会用到代理： 通过代理访问一些国外网站，绕过被某国防火墙过滤掉的网站 使用教育网的代理服务器，可以访问到大学或科研院所的内部网站资源 利用设置代理，把请求通过代理服务器下载缓存后，再传回本地，提高访问速度 黑客发动攻击时，可以通过使用
阅读全文
摘要：echo -n xxxxx |wc -c echo xxxx|awk '{print length($0)}' echo “$str”|awk '{print length($0)}' awk '{$a=length($0);print $a;}' filename ${#string} $stri
阅读全文
摘要：基于webmagic的爬虫项目经验小结 大概在1个月前，利用webmagic做了一个爬虫项目，下面是该项目的一些个人心得，贴在这里备份： 一、为什么选择webmagic? 说实话，开源的爬虫框架已经很多了，有各种语言（比如：python、java）实现的，有单机的，还有大型分布式的，多达上百种，详情
阅读全文
浙公网安备 33010602011771号