飞鸟各投林

摘要： （1）：先将上述代码保存为kNN.py （2）：再在IDLE下的run菜单下run一下，将其生成python模块 （3）：import kNN（因为上一步已经生成knn模块） （4）：kNN.classify0([0,0],group,labels,3) （讨论[0,0]点属于哪一个类） 注：其中【 阅读全文

摘要： 本来预计的打算是一天一个十大挖掘算法，然而由于同时要兼顾数据结构面试的事情，所以 很难办到，但至少在回家前要把数据挖掘十大算法看完，过个好年，在course上学习老吴的课程还是帮了我很大的忙，虽然浪费了时间，但是也无形中帮助我 很多，所以说还是很值得的，今天就总结KNN算法的一部分，这部分老吴的课程 阅读全文

摘要： 刚刚安装完numpy，看完书又涉及到matplotlib，哎，安装它浪费了我很多时间，但收获很多呀 下面介绍一下具体的安装过程： （1）http://matplotlib.org/downloads.html 可以选择pypi或者sourceforge选择下载 我选择 sourceforge，点击后 阅读全文

摘要： 因为最近在搞机器学习，涉及到python，因为我的python版本还是windoes下的2.7版本，在学习K临近算法的时候，需要安装numpy函数，下面就把自己的安装方法写下来 1：登录网址 http://sourceforge.net/projects/numpy/files/NumPy/ 2：下 阅读全文

摘要： MYSQL学习总结： 数据库DB 数据库管理系统：DBMS 数据库系统：DBS 关系数据库：Oracle、 DB2、 SQL Server、MySQL、 安装文件夹：C:\Program Files\MySQL C:\Program Files\MySQL\MySQL Server 5.7\bin 阅读全文

摘要： 免费的虚拟机软件：vmware server Ubuntu下切换到root用户： 1，su 2, sudo -s 3, sudo+命令 Ubuntu下切换到一般用户： su chennan 软件包的安装： sudo apt-get update sudo apt-get install Ubuntu 阅读全文

摘要： 如何查看hadoop源码 1解压hadoop安装压缩文件成为文件夹，再进入解压后的文件夹下的src文件夹，选中core，hdfs,mapred三个文件夹 2打开eclipse新建一个Java工程项目 3将步骤1中的三个文件夹复制到新建的工程的src目录下 此时会出现2个问题：1是因为缺少工程文件的j 阅读全文

摘要： 作为一名程序员，图灵书籍是对我们很重要的，奈何这些书籍不能只是读读就好了，还要动手实践呀，因为有很多是外籍书籍翻译过来的，源代码很难得到，我知道一个方法可以方便得到源代码，就是登录 http://www.ituring.com.cn/book/ 搜索即可 一般人我不告诉他 阅读全文

摘要： Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S 阅读全文

摘要： 一、DataFrame执行后端优化（Tungsten第一阶段） DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成。主要的变化是由Spark自己来管理内存而不是使用JVM，这样可以避免JVM GC带来的性能损失。内存中 阅读全文

摘要： 一：安装Scala 二：安装IDEA开发环境 阅读全文

摘要： 随着android的大热，基于linux的开发也更热了。linux的开发包括driver的开发以及应用程序的开发。 由于我们习惯了windows，在开始使用linux的时候可能感觉很茫然，不知道如何下手。这里就介绍下过来者的一些经验。 1.学会使用linux 要学习linux，首先你得会使用linu 阅读全文

摘要： Vim相当于vi的升级版 Find p*.txt支持查找通配符 Echo 回显命令 echo hello 》1.txt 追加命令，不覆盖 echo hello >1.txt 覆盖命令 帮助命令：ls --help cd --help 阅读全文

摘要： Ubuntu server配置IP地址 第一种方法：常规方法 1、登录Ubuntu Server，然后通过“sudo -s” 切换到root用户。 2、输入“cd /etc/network/”，回车，到network目录。 3、输入“ls”，回车，看看是否存在interfaces文件。 4、输入“v 阅读全文

摘要： 一：修改IP地址:vi /etc/sysconfig/network-scripts/ifcfg-eth0 IPADDR=192.168.80.100 NETMASK=255.255.255.0 GATEWAY=192.168.80.1 ONBOOT=yes IPADDR=192.168.80.10 阅读全文

摘要： 1：查看系统的使用状态： 谁在线：who 网络连接状态：netstat –a 后台执行程序：ps –aux 2：关机 关机：shutdown 或者 shutdown –h now 重启：reboot 3:切换执行等级 init 0 关机 3 命令行 5 图形化 6 重启 注：使用init 0同样可以 阅读全文

摘要： 前言 Mahout是Hadoop家族中与众不同的一个成员，是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。Mahout是一个跨学科产品，同时也是我认为Hadoop家族中，最有竞争力，最难掌握，最值得学习的一个项目之一。 Mahout为数据分析人员，解决了大数据的门槛；为算法工程师，提供基 阅读全文

摘要： 前言 Hive是Hadoop家族中一款数据仓库产品，Hive最大的特点就是提供了类SQL的语法，封装了底层的MapReduce过程，让有SQL基础的业务人员，也可以直接利用Hadoop进行大数据的操作。就是这一个点，解决了原数据分析人员对于大数据分析的瓶颈。 让我们把Hive的环境构建起来，帮助非开 阅读全文

摘要： 前言 使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。 有必要对自己的知识做一个整理了，把产品和技术都串起来 阅读全文

摘要： The HRegionServer opens the region and creates a corresponding HRegion object. When the HRegion is opened it sets up a Store instance for each HColumn 阅读全文

摘要： MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？ Mapper类：包括一个内部类(Context)和四个方法(setup,map,cleanup,run)； setup,cleanup用于管理Mapper生命周期中的资源。setup - 阅读全文

摘要： 一，基本命令： 建表：create 'table','t1','t2' 也可以建表时加coulmn的属性如：create 'table',{NAME => 't1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', 阅读全文

摘要： 说在前面,本文部分内容来源于社区官网经过适度翻译，部分根据经验总结，部分是抄袭网络博文，(不一一列举引用，在此致歉)一并列在一起，本文的目的，希望能总结出一些有用的，应该注意到的东西，基本思路是先提出一个话题，在此话题内，把相关联的东西加进去，而不是单独分出章节单独介绍，虽然条理性欠差， 但有利于后 阅读全文

摘要： Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。 Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。 下面的内容基于我们已经安装好had 阅读全文

摘要： Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 (1) 可靠性 end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如 阅读全文

摘要： 课程内容 本文链接： 张丹博客 http://www.fens.me 用Maven构建Hadoop项目 http://blog.fens.me/hadoop-maven-eclipse/程序源代码下载：https://github.com/bsspirit/maven_hadoop_template 阅读全文

摘要： 今天下午在东一食堂吃饭的时候，偶尔看到央视的新闻报道，引起了自己的反思。关于因为大家的善心之举，所以部分人会选择放生的的方式表达自己的善心，但有时候好心会反而办了坏事，因为放生反而会促尽捕猎的产业链加大捕猎量，使更多的鸟反而被捕猎，这些被捕猎的鸟在放生的时候反而可能会因为之前的群居生活造成一些疾病， 阅读全文

摘要： 数据金字塔与角色 数据分析 使用统计方法，有目的地对收集到的数据进行分析处理，并且解读分析结果 数据挖掘 数据挖掘是以查找隐藏在数据中的信息为目标的技术，是应用算法从大型数据库中提取知识的过程，这些算法确定信息项之间的隐性关联，并且向用户显示这些关联数据挖掘思想来源：假设检验，模式识别，人工智能，机 阅读全文