Kayden_Cheung's Blog

摘要： 传送门 阅读全文

摘要： 算法简介 算法实现 我只是简单处理了一下图像的灰度值，如果要处理RGB值的话，就需要分别进行SVD分解，最后再合起来即可。 import numpy as np from PIL import Image import matplotlib.pyplot as plt def picture_pro 阅读全文

摘要： 前言 之前写过稀疏图的实现方法，这次写用矩阵存储数据的算法实现，只要会矩阵相乘的话，实现这个就很简单了。如果有不懂的可以先看一下下面两篇随笔。 MapReduce实现PageRank算法（稀疏图法） Python+MapReduce实现矩阵相乘 算法实现 我们需要输入两个矩阵A和B，我一开始想的是两 阅读全文

摘要： 算法原理 map阶段 在map阶段，需要做的是进行数据准备。把来自矩阵A的元素aij，标识成p条<key, value>的形式，key="i,k",（其中k=1,2,...,p），value="a:j,aij"；把来自矩阵B的元素bij，标识成m条<key, value>形式，key="k,j"（其 阅读全文

摘要： 前言 本文用Python编写代码，并通过hadoop streaming框架运行。 算法思想 下图是一个网络： 考虑转移矩阵是一个很多的稀疏矩阵，我们可以用稀疏矩阵的形式表示，我们把web图中的每一个网页及其链出的网页作为一行，即用如下方式表示： 1 A B C D 2 B A D 3 C C 4 阅读全文

摘要： 前言 Hadoop 本身是用 Java 开发的，所以之前的MapReduce代码小练都是由Java代码编写，但是通过Hadoop Streaming，我们可以使用任意语言来编写程序，让Hadoop 运行。 本文用Python语言实现了词频统计功能，最后通过Hadoop Streaming使其运行在H 阅读全文

摘要： 基本原理 在互联网上，如果一个网页被很多其他网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。这就是PageRank的核心思想。 引用来自《数学之美》的简单例子： 网页Y的排名应该来自于所有指向这个网页的其他网页的权重之和，在上图中Y的网页排名就是0.001 + 0.01 + 0.02 + 阅读全文

摘要： 前言 学SVM看到对偶问题的时候很难受，因为看不懂，数学知识真的太重要了。后来在B站看到某up主的精彩推导，故总结如下。 SVM基本型 由之前最大化间隔的计算可得SVM的基本型为： $\underset{\mathbf{w},b}{min}\ \ \ \ \frac{1}{2}\left \| \m 阅读全文

摘要： 问题描述 输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下4 X 4矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10。 解题思路 以四个变 阅读全文

摘要： 超平面 超平面是 $n$ 维空间的 $n-1$ 维子空间，类似二维空间的直线，三维空间的平面。 分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。以二维空间为例： 如图所示，若要把图中的红圆和蓝圆分开，有许多直线可以选择，而这些直线的定义就是： $Ax+By+ 阅读全文

摘要： 问题描述 将乱序数字按照升序排序。 思路描述 按照mapreduce的默认排序，依次输出key值。 代码 package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import 阅读全文

摘要： 问题描述 现在有三个文件分别代表学生的各科成绩，编程求各位同学的平均成绩。 编程思想 map函数将姓名作为key，成绩作为value输出，reduce根据key即可将三门成绩相加。 代码 package org.apache.hadoop.examples; import java.io.IOExc 阅读全文

摘要： 基本形式 最小二乘法估计拟合参数 最小二乘法：基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method） 即（左边代表 $\mathbf{\omega }$ 和 b 的解） 为了计算的方便，可以把常数 b 看出一个特殊的值为 1 的 x 。 将 $\mathb 阅读全文

摘要： 在pip安装时，有些库速度及其缓慢从而导致失败，可以通过更改镜像源的方式来安装。 我在安装的时候使用了清华的镜像源，格式如下： 想要安装什么库就在后面替换即可。 阅读全文

摘要： char * strcpy( char *strDest, const char *strSrc ) { assert((strDest != NULL)&&(strSrc != NULL)); char *address = strDest; while( (*strDest++ = * strS 阅读全文

摘要： 编程实现单词去重要用到NullWritable类型。 NullWritable： NullWritable 是一种特殊的Writable 类型，由于它的序列化是零长度的，所以没有字节被写入流或从流中读出，可以用作占位符。比如，在MapReduce 中，在不需要这个位置的时候，键或值能够被声明为Nul 阅读全文

摘要： hadoop包装了java的基本数据类型使他们实现以上的接口而且给予实现细节，这些类都实现了WritableComparable接口，能够在不同的hadoop节点之间毫无障碍的传输了。 阅读全文

摘要： 首先在项目的src文件中需要加入以下文件，log4j的内容为： log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org. 阅读全文

摘要： 传送门：厦门大学博客 阅读全文

摘要： 阅读全文