摘要：老严要爬某网购网站的商品信息，正好我最近在学python，就一起写了一个简单的爬虫程序。需求：某网的商品信息，包括商品名，市场价和售价工具：python2.7.8，urllib2，re#coding = utf-8import urllib2import repath = "aaa.txt"f = ... 阅读全文
摘要：“人生苦短，我用python”这几日折腾搭建了python平台，主要安装了numpy，scipy，matplotlib，scikit-learn这几个包。先来一个小程序练练手。from numpy import *import sklearnimport randomfrom sklearn imp... 阅读全文
摘要：这两天看《统计学习方法》，记录了一些知识点。1.统计学习的方法 从给定的、有限的、用于学习的训练数据集合出发，假设数据时独立同分布产生；并且假设要学习的模型术语某个函数的集合，称为假设空间；应用某个评价准则，从假设空间中选取一个最优的模型，使他对已知训练数据及未知测试数据在给定的评价准则下有最优的... 阅读全文
摘要：第一章 搜索引擎及其技术架构1.搜索引擎的3个目标：更全、更快、更准 在这3个目标中，如何使得搜索结果“更准”是最为关键的目标。无论是排序技术也好，还是连接分析技术也好，抑或是用户研究等技术，最终都是为了使搜索结果更加准确，以此增强用户体验。对于一个搜索引擎来说，达到“更全”与“更快”可以使其不落... 阅读全文
摘要：1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展（logistic回归解决的是二分类问题）。 对于训练集，有。 对于给定的测试输入，我们相拥假设函数针对每一个类别j估算出概率值。也就是说，我们估计得每一种分类结果出现的概率。因此我们的假设函数将... 阅读全文
摘要：当数据量较大或者时间复杂度高的时候，盲目地等待结果，开发效率极低。听说OpenMP可以多核并行运算，加快运行速度。整理了一些OpenMP的资料，以待学习。1.openMP的一点使用经验2.OpenMP入门3.OpenMP数据环境4.第一次试用vc2010的openmp功能， 多线程并行执行for循环... 阅读全文
摘要：有时一个程序需要运行很长一段时间，但是下班或者吃饭的时候离开电脑，电脑因睡眠导致虚机断开连接，导致程序中断。重新开始又是漫长的等待... screen可以保证即使你关闭了虚机窗口，进程也不会被杀死。 screen 可执行程序 :Screen命令创建一个执行程序的窗口会话 screen -l... 阅读全文
摘要：1.编码转换iconv -futf8 -tgbk filename-c 从输出中忽略无效字符-o 输出文件2.wc命令-l filename 查看文件有多少行-w filename 查看文件里有多少word-L filename 常看文件里最长的那一行是多少字利用管道只显示行数不显示文件名： cat... 阅读全文
摘要：1.hadoop相关hadoop 0.18文档（详细介绍Hadoop，MapReduce，FS Shell，Streaming等）hadoop资料汇总2.实习的时候用的是streaming，非java程序员的福音Hadoop Streaming编程实例Hadoop Streaming编程Hadoop... 阅读全文
摘要：C++对文件处理没有shell等脚本语言方便，但也不是无计可施。#include #include #include #include using namespace std;int main(){ ifstream in("a.txt"); ofstream out("b.txt"); if(!i... 阅读全文