摘要: 目录:网络爬虫搜索引擎索引检索模型链接分析算法存储与计算搜索引擎缓存机制 搜索引擎的使用对于我们来说不陌生,对于一个正常的搜索流程,比如用户输入查询“搜索引擎 技术”,搜索引擎需要分别将存储的磁盘上的两个单词的倒排序索引读入内存,之后进行解压缩,然后求两个单词对应倒排序列表的搅基,找到所有包含两个单词的文档集合,根据排序算法来对每个文档的相关性进行打分,按照相关度输入相关最高的搜索结果。 但是对于这系列步骤中海量文档数据的来源,存储,查找的技术又是如何的呢?下面是我最近看了《这就是搜索引擎:核心技术详解》这书的大致总结:一、网络爬虫 首先,搜索引擎的文档数据从何而来? 站长们通用的一... 阅读全文
posted @ 2014-01-17 17:10 清风333 阅读(1880) 评论(0) 推荐(4) 编辑
摘要: 最近在学习c++,不同类型的c++成员变量在初始化的时候也有很有的区别,查了一些资料之后再此记录一下:#includeusing namespace std;//c++ 类成员变量初始化总结class Test{ private: int var1;//普通变量 int &var2;//引用类型 const int var3;//常成员 static int var4;//静态成员 static const int var5;//静态常成员 有资料说可以在申明的时候直接赋值 但是在vc中测试有错误 pub... 阅读全文
posted @ 2013-10-05 09:38 清风333 阅读(2226) 评论(0) 推荐(0) 编辑
摘要: 小小目录: 为什么要写自己的Ajax后台框架 框架的简单设计说明 框架如何使用 框架使用效果图 框架的优缺点 框架源码下载 1、为什么要写自己的Ajax后台框架 现在Ajax在web应用方面已经用的稀巴烂了,如果你做一个网站没有用到ajax都不好意思拿出手,虽然面对ajax的潮流下,在.net开放方向,微软已经做了很多工作了,比如推出了ajax的服务器端控件,但是他不够灵活,用的人多吗?不多! 在.Net环境下与ajax配合的几种情况(主要是针对webform,因为.net mvc你只要写action就可以将方法给发布出来,实现ajax的调用): 1.用aj... 阅读全文
posted @ 2013-05-09 23:01 清风333 阅读(5585) 评论(47) 推荐(19) 编辑
摘要: 最近在设计的日志服务中需要用到Mongodb这个Nosql数据库(不知道Mongodb的点我),由于是用于纯存日志,而且日志量巨大,百万千万级的,所以需要用到它的分页查询。 不过LZ也是刚刚接触这个数据库,不是很了解里面的命令语法,便在网上查了一些资料,结果 结果说mongodb自带的简单很方便的Skip方式的分页效率很低,无奈,无奈得用其他的, 有多篇文章都推荐Where+Limit的方式分页,说他效率比Skip方式高多了,但是好多资料都是讲一些思路,并没有很具体,但是也很有帮助拉,现在简单的来讲一下这个分页思路(Skip的方式那么简单就不讲啦): 假设一张表中(Mo... 阅读全文
posted @ 2013-05-06 11:27 清风333 阅读(4363) 评论(21) 推荐(4) 编辑
摘要: 最近在搞单点登录的设计,在设计中需要一个Token令牌的加密传输,这个令牌在整个连接单点的各个站中起着连接认证作用,如果被仿造将会有不可预计的损失,但是这个Token是要可逆的.然后我就找.net中的各种加密,各种找。 因为是可逆的,所以像那种md5,sha之类的不可逆加密就没法用了,然后可逆的加密主要是分为对称加密盒非对称加密: 对称加密:用加密的钥匙来解密,比如DES,AES的加解密 非对称加密:一个钥匙加密,用另一个钥匙解密,这个主要就是RSA比较成熟(点我看科普) 当然这么看来非对称加密更加适合我这个需求,然后我又各种找RSA,.NET中自己实现了加密RSA... 阅读全文
posted @ 2013-04-28 19:51 清风333 阅读(19895) 评论(28) 推荐(17) 编辑
摘要: 实习的公司一直不给web相关项目做,手痒痒,生怕把web方面的知识给遗漏了,有空没空就翻翻之前做的一些项目,把一些功能拿出来记录一下,以便以后遇到方便查询。 在一些项目中会经常遇到 需要批量上传图片的需求,光光图片给传了还不够,还要给图片描述啊 啥的,不过在.NET中如果用控件来实现这个功能你就惨了,动态添加控件,动态取值烦都烦死,还好本人不喜欢.Net的控件,甚至是讨厌了(这里没有说控件差的意思,只是个人的习惯而已) 本文所要讲的就是在.net中结合jquery和他的form插件来完成图片的批量上传。 各位应该都知道用jquery来动态添加dom元素异常的简单,此功能也主... 阅读全文
posted @ 2013-02-26 20:37 清风333 阅读(3734) 评论(2) 推荐(6) 编辑
摘要: 由于jquery的出现,编写js代码已经变得异常的平民化,同时现在的web也已经是ajax满天飞,哪天你自己写一个web不含ajax的拿不出手 当然,在.net的控件模式开发中一种去控件化开发已经变的变得更加通用:jquery+ajax+ashx 这种方式更加适用于一些小应用的开发,轻量、简单、自由 由于那时候太年轻,刚刚开始这种模式开发的时候 是一个ajax请求一个ashx页面,这样的结果可想而知,一个小的权限系统光光ashx文件就几十个了,而且文件名还大同小异,悲剧。 后来做了一会儿变聪明了,把相同类别的请求都放到一个ashx文件中,每个请求传一个请求标志 通过switch来调用相应的.. 阅读全文
posted @ 2013-02-25 22:08 清风333 阅读(7439) 评论(26) 推荐(7) 编辑
摘要: 最后在公司实习,新人不给活干,就自己随便看看,了解一些DevExpress控件啊,编码规范啊之类的,自己就寻思着写一点点小东西练习练习出于自己对c# socket这块不熟,就选择了这块,顺便可以进一步了解委托 代理。闲话不说,先说下这次做的东西:一个局域网聊天的小软件 主要基于udp的通信,如果读者还不知道udp or tcp 那请度娘一下。。。基本思路(这也都是网上查的,还查了飞鸽传书的 基本原理,在此感谢网上的各位高手哈):1:软件开启的时候先新开一个线程,该线程充当服务器端,一直死循环监听2:开了新线程了,调用广播的方法3:此时如果局域网内已经有有其它主机打开了这个软件,将会监听到这个广 阅读全文
posted @ 2012-12-07 09:35 清风333 阅读(12517) 评论(20) 推荐(2) 编辑
摘要: 在学校失业一个半月了,还没找到实习,悲剧,蛋疼,把jquery.cookie.js改了一下,改成了纯javascript版本,以备我以后项目只需,增加了一个得到页面全部cookie键值的功能。主要是通过对document.cookie字符串的分析来进行功能的组装的。温习一下javascript中对cookie的操作:增加cookie可以用document.cookie="userId=111";来实现完整版可以用:document.cookie="userId=111;domain=.google.com;path=\;secure=secure;expire=& 阅读全文
posted @ 2012-10-09 21:07 清风333 阅读(498) 评论(0) 推荐(0) 编辑
摘要: 最近正在学习php,想拿一些demo来练习一下,想起前段时间自己用.net写的仿Aspnetpager控件的分页类,就琢磨着用PHP来实现仿aspnetpager的分页功能,随便复习下。基本逻辑思路和.net的一样,就是将通过实体类来进行配置换成了通过数组进行配置,逻辑比较简单,根据条件判断拼接分页html。有以下几个简单的功能:1:支持相关按钮的显示与否配置2:支持每页数目,文本名称,html标签类名称的自由配置3:支持url重写过的页面(需自己在配置数组中添加重写规则)简单吧,还是直接上代码:核心代码:pager.class.phpView Code <?php class page 阅读全文
posted @ 2012-10-08 14:40 清风333 阅读(2009) 评论(6) 推荐(1) 编辑