缓存是每个系统都必定涉及到的功能，一般的缓存有一个难题——什么时候清除？如Asp.Net中的cache可以设置一个过期时间，但设置多久合适呢？长了浪费，短了就失去缓存的意义了。使用SqlDependency进行缓存则可以解决这个问题。

SqlDependency是.net2.0封装的一个类型，当然要配合sql2005或以上版本才能使用。

SqlDependency类需要数据库的ServiceBroker来支持，当数据库中的数据发生变化时通知应用程序更新缓存，这才是最有效的缓存方式。

步骤一：

sql数据库必须开启ServiceBroker服务，首先检测是否已经启用ServiceBroker，检测方法：

Select  DATABASEpRoPERTYEX('数据库名称','IsBrokerEnabled')

--1表示已经启用0表示没有启用

步骤二：

如果ServiceBroker没有启用，使用下面语句启用：

ALTER  DATABASE  <数据库名称>  SET  ENABLE_BROKER;

步骤三：

在实现基于服务的SQL数据缓存依赖过程中，需要显式调用SqlDependency.Start来启动接受依赖项更改通知的侦听器。

SqlDependency.Start(connectionString);//推荐将这段代码加到Global.asax的Application_Start方法中 
SqlDependency.Stop(connectionString);//用于关闭，可加在Global.asax的Application_End方法中

步骤四：缓存实现

 使用sqldependency实现缓存的代码：

 public class CacheHelper
    {
        static Cache WebCache = HttpContext.Current.Cache;
        static string DefaultConn = ConfigurationManager.ConnectionStrings["Default"].ConnectionString;

        public static DataTable GetSystemParams()
        {
            if (WebCache["SystemParam"] == null)
            {
                string strSQL = "select uSystemParamID,ParamName,ParamValue,Description from dbo.DTS_SystemParam";
                SqlDataAdapter da = new SqlDataAdapter(strSQL, DefaultConn);
                SqlDependency dep = new SqlDependency(da.SelectCommand);
                dep.OnChange += new OnChangeEventHandler(dep_OnChange);
                DataTable tbl = new DataTable();
                da.Fill(tbl);
                WebCache["SystemParam"] = tbl;
                return tbl;
            }
            else
            {
                return (DataTable)WebCache["SystemParam"];
            }
        }

        private static void dep_OnChange(object sender, SqlNotificationEventArgs e)
        {
            WebCache.Remove("SystemParam");
        }
    }

注意：

使用 SqlDependency 订阅查询通知必须向SQL Server Service Broker提供制定规则的查询语句，一般来讲，必须是简单的sql查询语句（不能用*，不能用top，不能用函数，包括聚合函数，不能用子查询，包括where后的子查询，不能用外连接，自连接，不能用临时表，不能用变量，不能用视图，不能垮库，表名之前必须加类似dbo数据库所有者这样的前缀）例如：select * from table1，select column1 from table1，select count(*) from table1 都是错误的sql查询语句，select column1 from dbo.table1 则是正确的语句。

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

/* 最小寬度 */
.min_width{min-width:300px;
  /* sets max-width for IE */
  _width:expression(document.body.clientWidth < 300 ? "300px" : "auto");
}

/* 最大寬度 */
.max_width{
  max-width:600px;
  /* sets max-width for IE */
  _width:expression(document.body.clientWidth > 600 ? "600px" : "auto");
}

/* 最小高度 */
.min_height{
  min-height:200px;
  /* sets min-height for IE */
  _height:expression(this.scrollHeight < 200 ? "200px" : "auto");
}

/* 最大高度 */
.max_height{
  max-height:400px;
  /* sets max-height for IE */
  _height:expression(this.scrollHeight > 400 ? "400px" : "auto");
}

/* 最大最小寬度 */
.min_and_max_width{
  min-width:300px;
  max-width:600px;
  /* sets min-width & max-width for IE */
  _width: expression(
    document.body.clientWidth < 300 ? "300px" :
       ( document.body.clientWidth > 600 ? "600px" : "auto")
  );
}

/* 最大最小高度 */
.min_and_max_height{
  min-height:200px;
  max-height:400px;
  /* sets min-height & max-height for IE */
  _height: expression(
    this.scrollHeight < 200 ? "200px" :
      ( this.scrollHeight > 400 ? "400px" : "auto")
  );
}

评论: 2　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

使用HTTP模块扩展 ASP.NET 处理

关于IHttpHandler的应用，我们先从它的注册方法讲起。

当你建立了一个实现了Ihttphandler接口的类后，可以在网站的web.config文件中注册这个httphandler

示例如下：

其中最后一行  <add verb="*" path="*.ho" type="WebApplication2.HelloHandler,WebApplication2"/>
便是我们手工加入的内容，WebApplication2.HelloHandler是实现了IhttpHandler接口的一个类，Path属性表示的是映射的文件格式。

这样注册好之后，如果从网站请求任何带后缀名.ho的文件时，就会转到WebApplication2.HelloHandler类进行处理。

而WebApplication2.HelloHandler的内容可以是在网页上打印一行文本（如下面代码），也可以是下载一个文件，反正在httphandler里面你可以控制response对象的输出。

下面代码示例打印一行文字的WebApplication2.HelloHandler源码：

以下内容为转载的IhttpHandler示例：利用IhttpHandler实现文件下载

1. 首先新建一个用于下载文件的page页，如download.aspx，里面什么东西也没有。

2. 添加一个DownloadHandler类，它继承于IHttpHandler接口，可以用来自定义HTTP 处理程序同步处理HTTP的请求。

5. 现在新建一个aspx页面，对文件进行下载：

Default.aspx代码如下：

Code
<%@ Page Language="C#" AutoEventWireup="true"  CodeFile="Default.aspx.cs" Inherits="_Default" %> 

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 

<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
    <title>文件下载</title>
</head>
<body>
    <form id="form1" runat="server">
    <div>
    <asp:HyperLink ID="link" runat="server" Text="文件下载"></asp:HyperLink>
    </div>
    </form>
</body>
</html>

Default.aspx.cs代码如下：

评论: 1　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

什么是IOCP

微软在Winsock2中引入了IOCP这一概念 。IOCP全称I/O Completion Port，中文译为I/O完成端口。IOCP是一个异步I/O的API，它可以高效地将I/O事件通知给应用程序。与使用select()或是其它异步方法不同的是，一个套接字[socket]与一个完成端口关联了起来，然后就可继续进行正常的Winsock操作了。然而，当一个事件发生的时候，此完成端口就将被操作系统加入一个队列中。然后应用程序可以对核心层进行查询以得到此完成端口。
 这里我要对上面的一些概念略作补充，在解释[完成]两字之前，我想先简单的提一下同步和异步这两个概念，逻辑上来讲做完一件事后再去做另一件事就是同步，而同时一起做两件或两件以上事的话就是异步了。你也可以拿单线程和多线程来作比喻。但是我们一定要将同步和堵塞，异步和非堵塞区分开来，所谓的堵塞函数诸如accept(…)，当调用此函数后，此时线程将挂起，直到操作系统来通知它，”HEY兄弟，有人连进来了”，那个挂起的线程将继续进行工作，也就符合”生产者-消费者”模型。堵塞和同步看上去有两分相似，但却是完全不同的概念。大家都知道I/O设备是个相对慢速的设备，不论打印机，调制解调器，甚至硬盘，与CPU相比都是奇慢无比的，坐下来等I/O的完成是一件不甚明智的事情，有时候数据的流动率非常惊人，把数据从你的文件服务器中以Ethernet速度搬走，其速度可能高达每秒一百万字节，如果你尝试从文件服务器中读取100KB，在用户的眼光来看几乎是瞬间完成，但是，要知道，你的线程执行这个命令，已经浪费了10个一百万次CPU周期。所以说，我们一般使用另一个线程来进行I/O。重叠IO[overlapped I/O]是Win32的一项技术，你可以要求操作系统为你传送数据，并且在传送完毕时通知你。这也就是[完成]的含义。这项技术使你的程序在I/O进行过程中仍然能够继续处理事务。事实上，操作系统内部正是以线程来完成overlapped I/O。你可以获得线程所有利益，而不需要付出什么痛苦的代价。

完成端口中所谓的[端口]并不是我们在TCP/IP中所提到的端口，可以说是完全没有关系。我到现在也没想通一个I/O设备[I/O Device]和端口[IOCP中的Port]有什么关系。估计这个端口也迷惑了不少人。IOCP只不过是用来进行读写操作，和文件I/O倒是有些类似。既然是一个读写设备，我们所能要求它的只是在处理读与写上的高效。在文章的第三部分你会轻而易举的发现IOCP设计的真正用意。
 

IOCP和网络又有什么关系？
int main()
{
 WSAStartup(MAKEWORD(2, 2), &wsaData);
 ListeningSocket = socket(AF_INET, SOCK_STREAM, 0); 
 bind(ListeningSocket, (SOCKADDR*)&ServerAddr, sizeof(ServerAddr));
 listen(ListeningSocket, 5);
 int nlistenAddrLen = sizeof(ClientAddr);
 while(TRUE)
 {
NewConnection = accept(ListeningSocket, (SOCKADDR*)&ClientAddr, &nlistenAddrLen);
HANDLE hThread = CreateThread(NULL, 0, ThreadFunc, (void*) NewConnection, 0, &dwTreadId);
  CloseHandle(hThread);
 }
 return 0;
}
相信只要写过网络的朋友，应该对这样的结构在熟悉不过了。accept后线程被挂起，等待一个客户发出请求，而后创建新线程来处理请求。当新线程处理客户请求时，起初的线程循环回去等待另一个客户请求。处理客户请求的线程处理完毕后终结。
 在上述的并发模型中，对每个客户请求都创建了一个线程。其优点在于等待请求的线程只需做很少的工作。大多数时间中，该线程在休眠[因为recv处于堵塞状态]。
 但是当并发模型应用在服务器端[基于Windows NT]，Windows NT小组注意到这些应用程序的性能没有预料的那么高。特别的，处理很多同时的客户请求意味着很多线程并发地运行在系统中。因为所有这些线程都是可运行的[没有被挂起和等待发生什么事]，Microsoft意识到NT内核花费了太多的时间来转换运行线程的上下文[Context]，线程就没有得到很多CPU时间来做它们的工作。

大家都感觉到并行模型的瓶颈在于它为每一个客户请求都创建了一个新线程。创建线程比起创建进程开销要小，但也远不是没有开销的。
我们不妨设想一下：如果事先开好N个线程，让它们在那hold[堵塞]，然后可以将所有用户的请求都投递到一个消息队列中去。然后那N个线程逐一从消息队列中去取出消息并加以处理。就可以避免针对每一个用户请求都开线程。不仅减少了线程的资源，也提高了线程的利用率。理论上很不错，你想我等泛泛之辈都能想出来的问题，Microsoft又怎会没有考虑到呢?!
这个问题的解决方法就是一个称为I/O完成端口的内核对象，他首次在Windows NT3.5中被引入。
其实我们上面的构想应该就差不多是IOCP的设计机理。其实说穿了IOCP不就是一个消息队列嘛！你说这和[端口]这两字有何联系。我的理解就是IOCP最多是应用程序和操作系统沟通的一个接口罢了。
至于IOCP的具体设计那我也很难说得上来，毕竟我没看过实现的代码，但你完全可以进行模拟，只不过性能可能…，如果想深入理解IOCP， Jeffrey Ritchter的Advanced Windows 3rd其中第13章和第14张有很多宝贵的内容，你可以拿来窥视一下系统是如何完成这一切的。

实现方法
Microsoft为IOCP提供了相应的API函数，主要的就两个，我们逐一的来看一下：
HANDLE CreateIoCompletionPort (
  HANDLE FileHandle,                // handle to file
  HANDLE ExistingCompletionPort,     // handle to I/O completion port
  ULONG_PTR CompletionKey,        // completion key
  DWORD NumberOfConcurrentThreads // number of threads to execute concurrently
);
 在讨论各参数之前，首先要注意该函数实际用于两个截然不同的目的：
  1．用于创建一个完成端口对象
  2．将一个句柄[HANDLE]和完成端口关联到一起
 在创建一个完成一个端口的时候，我们只需要填写一下NumberOfConcurrentThreads这个参数就可以了。它告诉系统一个完成端口上同时允许运行的线程最大数。在默认情况下，所开线程数和CPU数量相同，但经验给我们一个公式：
  线程数 = CPU数 * 2 + 2
 要使完成端口有用，你必须把它同一个或多个设备相关联。这也是调用CreateIoCompletionPort完成的。你要向该函数传递一个已有的完成端口的句柄，我们既然要处理网络事件，那也就是将客户的socket作为HANDLE传进去。和一个完成键[对你有意义的一个32位值，也就是一个指针，操作系统并不关心你传什么]。每当你向端口关联一个设备时，系统向该完成端口的设备列表中加入一条信息纪录。

另一个API就是
BOOL GetQueuedCompletionStatus(
  HANDLE CompletionPort,       // handle to completion port
  LPDWORD lpNumberOfBytes,     // bytes transferred
  PULONG_PTR lpCompletionKey,  // file completion key
  LPOVERLAPPED *lpOverlapped,  // buffer
  DWORD dwMilliseconds         // optional timeout value
);
 第一个参数指出了线程要监视哪一个完成端口。很多服务应用程序只是使用一个I/O完成端口，所有的I/O请求完成以后的通知都将发给该端口。简单的说，GetQueuedCompletionStatus使调用线程挂起，直到指定的端口的I/O完成队列中出现了一项或直到超时。同I/O完成端口相关联的第3个数据结构是使线程得到完成I/O项中的信息：传输的字节数，完成键和OVERLAPPED结构的地址。该信息是通过传递给GetQueuedCompletionSatatus的lpdwNumberOfBytesTransferred，lpdwCompletionKey和lpOverlapped参数返回给线程的。

 根据到目前为止已经讲到的东西，首先来构建一个frame。下面为您说明了如何使用完成端口来开发一个echo服务器。大致如下：
 1.初始化Winsock
 2.创建一个完成端口
 3.根据服务器线程数创建一定量的线程数
 4.准备好一个socket进行bind然后listen
 5.进入循环accept等待客户请求
 6.创建一个数据结构容纳socket和其他相关信息
 7.将连进来的socket同完成端口相关联
 8.投递一个准备接受的请求
 以后就不断的重复5至8的过程

关于.Net中如何实现IOCP的文章：
http://msdn.microsoft.com/zh-cn/magazine/cc163356.aspx
http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

1、  为了增加效率，可以考虑采用无异常的函数
在.net2.0中Socket.Send,Socket.Receive 有了无异常的函数
Socket.Send(Byte[], Int32, Int32, SocketFlags, SocketError)
Socket.Receive(Byte[], Int32, Int32, SocketFlags, SocketError)
减少不必要的异常，就等于增加效率。

2、Socket.Connected 不是当前的Socket状态
MSDN原文：获取一个值，该值指示 Socket 是在上次 Send 还是 Receive 操作时连接到远程主机。
应当如何解决呢？

同样MSDN也告诉了我们：
Connected 属性的值反映最近操作时的连接状态。如果您需要确定连接的当前状态，请进行非阻止、零字节的 Send 调用。 如果该调用成功返回或引发 WAEWOULDBLOCK 错误代码 (10035)，则该套接字仍然处于连接状态；否则，该套接字不再处于连接状态。
3、要用Socket.Poll判断是否可以接收，不要用Socket.Available
虽然Socket.Available可以偷窥到当前Recv缓冲区字节数，而且Available是Poll速度的两倍，但是MSDN说到：如果远程主机使用 Shutdown 方法关闭了 Socket 连接，并且所有可用数据均已收到，则 Receive 方法将立即完成并返回零字节。
所以当网络断开的时候单纯使用Socket.Available判断是否recv到数据会存在不知道客户端已经断开Bug
补充：不推荐使用Socket.Poll对Socket的列表遍历，应当使用Socket.Select（或者其他模型），Socket.Poll是对Socket.Select的封装，执行Socket.Poll耗时是非阻塞Socket.Recv的三倍。
4、非阻塞模式不能采用Receive的返回值表示是否断开
第3条说道：如果远程主机使用 Shutdown 方法关闭了 Socket 连接，并且所有可用数据均已收到，则 Receive 方法将立即完成并返回零字节。但这并不能阻塞模式说明Socket已经断开，这一条和C的recv函数不同，需要特别注意。需要判断out出来的SocketError，当不为SocketError.Success、SocketError.Interrupted和SocketError.WouldBlock时就可以认为网络已经断开。
5、Send可能出现缓冲区满的情况
判断out出来的SocketError，如果等于SocketError.WouldBlock，则是Send缓冲区已满，应断开该Socket，否则影响整体速度，而不应当again, 反过来说允许的错误码只有SocketError.Interrupted，此时可以重来一次。
6、主动断开Socket
MSDN说道:如果当前使用的是面向连接的 Socket，则必须先调用 Shutdown 方法，然后才能关闭 Socket。这可以确保在已连接的套接字关闭之前，已发送和接收该套接字上的所有数据。
所以，网络库的Close函数可以封装为先调用 Shutdown(SocketShutdown.Both)，在调用Close()。
7、Socket已经关闭(Close)但不能在另一端断开
一端Scoket已经关闭了，但另一端短时间内仍可以发送数据！这个问题还没有找到解决办法的，但原因已知，在《Windows网络编程技术》一书(P139-P140)中说道:被动关闭的情况下，应用程序会从对方那里接收一个FIN包，并用一个ACK包做出响应。此时，应用程序的套接字会变成ClOSE_WAIT状态。由于对方已关闭自己的套接字，所以不能再发送数据了。但应用程序却不同，它能一直发送数据，直到对方的套接字已关闭为止。

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

数学之美 系列十七 闪光的不一定是金子 谈谈搜索引擎作弊问题(Search Engine Anti-SPAM)

自从有了搜索引擎，就有了针对搜索引擎网页排名的作弊(SPAM)。以至于用户发现在搜索引擎中排名靠前的网页不一定就是高质量的，用句俗话说，闪光的不一定是金子。

搜索引擎的作弊，虽然方法很多，目的只有一个，就是采用不正当手段提高自己网页的排名。早期最常见的作弊方法是重复关键词。比如一个卖数码相机的网站，重复地罗列各种数码相机的品牌，如尼康、佳能和柯达等等。为了不让读者看到众多讨厌的关键词，聪明一点的作弊者常用很小的字体和与背景相同的颜色来掩盖这些关键词。其实，这种做法很容易被搜索引擎发现并纠正。

在有了网页排名(page rank)以后，作弊者发现一个网页被引用的连接越多，排名就可能越靠前，于是就有了专门卖链接和买链接的生意。比如，有人自己创建成百上千个网站，这些网站上没有实质的内容，只有到他们的客户网站的连接。这种做法比重复关键词要高明得多，但是还是不太难被发现。因为那些所谓帮别人提高排名的网站，为了维持生意需要大量地卖链接，所以很容易露马脚。（这就如同造假钞票，当某一种假钞票的流通量相当大以后，就容易找到根源了。）再以后，又有了形形色色的作弊方式，我们就不在这里一一赘述了。

几年前，我加入Google做的第一件事就是消除网络作弊。在Google最早发现搜索引擎作弊的是Matt Cutts，他在我加入Google前几个月开始研究这个问题，后来，辛格，马丁和我先后加入进来。我们经过几个月的努力，清除了一半的作弊者。(当然，以后抓作弊的效率就不会有这么高了。）其中一部分网站从此"痛改前非"，但是还是有很多网站换一种作弊方法继续作弊，因此，抓作弊成了一种长期的猫捉老鼠的游戏。虽然至今还没有一个一劳永逸地解决作弊问题的方法，但是，Google基本做到了对于任何已知的作弊方法，在一定时间内发现并清除它，从而总是将作弊的网站的数量控制在一个很小的比例范围。

抓作弊的方法很像信号处理中的去噪音的办法。学过信息论和有信号处理经验的读者可能知道这么一个事实，我们如果在发动机很吵的汽车里用手机打电话，对方可能听不清；但是如果我们知道了汽车发动机的频率，我们可以加上一个和发动机噪音相反的信号，很容易地消除发动机的噪音，这样，收话人可以完全听不到汽车的噪音。事实上，现在一些高端的手机已经有了这种检测和消除噪音的功能。消除噪音的流程可以概括如下：

在图中，原始的信号混入了噪音，在数学上相当于两个信号做卷积。噪音消除的过程是一个解卷积的过程。这在信号处理中并不是什么难题。因为第一，汽车发动机的频率是固定的，第二，这个频率的噪音重复出现，只要采集几秒钟的信号进行处理就能做到。从广义上讲，只要噪音不是完全随机的、并且前后有相关性，就可以检测到并且消除。（事实上，完全随机不相关的高斯白噪音是很难消除的。）

搜索引擎的作弊者所作的事，就如同在手机信号中加入了噪音，使得搜索结果的排名完全乱了。但是，这种人为加入的噪音并不难消除，因为作弊者的方法不可能是随机的（否则就无法提高排名了）。而且，作弊者也不可能是一天换一种方法，即作弊方法是时间相关的。因此，搞搜索引擎排名算法的人，可以在搜集一段时间的作弊信息后，将作弊者抓出来，还原原有的排名。当然这个过程需要时间，就如同采集汽车发动机噪音需要时间一样，在这段时间内，作弊者可能会尝到些甜头。因此，有些人看到自己的网站经过所谓的优化（其实是作弊），排名在短期内靠前了，以为这种所谓的优化是有效的。但是，不久就会发现排名掉下去了很多。这倒不是搜索引擎以前宽容，现在严厉了，而是说明抓作弊需要一定的时间，以前只是还没有检测到这些作弊的网站而已。

还要强调一点，Google抓作弊和恢复网站原有排名的过程完全是自动的(并没有个人的好恶），就如同手机消除噪音是自动的一样。一个网站要想长期排名靠前，就需要把内容做好，同时要和那些作弊网站划清界限。

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

数学之美 系列十六（上） 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型

[我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。这是一个非常有意思的题目，但是把它讲清楚要用两个系列的篇幅。]

前段时间，Google 中国研究院的刘骏总监谈到在网络搜索排名中，用到的信息有上百种。更普遍地讲，在自然语言处理中，我们常常知道各种各样的但是又不完全确定的信息，我们需要用一个统一的模型将这些信息综合起来。如何综合得好，是一门很大的学问。

让我们看一个拼音转汉字的简单的例子。假如输入的拼音是"wang-xiao-bo"，利用语言模型，根据有限的上下文(比如前两个词)，我们能给出两个最常见的名字“王小波”和“王晓波”。至于要唯一确定是哪个名字就难了，即使利用较长的上下文也做不到。当然，我们知道如果通篇文章是介绍文学的，作家王小波的可能性就较大；而在讨论两岸关系时，台湾学者王晓波的可能性会较大。在上面的例子中，我们只需要综合两类不同的信息，即主题信息和上下文信息。虽然有不少凑合的办法，比如：分成成千上万种的不同的主题单独处理，或者对每种信息的作用加权平均等等，但都不能准确而圆满地解决问题，这样好比以前我们谈到的行星运动模型中的小圆套大圆打补丁的方法。在很多应用中，我们需要综合几十甚至上百种不同的信息，这种小圆套大圆的方法显然行不通。

数学上最漂亮的办法是最大熵(maximum entropy)模型，它相当于行星运动的椭圆模型。“最大熵”这个名词听起来很深奥，但是它的原理很简单，我们每天都在用。说白了，就是要保留全部的不确定性，将风险降到最小。让我们来看一个实际例子。

有一次，我去 AT&T 实验室作关于最大熵模型的报告，我带去了一个色子。我问听众“每个面朝上的概率分别是多少”，所有人都说是等概率，即各点的概率均为1/6。这种猜测当然是对的。我问听众们为什么，得到的回答是一致的：对这个“一无所知”的色子，假定它每一个朝上概率均等是最安全的做法。（你不应该主观假设它象韦小宝的色子一样灌了铅。）从投资的角度看，就是风险最小的做法。从信息论的角度讲，就是保留了最大的不确定性，也就是说让熵达到最大。接着，我又告诉听众，我的这个色子被我特殊处理过，已知四点朝上的概率是三分之一，在这种情况下，每个面朝上的概率是多少？这次，大部分人认为除去四点的概率是 1/3，其余的均是 2/15，也就是说已知的条件（四点概率为 1/3）必须满足，而对其余各点的概率因为仍然无从知道，因此只好认为它们均等。注意，在猜测这两种不同情况下的概率分布时，大家都没有添加任何主观的假设，诸如四点的反面一定是三点等等。（事实上，有的色子四点反面不是三点而是一点。）这种基于直觉的猜测之所以准确，是因为它恰好符合了最大熵原理。

最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。（不做主观假设这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。我们常说，不要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性。

回到我们刚才谈到的拼音转汉字的例子，我们已知两种信息，第一，根据语言模型，wang-xiao-bo 可以被转换成王晓波和王小波；第二，根据主题，王小波是作家，《黄金时代》的作者等等，而王晓波是台湾研究两岸关系的学者。因此，我们就可以建立一个最大熵模型，同时满足这两种信息。现在的问题是，这样一个模型是否存在。匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar）证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。而且它们都有同一个非常简单的形式 -- 指数函数。下面公式是根据上下文（前两个词）和主题预测下一个词的最大熵模型，其中 w3 是要预测的词（王晓波或者王小波）w1 和 w2 是它的前两个字（比如说它们分别是“出版”，和“”），也就是其上下文的一个大致估计，subject 表示主题。



我们看到，在上面的公式中，有几个参数 lambda 和 Z ，他们需要通过观测数据训练出来。

最大熵模型在形式上是最漂亮的统计模型，而在实现上是最复杂的模型之一。我们在将下一个系列中介绍如何训练最大熵模型的诸多参数，以及最大熵模型在自然语言处理和金融方面很多有趣的应用。

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

评论: 1　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

数学之美 十四 谈谈数学模型的重要性

发表者：吴军，Google 研究员

[注：一直关注数学之美系列的读者可能已经发现，我们对任何问题总是在找相应的准确的数学模型。为了说明模型的重要性，今年七月份我在 Google 中国内部讲课时用了整整一堂课来讲这个问题，下面的内容是我讲座的摘要。］

在包括哥白尼、伽利略和牛顿在内的所有天文学家中，我最佩服的是地心说的提出者托勒密。虽然天文学起源于古埃及，并且在古巴比伦时，人们就观测到了五大行星（金、木、水、火、土）运行的轨迹，以及行星在近日点运动比远日点快。（下图是在地球上看到的金星的轨迹，看过达芬奇密码的读者知道金星大约每四年在天上画一个五角星。）



但是真正创立了天文学，并且计算出诸多天体运行轨迹的是两千年前古罗马时代的托勒密。虽然今天我们可能会嘲笑托勒密犯的简单的错误，但是真正了解托勒密贡献的人都会对他肃然起敬。托勒密发明了球坐标，定义了包括赤道和零度经线在内的经纬线，他提出了黄道，还发明了弧度制。

当然，他最大也是最有争议的发明是地心说。虽然我们知道地球是围绕太阳运动的，但是在当时，从人们的观测出发，很容易得到地球是宇宙中心的结论。从地球上看，行星的运动轨迹是不规则的，托勒密的伟大之处是用四十个小圆套大圆的方法，精确地计算出了所有行星运动的轨迹。（托勒密继承了毕达格拉斯的一些思想，他也认为圆是最完美的几何图形。）托勒密模型的精度之高，让以后所有的科学家惊叹不已。即使今天，我们在计算机的帮助下，也很难解出四十个套在一起的圆的方程。每每想到这里，我都由衷地佩服托勒密。一千五百年来，人们根据他的计算决定农时。但是，经过了一千五百年，托勒密对太阳运动的累积误差，还是差出了一星期。


地心说的示意图，我国天文学家张衡的浑天地动说其实就是地心说。

纠正地心说错误不是靠在托勒密四十个圆的模型上再多套上几个圆，而是进一步探索真理。哥白尼发现，如果以太阳为中心来描述星体的运行，只需要 8-10 个圆，就能计算出一个行星的运动轨迹，他提出了日心说。很遗憾的事，哥白尼正确的假设并没有得到比托勒密更好的结果，哥白尼的模型的误差比托勒密地要大不少。这是教会和当时人们认为哥白尼的学说是邪说的一个原因，所以日心说要想让人心服口服地接受，就得更准确地描述行星运动。

完成这一使命的是开普勒。开普勒在所有一流的天文学家中，资质较差，一生中犯了无数低级的错误。但是他有两条别人没有的东西，从他的老师第谷手中继承的大量的、在当时最精确的观测数据，以及运气。开普勒很幸运地发现了行星围绕太阳运转的轨道实际是椭圆形的，这样不需要用多个小圆套大圆，而只要用一个椭圆就能将星体运动规律描述清楚了。只是开普勒的知识和水平不足以解释为什么行星的轨道是椭圆形的。最后是伟大的科学家牛顿用万有引力解释了这个问题。

故事到这里似乎可以结束了。但是，许多年后，又有了个小的波澜。天文学家们发现，天王星的实际轨迹和用椭圆模型算出来的不太符合。当然，偷懒的办法是接着用小圆套大圆的方法修正，但是一些严肃的科学家在努力寻找真正的原因。英国的亚当斯和法国的维内尔（Verrier）独立地发现了吸引天王星偏离轨道的海王星。

讲座结束前，我和 Google 中国的工程师们一同总结了这么几个结论：
１.　一个正确的数学模型应当在形式上是简单的。（托勒密的模型显然太复杂。）
２.　一个正确的模型在它开始的时候可能还不如一个精雕细琢过的错误的模型来的准确，但是，如果我们认定大方向是对的，就应该坚持下去。（日心说开始并没有地心说准确。）
３.　大量准确的数据对研发很重要。
４.　正确的模型也可能受噪音干扰，而显得不准确；这时我们不应该用一种凑合的修正方法来弥补它，而是要找到噪音的根源，这也许能通往重大发现。

在网络搜索的研发中，我们在前面提到的单文本词频/逆文本频率指数（TF/IDF) 和网页排名（page rank)都相当于是网络搜索中的“椭圆模型”，它们都很简单易懂。

评论: 0　查看评论　发表评论

最新新闻：
· 谷姐瘫痪 发公开信称已遭黑客攻击5天(2010-02-10 13:21)
· .NET Reflector即将商业化(2010-02-10 13:08)
· 暴雪介绍战网新界面(2010-02-10 13:03)
· TLS/SSL协议曝漏洞 影响所有版本Windows(2010-02-10 12:56)
· YouTube模式遭嫌弃 Hulu模式成视频行业新宠(2010-02-10 12:52)

编辑推荐：Google社会化产品Buzz发布会实录

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库