RunSir'Blog--For Technology

人生没有彩排，更不会有重播，每秒都在直播中渡过；放弃等于失去一切，坚持将至少保持获得一切的一丝希望。
posts - 30, comments - 28, trackbacks - 3, articles - 3
  博客园 :: 首页 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理

置顶随笔

[置顶]用C#实现蜘蛛/爬虫程序的多线程控制

【引自Felomeng的博客】在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：

1.分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？

2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。

好了，认识、分析完问题，就是解决问题了：

多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。

要开启一个新线程，需要以下的初始化：

ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类downloadThread.Start();//开启线程  


由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：

1.如何控制线程的数量？

2.如何防止多线程下载同一网页？

3.如何判断线程结束？

4.如何控制线程结束？

下面就这几个问题提出解决方法：

1.线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。

比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程。

Thread[] downloadThread;//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置：即每个线程都执行DownLoad()downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数for( int i = 0; i < n; i++ )//开启指定数量的线程数{downloadThread[i] = new Thread( startDownload );//指定线程起始设置downloadThread[i].Start();//逐个开启线程}


好了，实现控制开启线程数是不是很简单啊？

2.下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？

这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：

可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）：

<建立表>Create TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段<提取Url地址>cfullname = (ctablename) + '.dbf'&&为表添加扩展名USE (cfullname)  GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum or threadNum = - 1) )  &&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到gotUrl = curl recNum = RECNO()IF recNum <= RECCOUNT() THEN  &&如果在列表中找到这样的Url地址Update (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum Where RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。<下载内容>cfulltablename = (ctablename) + '.dbf'USE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) && csiteurl是参数，为下载到的内容所对应的Url地址recNumNow = RECNO()&&得到含有此地址的记录号Update (cfulltablename) SET ctext = (ccontent) Where RECNO() = recNumNow &&插入对应地址的对应内容<插入新地址>ctablename = (ctablename) + '.dbf'USE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &&查找有无此地址IF RECNO() > RECCOUNT() THEN &&如果尚无此地址SET CARRY OFFInsert INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 )  &&将主页地址添加到列表


好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。

3.线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：

string url = "";int times = 0;while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录{url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值if ( url == "" )//如果没有找到{times ++;//尝试次数自增continue; //进行下一次尝试}if ( times > N ) //如果已经尝试够了次数，则退出进程{downloadThread[i].Abort; //退出进程}else//如果没有尝试够次数{Times = 0; //尝试次数归零处理}//进行下一步针对得到的Url的处理}


4.这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：

for( int i = 0; i < n; i++ )//关闭指定数量n的线程数{downloadThread[i].Abort();//逐个关闭线程}  


好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。

这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。

最后说明一下我所使用的环境：

winXP sp2 Pro

VFP 9.0

Visual Studio 2003 .net中文企业版

posted @ 2007-11-20 20:40 RunSir.cn 阅读(516) | 评论 (0) | 编辑

2008年3月14日

HP Bios开机密码设定和删除


HP开机BIOS密码的设定删除和更改.

注意：这是从HP服务器借鉴而来

也就是开机那个小钥匙的设定与删除。

1.密码位数：开机密码位数小于或等于 7 位。如果设定大于 7 位，系统也提示设定成功，但是关机重启后输入此前设定的密码无法通过


2.设定密码：开机自检后按 F9 进入 BIOS ，选择 Server Passwords ，然后进入 Set Power-on password ，输入两遍密码


3.清除密码：进入 BIOS 中的 Set Power-on password 后是无法清除密码的。需要开机自检后系统提示输入密码时输入，格式如下：

原有密码 + ‘ / "字符，例如：设定密码： 1234567 如果要删除就在开机提示输入密码时输入： 1234567/ 然后回车，系统就会提示密码被删除


4.更改密码：进入 BIOS 中的 Set Power-on password 后是无法更改密码的。需要开机自检后系统提示输入密码时输入，格式如下：

原有密码 + ‘ / "字符 + 新密码 + "/" 字符 + 新密码，例如：原有密码： 1234567 新密码： abcdefg 如果要更改就在开机提示输入密码时输入：
1234567/abcdefg/abcdefg 然后回车，系统会提示密码被更改


5.如果像第一条那样输入了 多于 7 位的密码，那样开机就无法通过密码验证了，需要通过主板开关清除。方法：关机（无需断电）把 disable password 开关拨到 on 的位置，然后开机。自检完后会提示：
Password override switch detected in the “on” position.

Power off the server and turn switch to the “off” position
关机 disable password 开关拨回 ”off” 就清掉了。

posted @ 2008-03-14 00:41 RunSir.cn 阅读(673) | 评论 (1) | 编辑

2008年3月5日

Windows SharePoint Server基本资料

Windows SharePoint Server With SP1
    http://www.microsoft.com/downloads/details.aspx?familyid=EF93E453-75F1-45DF-8C6F-4565E8549C2A&displaylang=zh-cn
Windows SharePoint Server SDK V1.3
    http://www.microsoft.com/downloads/details.aspx?FamilyID=05e0dd12-8394-402b-8936-a07fe8afaffd&DisplayLang=en
Microsoft Office SharePoint Server SDK V1.3
    http://www.microsoft.com/downloads/details.aspx?FamilyID=6d94e307-67d9-41ac-b2d6-0074d6286fa9&DisplayLang=en

这是对WSS进行基本开发的基本软件。当然如果你有MOSS2007也不就用安装WSS3.0了。

posted @ 2008-03-05 11:05 RunSir.cn 阅读(43) | 评论 (0) | 编辑

2007年11月20日

如何用C#语言构造蜘蛛程序

　　"蜘蛛"（Spider）是Internet上一种很有用的程序，搜索引擎利用蜘蛛程序将Web页面收集到数据库，企业利用蜘蛛程序监视竞争对手的网站并跟踪变动，个人用户用蜘蛛程序下载Web页面以便脱机使用，开发者利用蜘蛛程序扫描自己的Web检查无效的链接……对于不同的用户， 蜘蛛程序有不同的用途。那么，蜘蛛程序到底是怎样工作的呢？

　　蜘蛛是一种半自动的程序，就象现实当中的蜘蛛在它的Web（蜘蛛网）上旅行一样，蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。蜘蛛程序之所以是半自动的，是因为它总是需要一个初始链接（出发点），但此后的运行情况就要由它自己决定了，蜘蛛程序会扫描起始页面包含的链接，然后访问这些链接指向的页面，再分析和追踪那些页面包含的链接。从理论上看，最终蜘蛛程序会访问到Internet上的每一个页面，因为Internet上几乎每一个页面总是被其他或多或少的页面引用。

　　本文介绍如何用C#语言构造一个蜘蛛程序，它能够把整个网站的内容下载到某个指定的目录，程序的运行界面如图一。你可以方便地利用本文提供的几个核心类构造出自己的蜘蛛程序。

　　

　　图1

　　C#特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题：

　　⑴ HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。

　　⑵ 页面处理：需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘，或者进一步分析处理。

　　⑶ 多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高效。

　　⑷ 确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。

　　一、HTML解析

　　C#语言本身不包含解析HTML的能力，但支持XML解析；不过，XML有着严格的语法，为XML设计的解析器对HTML来说根本没用，因为HTML的语法要宽松得多。为此，我们需要自己设计一个HTML解析器。本文提供的解析器是高度独立的，你可以方便地将它用于其它用C#处理HTML的场合。

　　本文提供的HTML解析器由ParseHTML类实现，使用非常方便：首先创建该类的一个实例，然后将它的Source属性设置为要解析的HTML文档：

　　ParseHTML parse = new ParseHTML();

　　parse.Source = "

　　Hello World";

　　接下来就可以利用循环来检查HTML文档包含的所有文本和标记。通常，检查过程可以从一个测试Eof方法的while循环开始：

　　while(!parse.Eof())

　　{

　　char ch = parse.Parse();

　　Parse方法将返回HTML文档包含的字符--它返回的内容只包含那些非HTML标记的字符，如果遇到了HTML标记，Parse方法将返回0值，表示现在遇到了一个HTML标记。遇到一个标记之后，我们可以用GetTag()方法来处理它。

　　if(ch==0)

　　{

　　HTMLTag tag = parse.GetTag();

　　}

　　一般地，蜘蛛程序最重要的任务之一就是找出各个HREF属性，这可以借助C#的索引功能完成。例如，下面的代码将提取出HREF属性的值（如果存在的话）。

　　Attribute href = tag["HREF"];

　　string link = href.Value;

　　获得Attribute对象之后，通过Attribute.Value可以得到该属性的值。

　　二、处理HTML页面

　　下面来看看如何处理HTML页面。首先要做的当然是下载HTML页面，这可以通过C#提供的HttpWebRequest类实现：

　　HttpWebRequest request = (HttpWebRequest)WebRequest.Create(m_uri);

　　response = request.GetResponse();

　　stream = response.GetResponseStream();

　　接下来我们就从request创建一个stream流。在执行其他处理之前，我们要先确定该文件是二进制文件还是文本文件，不同的文件类型处理方式也不同。下面的代码确定该文件是否为二进制文件。

　　if( !response.ContentType.ToLower().StartsWith("text/") )

　　{

　　SaveBinaryFile(response);

　　return null;

　　}

　　string buffer = "",line;

　　如果该文件不是文本文件，我们将它作为二进制文件读入。如果是文本文件，首先从stream创建一个StreamReader，然后将文本文件的内容一行一行加入缓冲区。

　　reader = new StreamReader(stream);

　　while( (line = reader.ReadLine())!=null )

　　{

　　buffer+=line+"\r\n";

　　}

　　装入整个文件之后，接着就要把它保存为文本文件。

　　SaveTextFile(buffer);

　　下面来看看这两类不同文件的存储方式。

　　二进制文件的内容类型声明不以"text/"开头，蜘蛛程序直接把二进制文件保存到磁盘，不必进行额外的处理，这是因为二进制文件不包含HTML，因此也不会再有需要蜘蛛程序处理的HTML链接。下面是写入二进制文件的步骤。

　　首先准备一个缓冲区临时地保存二进制文件的内容。 byte []buffer = new byte[1024];

　　接下来要确定文件保存到本地的路径和名称。如果要把一个myhost.com网站的内容下载到本地的c:\test文件夹，二进制文件的网上路径和名称是/ShowImg.asp?p=/2006-4-26/53956ges\logo.gif。与此同时，我们还要确保c:\test目录下已经创建了images子目录。这部分任务由convertFilename方法完成。

　　string filename = convertFilename( response.ResponseUri );

　　convertFilename方法分离HTTP地址，创建相应的目录结构。确定了输出文件的名字和路径之后就可以打开读取Web页面的输入流、写入本地文件的输出流。

　　Stream outStream = File.Create( filename );

　　Stream inStream = response.GetResponseStream();

　　接下来就可以读取Web文件的内容并写入到本地文件，这可以通过一个循环方便地完成。

　　int l;

　　do

　　{

　　l = inStream.Read(buffer,0,

　　buffer.Length);

　　if(l>0)

　　outStream.Write(buffer,0,l);

　　} while(l>0);

　　写入整个文件之后，关闭输入流、输出流。

　　outStream.Close();

　　inStream.Close();

　　比较而言，下载文本文件更容易一些。文本文件的内容类型总是以"text/"开头。假设文件已被下载并保存到了一个字符串，这个字符串可以用来分析网页包含的链接，当然也可以保存为磁盘上的文件。下面代码的任务就是保存文本文件。

　　string filename = convertFilename( m_uri );

　　StreamWriter outStream = new StreamWriter( filename );

　　outStream.Write(buffer);

　　outStream.Close();

　　在这里，我们首先打开一个文件输出流，然后将缓冲区的内容写入流，最后关闭文件。

　　三、多线程

　　多线程使得计算机看起来就象能够同时执行一个以上的操作，不过，除非计算机包含多个处理器，否则，所谓的同时执行多个操作仅仅是一种模拟出来的效果--靠计算机在多个线程之间快速切换达到"同时"执行多个操作的效果。一般而言，只有在两种情况下多线程才能事实上提高程序运行的速度。第一种情况是计算机拥有多个处理器，第二种情况是程序经常要等待某个外部事件。

　　对于蜘蛛程序来说，第二种情况正是它的典型特征之一，它每发出一个URL请求，总是要等待文件下载完毕，然后再请求下一个URL。如果蜘蛛程序能够同时请求多个URL，显然能够有效地减少总下载时间。

　　为此，我们用DocumentWorker类封装所有下载一个URL的操作。每当一个DocumentWorker的实例被创建，它就进入循环，等待下一个要处理的URL。下面是DocumentWorker的主循环：

　　while(!m_spider.Quit )

　　{

　　m_uri = m_spider.ObtainWork();

　　m_spider.SpiderDone.WorkerBegin();

　　string page = GetPage();

　　if(page!=null)

　　ProcessPage(page);

　　m_spider.SpiderDone.WorkerEnd();

　　}

　　这个循环将一直运行，直至Quit标记被设置成了true（当用户点击"Cancel"按钮时，Quit标记就被设置成true）。在循环之内，我们调用ObtainWork获取一个URL。ObtainWork将一直等待，直到有一个URL可用--这要由其他线程解析文档并寻找链接才能获得。Done类利用WorkerBegin和WorkerEnd方法来确定何时整个下载操作已经完成。

　　从图一可以看出，蜘蛛程序允许用户自己确定要使用的线程数量。在实践中，线程的最佳数量受许多因素影响。如果你的机器性能较高，或者有两个处理器，可以设置较多的线程数量；反之，如果网络带宽、机器性能有限，设置太多的线程数量其实不一定能够提高性能。

　　四、任务完成了吗？

　　利用多个线程同时下载文件有效地提高了性能，但也带来了线程管理方面的问题。其中最复杂的一个问题是：蜘蛛程序何时才算完成了工作？在这里我们要借助一个专用的类Done来判断。

　　首先有必要说明一下"完成工作"的具体含义。只有当系统中不存在等待下载的URL，而且所有工作线程都已经结束其处理工作时，蜘蛛程序的工作才算完成。也就是说，完成工作意味着已经没有等待下载和正在下载的URL。

　　Done类提供了一个WaitDone方法，它的功能是一直等待，直到Done对象检测到蜘蛛程序已完成工作。下面是WaitDone方法的代码。

　　public void WaitDone()

　　{

　　Monitor.Enter(this);

　　while ( m_activeThreads>0 )

　　{

　　Monitor.Wait(this);

　　}

　　Monitor.Exit(this);

　　}

　　WaitDone方法将一直等待，直到不再有活动的线程。但必须注意的是，下载开始的最初阶段也没有任何活动的线程，所以很容易造成蜘蛛程序一开始就立即停止的现象。为解决这个问题，我们还需要另一个方法WaitBegin来等待蜘蛛程序进入"正式的"工作阶段。一般的调用次序是：先调用WaitBegin，再接着调用WaitDone，WaitDone将等待蜘蛛程序完成工作。下面是WaitBegin的代码：

　　public void WaitBegin()

　　{

　　Monitor.Enter(this);

　　while ( !m_started )

　　{

　　Monitor.Wait(this);

　　}

　　Monitor.Exit(this);

　　}

　　WaitBegin方法将一直等待，直到m_started标记被设置。m_started标记是由WorkerBegin方法设置的。工作线程在开始处理各个URL之时，会调用WorkerBegin；处理结束时调用WorkerEnd。WorkerBegin和WorkerEnd这两个方法帮助Done对象确定当前的工作状态。下面是WorkerBegin方法的代码：

　　public void WorkerBegin()

　　{

　　Monitor.Enter(this);

　　m_activeThreads++;

　　m_started = true;

　　Monitor.Pulse(this);

　　Monitor.Exit(this);

　　}

　　WorkerBegin方法首先增加当前活动线程的数量，接着设置m_started标记，最后调用Pulse方法以通知（可能存在的）等待工作线程启动的线程。如前所述，可能等待Done对象的方法是WaitBegin方法。每处理完一个URL，WorkerEnd方法会被调用：

　　public void WorkerEnd()

　　{

　　Monitor.Enter(this);

　　m_activeThreads--;

　　Monitor.Pulse(this);

　　Monitor.Exit(this);

　　}

　　WorkerEnd方法减小m_activeThreads活动线程计数器，调用Pulse释放可能在等待Done对象的线程--如前所述，可能在等待Done对象的方法是WaitDone方法。

　　结束语：本文介绍了开发Internet蜘蛛程序的基础知识，下面提供的源代码将帮助你进一步深入理解本文的主题。这里提供的代码非常灵活，你可以方便地将它用于自己的程序。

posted @ 2007-11-20 20:42 RunSir.cn 阅读(92) | 评论 (0) | 编辑

用C#实现蜘蛛/爬虫程序的多线程控制

【引自Felomeng的博客】在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：

1.分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？

2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。

好了，认识、分析完问题，就是解决问题了：

多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。

要开启一个新线程，需要以下的初始化：

ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类downloadThread.Start();//开启线程  


由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：

1.如何控制线程的数量？

2.如何防止多线程下载同一网页？

3.如何判断线程结束？

4.如何控制线程结束？

下面就这几个问题提出解决方法：

1.线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。

比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程。

Thread[] downloadThread;//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置：即每个线程都执行DownLoad()downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数for( int i = 0; i < n; i++ )//开启指定数量的线程数{downloadThread[i] = new Thread( startDownload );//指定线程起始设置downloadThread[i].Start();//逐个开启线程}


好了，实现控制开启线程数是不是很简单啊？

2.下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？

这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：

可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）：

<建立表>Create TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段<提取Url地址>cfullname = (ctablename) + '.dbf'&&为表添加扩展名USE (cfullname)  GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum or threadNum = - 1) )  &&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到gotUrl = curl recNum = RECNO()IF recNum <= RECCOUNT() THEN  &&如果在列表中找到这样的Url地址Update (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum Where RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。<下载内容>cfulltablename = (ctablename) + '.dbf'USE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) && csiteurl是参数，为下载到的内容所对应的Url地址recNumNow = RECNO()&&得到含有此地址的记录号Update (cfulltablename) SET ctext = (ccontent) Where RECNO() = recNumNow &&插入对应地址的对应内容<插入新地址>ctablename = (ctablename) + '.dbf'USE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &&查找有无此地址IF RECNO() > RECCOUNT() THEN &&如果尚无此地址SET CARRY OFFInsert INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 )  &&将主页地址添加到列表


好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。

3.线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：

string url = "";int times = 0;while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录{url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值if ( url == "" )//如果没有找到{times ++;//尝试次数自增continue; //进行下一次尝试}if ( times > N ) //如果已经尝试够了次数，则退出进程{downloadThread[i].Abort; //退出进程}else//如果没有尝试够次数{Times = 0; //尝试次数归零处理}//进行下一步针对得到的Url的处理}


4.这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：

for( int i = 0; i < n; i++ )//关闭指定数量n的线程数{downloadThread[i].Abort();//逐个关闭线程}  


好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。

这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。

最后说明一下我所使用的环境：

winXP sp2 Pro

VFP 9.0

Visual Studio 2003 .net中文企业版

posted @ 2007-11-20 20:40 RunSir.cn 阅读(516) | 评论 (0) | 编辑

2007年11月7日

哈夫曼编码

     摘要: 修改一位叫刘伟高的程序1//程序名：HuffmanTree.h2//程序功能：哈夫曼树类的头文件(并用其来实现编/译码)34//对应类实现文件:HuffmanTree.cpp5//对应主程序文件:main.cpp6789#include<iostream>10#include<fstream>11#include<string>12usingnamespaces... 阅读全文

posted @ 2007-11-07 00:23 RunSir.cn 阅读(682) | 评论 (2) | 编辑

2007年8月20日

ssh远程工具下载ssh简介配置

1.什么是SSH
传统的网络服务程序,如：ftp、POP和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而且,这些服务程序的安全验证方式也是有其弱点的,就是很容易受到“中间人”（man-in-the-middle）这种方式的攻击。所谓“中间人”的攻击方式,就是“中间人”冒充真正的服务器接收你传给服务器的数据,然后再冒充你把数据传给真正的服务器。服务器和你之间的数据传送被“中间人”一转手做了手脚之后,就会出现很严重的问题。

从前,一个名为Tatu Yl?nen的芬兰程序员开发了一种网络协议和服务软件,称为SSH（Secure SHell的缩写）。 通过使用SSH,你可以把所有传输的数据进行加密,这样“中间人”这种攻击方式就不可能实现了,而且也能够防止DNS和IP欺骗。还有一个额外的好处就是传输的数据是经过压缩的,所以可以加快传输的速度。SSH有很多功能,虽然许多人把Secure Shell仅当作Telnet的替代物,但你可以使用它来保护你的网络连接的安全。你可以通过本地或远程系统上的Secure Shell转发其他网络通信,如POP、X、PPP和FTP。你还可以转发其他类型的网络通信,包括CVS和任意其他的TCP通信。另外,你可以使用带TCP包装的Secure Shell,以加强连接的安全性。除此之外,Secure Shell还有一些其他的方便的功能,可用于诸如Oracle之类的应用,也可以将它用于远程备份和像SecurID卡一样的附加认证。

2.SSH的工作机制

SSH分为两部分：客户端部分和服务端部分。

服务端是一个守护进程(demon),他在后台运行并响应来自客户端的连接请求。服务端一般是sshd进程,提供了对远程连接的处理,一般包括公共密钥认证、密钥交换、对称密钥加密和非安全连接。

客户端包含ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序。

他们的工作机制大致是本地的客户端发送一个连接请求到远程的服务端,服务端检查申请的包和IP地址再发送密钥给SSH的客户端,本地再将密钥发回给服务端,自此连接建立。刚才所讲的只是SSH连接的大致过程,SSH 1.x和SSH 2.x在连接协议上还有着一些差异。

SSH被设计成为工作于自己的基础之上而不利用超级服务器(inetd),虽然可以通过inetd上的tcpd来运行SSH进程,但是这完全没有必要。启动SSH服务器后,sshd运行起来并在默认的22端口进行监听（你可以用 # ps -waux | grep sshd 来查看sshd是否已经被正确的运行了）如果不是通过inetd启动的SSH,那么SSH就将一直等待连接请求。当请求到来的时候SSH守护进程会产生一个子进程,该子进程进行这次的连接处理。

但是因为受版权和加密算法的限制,现在很多人都转而使用OpenSSH。OpenSSH是SSH的替代软件,而且是免费的,

SSH是由客户端和服务端的软件组成的,有两个不兼容的版本分别是：1.x和2.x。用SSH 2.x的客户程序是不能连接到SSH 1.x的服务程序上去的。OpenSSH 2.x同时支持SSH 1.x和2.x。

3.安装使用OpenSSH

这里主要讲的是基于FreeBSD的OpenSSH的配置,其它Unix及派生系统使用OpenSSH的方法大致相同FreeBSD中集成了OpenSSH,在很多Linux的发行版中都没有包括OpenSSH。但是,可以从网络上下载并安装OpenSSH,他是完全免费的。（可以访问OpenSSH的主页 http://www.openssh.org）

生成密钥对

使用ssh-keygen来生成密钥对,比如要用DSA加密算法生成一个4096Bit的密钥对可以输入如下命令(具体参数请参阅man ssh-keygen)：

#ssh-keygen -b 4096 -t dsa

%ssh-keygen -b 4096 -t dsa

Generating public/private dsa key pair.
Enter file in which to save the key (/home/fdy84/.ssh/id_dsa):

(密钥对将要存的路径,括号内为默认)
Created directory '/home/fdy84/.ssh'.
Enter passphrase (empty for no passphrase):
(输入口令)
Enter same passphrase again:
(再次输入口令,千万不要忘记否则就只有从新生成密钥了)
Your identification has been saved in /home/fdy84/.ssh/id_dsa.
(你的私钥)
Your public key has been saved in /home/fdy84/.ssh/id_dsa.pub.
(你的公钥)
The key fingerprint is:
bb:1b:f5:1c:77:62:90:21:59:7e:c6:65:e5:24:c6:e5 fdy84@freebsd

密钥分发

刚才生成了一对密钥,把私钥放在自己的机器上的~/.ssh/目录下并保证访问权限是“-rw-------”(即600)。再把生成的公钥放在要连接的远程主机的~/.ssh/目录下并改名为authorized_keys,并且保证文件除了属主外没有被人修改的权限。

4.配置使用SSH

配置服务端

启动SSH服务端很简单只需要运行
# sshd

就可以了。或者在/etc/rc.conf中加入
sshd_enable="YES"
就可以在每次启动时自动运行SSH服务端了。
SSH服务端的配置使用的配置文件是“/etc/ssh/sshd_config”,并且OpenSSH1.x和2.x的服务器配置文件均为此文件。

配置客户端

客户端想连接远程服务器只需要输入
#ssh 域名（或ip）
就可以了

比如想以fdy84用户连接IP地址为192.168.0.6的一台远程服务器 需要键入 # ssh 192.168.0.6 -l fdy84 
只要配置正确就可以连上远端的服务器了

5.使用Windows下的SecureCRT进行SSH连接

如果在Windows下想要通过SSH远程管理服务器怎么办？其实Windows有很多远程管理软件,我们在这主要介绍一下SecureCRT中SSH连接的使用。（以Version 4.1.1为准介绍）

Create Public Key...
SecureCRT也可以生成密钥对,不过SecureCRT最大只支持2048Bit的密钥,点选Tools－>Create Public Key...,选择密钥算法和密钥长度,输入完口令后再使劲晃鼠标以给它生成密钥的足够的随机量之后就等待计算机生成密钥对

------------------------------------------------------------------------------------------------

网络被攻击，很多情况是由于服务器提供了Telnet服务引起的。的确，对于UNIX系统，如果要远程管理它，必定要使用远程终端，而要使用远程终端，自然要在服务器上启动Telnet服务。但是Telnet服务有一个致命的弱点——它以明文的方式传输用户名及口令，所以，很容易被别有用心的人窃取口令。目前，一种有效代替Telnet服务的有用工具就是SSH服务。SSH客户端与服务器端通讯时，用户名及口令均进行了加密，有效防止了对口令的窃听。本文向大家介绍运行在常用操作系统上的SSH服务器软件包的使用。

　　首先，SSH软件包由两部分组成，一部分是服务器端软件包，另一部分是客户软件包。针对UNIX、Linux服务器操作系统，这两个软件包是分开打包在两个不同的文件中的。在Windows 9x/NT/2000中，也分为两部分，不同之处在于，服务器软件包只能运行在Windows NT及 Windows 2000 Server以上的版本中，而客户端SSH可以运行在所有的Windows系统中。 　　

　　一、UNIX/Linux下SSH2安装步骤

　　1.下载软件包，下载地址www.ssh.com，下载最新软件包SSH2，最好下载源程序软件包自己进行自行编译。

　　2.解压及安装：

　　　　# tar -zxvf ssh2-2.4.0.tar.gz

　　　　# cd ssh2-2.4.0

　　　　# ./configure

　　　　# make

　　　　#make install

　　安装完成。这一过程实际上将服务器软件包及客户端软件一起安装了，不必再次安装客户端软件包。

　　已编译好的二进制软件包以rpm格式存放在ftp://ftp.ssh.com/pub/ssh/rpm目录下。它是一个给非商业用户使用的软件包，软件包名称为：ssh-2.4.0-1.i386.rpm，其中包含了对X Window的支持，另一个不支持X Window的软件包为ssh- 2.4.0-1nox.i386.rpm，下载后可以直接安装。安装程序将SSH2软件包安装在/usr/local/bin及 /usr/local/sbin下。 　　

　　二、Windows NT/2000/2003 Server上安装SSH

　　在NT及Windows 2000 Server环境下，可选择的服务器软件有：Vshell、ssh2-2.4.0.win-server。 Vshell是由Van Dyke提供的一个可以在Windows NT/2000环境下提供SSH2服务器的软件包，其下载地址如下： //www.vandyke.com/download/index.html。另一个运行在Windows环境下的SSH服务器是 SSHWinServer.exe，可以直接从ftp://ftp.ssh.com/pub/ssh目录下下载。

　　Windows环境下的安装十分简单，本文不再多介绍。

　　与UNIX不同，在Windows环境下，需要分别安装服务器及客户端软件包。运行在Windows环境下的客户端软件，也可以从以上两个站点下载得到，文件名分别为SecureCRT及SSHWin-2.4.0-pl2。

　　三、关于密钥的准备工作

　　A.服务器端产生用户的自己的加密密钥及对外公开使用的公钥。在UNIX环境下，产生密钥的方法如下：

　　keygen

　　要求用户输入一个长的认证字串，这个字串的功能同password相当，但是，它更长，一般是在20个字符以内。再次输入相同的字串以确认输入的正确，之后，系统产生一对密钥及公钥。将公钥复制到本地，以便客户端对服务器发送的信息进行解密用。当然，如果你不复制，在第一次登录时，服务器会将它的公钥自动推给客户机，以便客户机能对服务器提供的信息进行解密识别。

　　B.客户端产生用户的加密密钥及公钥。客户端产生自己的密钥及公钥的方法与服务器端相同。而Windows环境下的一些支持SSH的客户端软件都采用自己生成的方法，具体情况各不相同，但是可以肯定的是所有的支持SSH的客户端都可以而且必须产生。以sshWin2.4为例说明如下：

　　打开选单：Edit→Settings→Globe settings→User keys→Generate New keypairs，按照提示会自动产生新的密钥及公钥对。

　　最后，将客户机产生的公钥复制到服务端的主机上用户的目录中(在UNIX下应为/home/usrname/.ssh2目录中)。不同的版本的SSH对公钥及密钥的文件名有特定的要求，具体情况请阅读软件包中的安装说明。

posted @ 2007-08-20 11:43 RunSir.cn 阅读(540) | 评论 (2) | 编辑

2007年8月3日

Google APPS申请指南

申请地址:http://www.google.com/a/
do it like this:

posted @ 2007-08-03 12:55 RunSir.cn 阅读(51) | 评论 (0) | 编辑

2007年7月24日

计算机英语天天学(07-07-24)

vision

noun
[U] the ability to see; the area that you can see from a particular position: to have good / perfect / poor / blurred / normal vision ◆ 2020 vision (= the ability to see perfectly) ◆ Cats have good night vision. ◆ The couple moved outside her field of vision. ◆ He glimpsed something on the edge of his vision.
See also
[C] an idea or a picture in your imagination: He had a vision of a world in which there would be no wars. ◆ I had visions of us getting hopelessly lost. ◆ The word conjures up visions of home and family.
[C] a dream or similar experience, especially of a religious kind: The idea came to her in a vision.
[U] the ability to think about or plan the future with great imagination and intelligence: a leader of vision ◆ He's a competent politician, but he lacks vision.
[C] a ~ (of sth) (literary) a person of great beauty or who shows the quality mentioned: She was a vision in white lace. ◆ a vision of loveliness / beauty / health
[U] the picture on a television or cinema/movie theater screen: We apologize for the temporary loss of vision.

n.想象(力)，幻想，幻觉；视力，视觉

assessment

noun
[C] an opinion or a judgement about sb/sth that has been thought about very carefully
Synonym: EVALUATION
a detailed assessment of the risks involved ◆ What is your assessment of the situation? ◆ An adequate environmental impact assessment was not carried out on the bypass project.
[U] the act of judging or forming an opinion about sb/sth: written and oral exams and other forms of assessment ◆ Objective assessment of the severity of the problem was difficult.
See also
[C] an amount that has been calculated and that must be paid: a tax assessment

n. 评估, 估定, 评定的款额

[化] 评估

[经] 评定, 估计, 摊派

stakeholder

noun
a person or company that is involved in a particular organization, project, system, etc., especially because they have invested money in it: All our employees are stakeholders in the company. ◆ The government has said it wants to create a stakeholder economy in which all members of society feel that they have an interest in its success.
a person who holds all the bets placed on a game or race and who pays the money to the winner

n. 赌金保管者

[法] 赌款保存人, 保存保证金的人

deliverable

noun
[usually pl.] a product that a company promises to have ready for a customer: computer software deliverables

[计] 可交付的, 可投递的

[经] 可交割的

glossary

noun
(plural glossaries) a list of technical or special words, especially those in a particular text, explaining their meanings: a glossary of financial terms

n.字汇表，难词表

corresponding

adjective
~ (to sth) matching or connected with sth that you have just mentioned: A change in the money supply brings a corresponding change in expenditure. ◆ Profits have risen by 15 per cent compared with the corresponding period last year. ◆ Give each picture a number corresponding to its position on the page. ◆ The Redskins lost to the Cowboys in the corresponding game last year.
correspondingly adverb: a period of high demand and correspondingly high prices

a. 相当的, 一致的, 通信的

[计] 对应

bibliography

noun (plural bibliographies)
[C] a list of books or articles about a particular subject or by a particular author; the list of books, etc. that have been used by sb writing an article, etc: There is a useful bibliography at the end of each chapter.
[U] the study of the history of books and their production
bibliographer noun
bibliographical adjective

n. 参考书目

[计] 书目; 文献目录

rigid

adjective
(often disapproving) (of rules, methods, etc.) very strict and difficult to change: The curriculum was too narrow and too rigid. ◆ His rigid adherence to the rules made him unpopular.
(of a person) not willing to change their ideas or behaviour: rigid attitudes
(of an object or substance) stiff and difficult to move or bend: a rigid support for the tent ◆ She sat upright, her body rigid with fear. ◆ (figurative) I was bored rigid (= extremely bored).
rigidity noun [U, C]: the rigidity of the law on this issue ◆ the rigidity of the metal bar
rigidly adverb: The speed limit must be rigidly enforced. ◆ She stared rigidly ahead.

a. 坚硬的, 刚性的, 严格的, 精密的, 刻板的

assumption

noun
[C] a belief or feeling that sth is true or that sth will happen, although there is no proof: an underlying / implicit assumption ◆ We need to challenge some of the basic assumptions of western philosophy. ◆ We are working on the assumption that everyone invited will turn up. ◆ It was impossible to make assumptions about people's reactions. ◆ His actions were based on a false assumption. ◆ She arrived at college with a whole set of assumptions inherited from her family.
[C, U] ~ of sth (formal) the act of taking or beginning to have power or responsibility: their assumption of power / control ◆ the assumption of responsibility by the government for the disaster

n. 假定, 自负, 担任, 假装

[经] 假定, 承担

posted @ 2007-07-24 16:43 RunSir.cn 阅读(136) | 评论 (2) | 编辑

2007年7月23日

使用ISA2006发布安全的Sharepoint站点疑难问题解答之连接地址转换

在使用ISA2006发布Sharepoint安全站点的时候，经常会出现无法正常的把http连接转换为https连接，导致部分链接失效。

如：

解决办法：

修改侦听器，[连接]：

1。启用端口上的http连接

2。启用端口上的https连接

[http到https连接的重定向]：

将所有的通讯从http重定向到https

 

即可解决问题

posted @ 2007-07-23 14:45 RunSir.cn 阅读(287) | 评论 (0) | 编辑

使用通配符证书在 ISA Server 2004 中发布多个 Web 站点

     摘要: 用户常常提出这样一个请求，那就是想获得更多关于如何使用单一 IP 地址在防火墙的外部接口上发布多个安全 Web 站点的信息。ISA Server 2000 和 ISA Server 2004 有一个共同点，那就是一个证书只能绑定一个 Web 侦听器。如果您将一个单一的 IP 地址绑定到 ISA Server 2000 或 ISA Server 2004 防火墙的外部接口，则可以发布一个单一的安全 Web 站点。   阅读全文

posted @ 2007-07-23 13:49 RunSir.cn 阅读(278) | 评论 (0) | 编辑

仅列出标题  下一页