分析百度的中文分词结果
摘要:本结果是基于20000次以上的搜索分析百度而的来的,如有不当请指正,希望我们能够一起来揭开百度分词的面纱。 在大家的心目中可能百度的分词是极其复杂的,他代表了中国分词领域的最高水平,其实不然,简单最好,裸体最美,当我们拨下百度的衣服,既然会发现百度的分词是如此的简单,可能正应了一个名人的某一句话:当用户输入查询关键字的时候我们要准确的知道用户在想什么!这正是百度所追求的,他把所有的工作都放在了...
阅读全文
蜘蛛中可以用到的正则收集
摘要:1,得到网页上的链接地址: string matchString = @"]+href=\s*(?:'(?[^']+)'|""(?[^""]+)""|(?[^>\s]+))\s*[^>]*>";2,得到网页的标题: string matchString = @"(?.*)";3,去掉网页中的所有的html标记: string temp = Regex.Replace(...
阅读全文