浙江省高等学校教师教育理论培训

摘要： Text Mining Projects Introduction - WisdomBaseText Mining Projects IntroductionCurrent projects of Leon lee:PageRank Algorithm research and development; Phrase Recognizer , BodyText Extractor ===> Wik... 阅读全文

摘要： Text Mining Projects Introduction - WisdomBaseText Mining Projects IntroductionCurrent projects of Leon lee:PageRank Algorithm research and development; Phrase Recognizer , BodyText Extractor ===> Wik... 阅读全文

摘要： http://code.google.com/p/cx-extractor/对于Web信息检索来说，网页正文抽取是后续处理的关键。虽然使用正则表达式可以准确的抽取某一固定格式的页面，但面对形形色色的HTML，使用规则处理难免捉襟见肘。能不能高效、准确的将一个页面的正文抽取出来，并做到在大规模网页范围内通用，这是一个直接关系上层应用的难题。作者提出了《基于行块分布函数的通用网页正文抽取算法》，首次将... 阅读全文

摘要： http://cnborn.net/blog/另一个话题是ThoughtWorks徐昊带来的《8小时用HTML5打造VNCViewer》。这个分享非常精彩，其实现过程中的思考方式、使用的新技术都让人有醍醐灌顶的感觉。以下的记录由现场的笔记总结而来，比较粗略，难免有失误，还望大家指正。http://cnborn.net/blog/由于HTML5具备Canvas, WebSocket，所以萌生了使用H... 阅读全文

摘要： 爬虫点滴http://www.beijing-open-party.org/topic/49tin于“2010年12月19日”创建了这个话题，计划在“2010年11月27日”的“琴瑟和鸣”活动中演讲分享到总结这“不务正业”的半年。爬虫是很多搜索引擎的一部分，它的名声并不好。比起搜索引擎的分词技术、索引技术来说它很基础，似乎没有那么多花样，被认为是没啥意思的脏活累活。我在这里就分享一下爬虫这个不起眼... 阅读全文

摘要： MyProject / FuzzyPages | Elias的个人主页Fuzzy Pages我使用本脚本处理httrack程序下载的phpbb2论坛页面，对下载页面中的冗余部分进行去除和合并，以达到减小文件大小，以供存储的目的。原理是：如果两个html页面十分相似（用diff检查的差别小于定义的最大差别），那么删除其中的一个，将其余文件中指向被删除文件的链接改为指向与之相似的文件。具体实现看代码好... 阅读全文

摘要： sporritt/jsPlumbjsPlumb jsPlumb provides a means for a developer to visually connect elements on their web pages. It uses SVG or Canvas in modern browsers, and VML on IE 8 and below. The latest versio... 阅读全文

摘要： 让你的博客支持MetaWeblog离线发布_维护记录 - 站点功能_DangJian's Blog让你的博客支持MetaWeblog离线发布日期：2011/4/5 23:31:09字体大小:小中大分享到：现在流行的博客网站都支持Metaweblog API，容许用户使用各种客户端直接发布博客到网站。几个月前，下载了Windows Live Writer，并尝试了使用这个软件编写和发布我的技术博客到... 阅读全文

摘要： 基于Web开发模式的信息抽取分类：4.产品研究/点评/创意1.自然语言处理/机器学习2010-12-27 17:32571人阅读评论(0)收藏举报基于Web开发模式的信息抽取李海波2010-12-27说明：转载请注明作者和出处；未经许可，不得在平面媒体上发表。这是本人在信息抽取方面的一些心得和总结，希望对于有志于互联网Web信息抽取的朋友一点启发，有任何问题可以发邮件给我或者加我msn一起讨论。信... 阅读全文

摘要： The Easy Way to Extract Useful Text from Arbitrary HTMLBy alexjc| April 5, 2007You’ve finally got your hands on the diverse collection of HTML documents you needed. But the content you’re interested i... 阅读全文

摘要： http://guangfeng.blogspot.com/2010/05/eventlet.html并发编程利器EventletEventlet是由第二人生(Secondlife)开源的高度伸缩性的Python网络编程库.根据官方介绍大致特性如下:非阻塞I/O模型协程(Coroutines)使得开发者可以采用阻塞式的开发风格,却能够实现非阻塞I/O的效果隐式事件调度,使得可以在Python解释器... 阅读全文

摘要： http://guangfeng.blogspot.com/2010/01/awk.html使用awk处理网站访问日志[上]对于一个程序来说,Loging是一件非常有利的武器,其可以帮助程序员快速的找到BUG,分析性能瓶颈等等...甚至还可以在技术社区彰显一番代码的华丽,实乃死coder居家旅行必备之宝.而网站访问日志除了对开发者有修改缺陷,提升功力之良效以外,对待运营人员,也是分析用户行为的第一... 阅读全文

摘要： http://guangfeng.blogspot.com/2009/11/blog-post_28.html也谈网页正文提取[上]看到这里,如果有看官不知道啥叫正文提取,那我只能说,大哥我真的没有忽悠您，我既没说"网页去噪",也没说互联网的"自动摘要",更没说海量互联网数据的"文本挖掘"。由此可见本博是个很厚道的人,会手把手教你如何完成这个看起来牛逼实则很简单的一件事情,绝对让你感到物超所值(阅... 阅读全文

摘要： 如果是做正文抽取的话，想要做到很精准的效果是难的（尤其是准确剔除掉正文周边内容），尤其是来自一些不正规的站点网页。我能找到的相关开源产品有：boilerpipe、goose、jReadability、roadrunner（这个是抽模版的），还有一个忘记名字了，他们的效果都算不上太好（对正规的新闻站点会好些）。我自己实现了一个正文抽取的程序（也是很复杂的说，就别要代码了，暂时没有开源计划），可供测试... 阅读全文

摘要： 如果是做正文抽取的话，想要做到很精准的效果是难的（尤其是准确剔除掉正文周边内容），尤其是来自一些不正规的站点网页。我能找到的相关开源产品有：boilerpipe、goose、jReadability、roadrunner（这个是抽模版的），还有一个忘记名字了，他们的效果都算不上太好（对正规的新闻站点会好些）。我自己实现了一个正文抽取的程序（也是很复杂的说，就别要代码了，暂时没有开源计划），可供测试... 阅读全文

摘要： 携梦远行 » curl 抓取跳转内容curl 抓取跳转内容December 7th, 2011陈毓端Leave a commentGo to comments同事在用curl抓取图片时遇到nginx rewrite redirect 跳转，这时 curl -o a/xx.png http://xxx.xxx.com/190/180/ 无法抓取跳转后的内容。正确的做法, 添加-L：curl -o a... 阅读全文

摘要： http://www.basesnet.com/seo/53从HTML文件中提取正文的简单方案2012-03-07/SEO/HTML文件,提取正文,简单方案/1多种基于html正文提取的思想一、基于统计的中文网页正文抽取的研究摘要：信息抽取技术是一种广泛运用于互联网的数据挖掘技术。其目的是从互联网海量数据中抽取有意义、有价值的数据和信息，从而能更好的利用互联网资源。文中采用一种统计网页特征的方法，... 阅读全文

摘要： 这是Joysearch的网页解析基础部件。JoyHTML的目的是解析HTML文本当中的链接和正文，利用超链接密度法为主要判断依据的标记窗算法，采用DOM树解析模式。我们的第二个发布版本,0.20系列这个版本中，我们添加了关键词提取的功能，并且最终实现了一个文档分析模型，便于实现不同的文档分析算法。为接下来的信息检索，信息抽取工作打好基础。我们接下来的工作将集中于更加具体的信息抽取工作。如果您对HT... 阅读全文

摘要： 本工具包将一些常用的网页分类不同语言的相关开源软件，如ictclas，BeautifulSoup，libsvm等进行封装组合，以方便用python进行网页分类相关程序的开发。# uitl:一些常用的开源软件包 ## ictclas:中文分词，包含词频统计，关键词提取，指纹提取等功能。不同的机器上使用，需要重新编译。## ictclas.py:我对ictclas的python封装(其实就是简单的用p... 阅读全文

摘要： ANSI colored Python logging — Gistimport loggingfrom termcolor import coloredclass ColorLog(object):colormap = dict(debug=dict(color='grey', attrs=['bold']),info=dict(color='white'),warn=dict(color='y... 阅读全文