2012 年 10月 23 日随笔档案 - Jerry.Kwan

2012年10月23日

摘要：一个简单的python日志服务器，主要目的是搜集各python logging记录的日志，将其简单汇总。源码如下：# -*- coding: utf-8 -*-'''Created on 2012-06-14 19:50@summary: a simple logging server. use gevent and logging modules@author: JerryKwan'''import osimport pickleimport loggingimport logging.handlersimport structfrom gev 阅读全文

posted @ 2012-10-23 11:10 Jerry.Kwan 阅读(1997) 评论(0) 推荐(0)

注意scrapy中SgmlLinkExtractor的默认deny_extensions

摘要：在使用scrapy做爬虫的时候碰到一个问题，耗了挺长时间都没有解决，关键是从日志里面没有看出问题，最后还是通过阅读源码才找出问题所在。在此将问题现象以及解决方法记录一下。现象：在一个页面中有n多的连接，url的正则表达式如下：r"en/descriptions/[\d]+/[-:\.\w]+$"，大部分连接都能抓取下来，但部分如 en/descriptions/32725456/not-a-virus:Client-SMTP.Win32.Blat.ai， en/descriptions/33444568/not-a-virus:Client-SMTP.Win32.Blat 阅读全文

posted @ 2012-10-23 11:05 Jerry.Kwan 阅读(2303) 评论(0) 推荐(0)

学以致用

公告