摘要：http://blog.csdn.net/yantang/article/details/3894329由于PyQt的安装比较麻烦，尝试了几次都没有成功，便决定用spidermonkey，但若直接从官网下载和安装，由于涉及到js引擎等的安装，比较麻烦，经过试验验证，如下方法可以快速达到目的：1.spidermonkey下载及安装1)下载 svn checkout http://python-spidermonkey.googlecode.com/svn/trunk spidermonkey2）编译安装python setup install3)如果编译时出现spidermonkey.pyx:8 阅读全文

摘要：Python语言编程学习资料(电子书+视频教程)下载汇总：开发工具：Python语言集成开发环境 Wingware WingIDE Professional v3.2.12Python语言集成开发环境 Wingware WingIDE Professional v3.2.9.1高效Python/Django开发工具：JetBrains PyCharm v1.1.1 (附注册机)Python和Django开发工具：JetBrains PyCharm v1.1学习资料：Python 3程序开发指南 (第二版)中文PDF下载 Programming in Python 3, 2rd EditionP 阅读全文

摘要：去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2 = 'append'sStr1 += sStr2print sStr1查找字符#strchr(sStr1,sStr2)# < 0 为未找到sStr1 = 'strchr&# 阅读全文

摘要：Python1importurllib2urlItem =urllib.urlopen("http://www.baidu.com")3htmSource =urlItem.read()4urlItem.close()5printhtmSourcepycurlhttp://pycurl.sourceforge.net/download/http://pycurl.sourceforge.net/doc/curlobject.htmlPython01importpycurl02c =pycurl.Curl()03c.setopt(pycurl.URL, "http: 阅读全文

摘要：NLTK中的FreqDist方法可以查看文章中每个单词出现的频率。作者：黄聪出处：http://www.cnblogs.com/huangcong/本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 阅读全文

摘要：本文演示使用NLTK让计算机学习如何通过名字识别性别。1、导入NLTK：import nltkfrom nltk.book import*2、定义学习方法def gender_features(word): return {'last_letter':word[-1]}3、导入学习的姓名-性别名单：from nltk.corpus import namesimport randomnames=([(name,'male') for name in names.words('male.txt')] + [(name,'female' 阅读全文

摘要：对于大部分论坛，我们想要抓取其中的帖子分析，首先需要登录，否则无法查看。 这是因为 HTTP 协议是一个无状态(Stateless)的协议，服务器如何知道当前请求连接的用户是否已经登录了呢？有两种方式：在URI 中显式地使用 Session ID；利用 Cookie，大概过程是登录一个网站后会在本地保留一个 Cookie，当继续浏览这个网站的时候，浏览器会把 Cookie 连同地址请求一起发送过去。 Python 提供了相当丰富的模块，所以对于这种网络操作只要几句话就可以完成。我以登录 QZZN 论坛为例，事实上下面的程序几乎所有的 PHPWind 类型的论坛都是适用的。# -*- co... 阅读全文

摘要：对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过Python 语言提供的各种模块，我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首 先，我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块，然后，我们论述如何使用Python模块来迅速解析在HTML文 件中的数据，从而处理特定的内容，如链接、图像和Cookie等。最后，我们会给出一个规整HTML文件的格式标签的例子，通过这个例子您会发现使用 python处理HTM.. 阅读全文

摘要：对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过 Python语言提供的各种模块，我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文上篇中，我们介绍了一个可以帮助简化打开 位于本地和Web上的HTML文档的Python模块。在本文中，我们将论述如何使用Python模块来迅速解析在HTML文件中的数据，从而处理特定的 内容，如链接、图像和Cookie等。同时还会介绍如何规范HTML文件的格式标签。 一、从HTML文档中提取链接 Python语言还有一个非常有用的模块HTMLParser，... 阅读全文

摘要：网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬， 而是有一定目的的，并且在爬行的时候会搜集一些信息。例如 Google 就有一大堆爬虫会在 Internet 上搜集网页内容以及它们之间的链接等信息；又比如一些别有用心的爬虫会在 Internet 上搜集诸如 foo@bar.com 或者 foo [at] bar [dot] com 之类的东西。除此之外，还有一些定制的爬虫，专门针对某一个网站，例如前一阵子 JavaEye 的 Robbin 就写了 阅读全文

摘要：简单的抓取网页:import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象page=response.read() 直接将URL保存为本地文件：import urllib.request url="http://www.xxxx.com/1.jpg"urllib.request.urlretrieve(url,r"d:\temp\1.jpg")POST方式：import urllib.parse import ur 阅读全文

摘要：#-*-coding:utf-8-*-import urllib2, urllib, cookielibimport reimport getpassimport sqlite3import randomimport time class Discuz: def__init__(self,user,pwd,args): self.username = user self.password = pwd self.args = args self.regex = { 'loginreg':'', ... 阅读全文

摘要：import urllib proto, rest = urllib.splittype("http://www.baidu.com/11/12.htm") host, rest = urllib.splithost(rest) print host host, port = urllib.splitport(host) if port is None: port =80 print port 阅读全文

摘要：抓取网页的一般逻辑和过程一般普通用户，用浏览器，打开某个URL地址，然后浏览器就可以显示出对应的页面的内容了。这个过程，如果用程序代码来实现，就可以被称为（用程序实现）抓取网页（的内容，并进行后期处理，提取所需信息等）对应的英文说法有，website crawl/scrape/data mining。而用来抓取网页的工具，也常被叫做 spider，crawler等。即，一般所谓的取网页内容，指的是通过程序（某种语言的程序代码，比如Python脚本语言，C#语言等）实现访问某个URL地址，然后获得其所返回的内容（HTML源码，Json格式的字符串等）。而对于这个抓取网页的过程，是有一套自己的逻辑 阅读全文

摘要：本文转自：http://www.freebuf.com/tools/3503.html刚刚使用这个博客，人家别的博客有个代码框，里面是写的代码，俺还不知道咋使用呢，只能这样先凑合一下了#Created for coded32 and his teamopenfire Eliminated Some bugs from my last code shared here as Guest.#Greets To T.O.F and Indishell#Thanks friends for find bugs and give suggetions#cd direcory/to/code#direco 阅读全文

摘要：#!/usr/bin/python 使用魔法字符调用python23 from sys import argv 导入sys是导入python解释器和他环境相关的参数4 from os import makedirs,unlink,sepos主要提供对系统路径，文件重命名和删除文件所需的函数makedirs是创建递归文件夹的函数。比如说我们要创建一个新的目录，/python/HTML/crawl,但是目前这三个文件夹都不存在，如果使用mkdir命令的话需要使用三次才能完成，但是使用os.makedir只需使用一次就可以创建好整个目录。os.makedirs(os.path.join(os.erv 阅读全文

摘要：#!/usr/bin/python#-*-coding:utf-8-*-# 简易采集爬虫# 1.采集Yahoo!Answers，parseData函数修改一下，可以采集任何网站# 2.需要sqlite3或者pysqlite支持# 3.可以在DreamHost.com空间上面运行# 4.可以修改User-Agent冒充搜索引擎蜘蛛# 5.可以设置暂停的时间，控制采集速度# 6.采集Yahoo会被封IP数小时，所以这个采集用处不大# Author: Lukin# Date : 2008-09-25# 导入采集需要用到的模块import re, sys, timeimport httplib, os 阅读全文