2013年5月12日

Ubuntu 12.04 安装Scrapy爬虫框架

摘要: 根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intro/install.html)Don’tuse thepython-scrapypackage provided by Ubuntu, they are typically too old and slow to catch up with latest Scrapy.Instead, use the officialUbuntu Packages, which already solve all dependencies for you and are continuously updated 阅读全文

posted @ 2013-05-12 10:54 hellopython 阅读(887) 评论(0) 推荐(0)

2013年5月11日

用python爬虫抓站的一些技巧总结

摘要: 学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的验证码识别的脚本,本来想写google music的抓取脚本的,结果有了强大的gmbox,也就不用写了。这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,再加上simplecd这个半爬虫半网站的项目,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。1.最基本的抓站import urllib2content = urllib2.urlopen('http://XXXX').r 阅读全文

posted @ 2013-05-11 22:03 hellopython 阅读(312) 评论(0) 推荐(0)

前端工程师知识结构图

摘要: 阅读全文

posted @ 2013-05-11 17:46 hellopython 阅读(119) 评论(0) 推荐(0)

2013年5月10日

Python学习:Python学习总结-资料大全

摘要: 1.Python基础1.1. 概述Python是一个脚本解释器, 可以从命令行运行脚本, 也可以在脚本上双击, 象运行其他应用程序一样。它还是一个交互 shell, 可以执行任意的语句和表达式。Python 的交互 shell 可以计算任意的 Python 表达式, 包括任何基本的数学表达式。交互 shell 可以执行任意的 Python 语句, 包括 print 语句。也可以给变量赋值, 并且变量值在 shell 打开时一直有效(一旦关毕交互 Sheel , 变量值将丢失)。表格1编程语言数据类型的比较静态类型定义语言一种在编译期间数据类型固定的语言。大多数静态类型定义语言是通过要求在使用所 阅读全文

posted @ 2013-05-10 23:52 hellopython 阅读(644) 评论(0) 推荐(0)

python源码:python简单实现网站目录扫描器

摘要: 原作者:飞龙321 1 #!/usr/local/bin/python 2 #-*- coding: UTF-8 -*- 3 #QQ29295842 python 网络安全编程群 138612676 希望认识更多的朋友 4 #BLOG http://hi.baidu.com/alalmn 5 import sys, os, time, httplib 6 import re 7 list_http=[] #http数组 8 9 def open_httptxt(): #打开TXT文本写入数组10 try:11 passlist = []12 ... 阅读全文

posted @ 2013-05-10 23:36 hellopython 阅读(957) 评论(0) 推荐(0)

2013年5月9日

中文图解python脚本

摘要: 中文图解python脚本 阅读全文

posted @ 2013-05-09 21:44 hellopython 阅读(326) 评论(1) 推荐(0)

urllib2 的使用细节

摘要: 1 Proxy 的设置2 Timeout 设置3 在 HTTP Request 中加入特定的 Header4 Redirect5 Cookie6 使用 HTTP 的 PUT 和 DELETE 方法7 得到 HTTP 的返回码8 Debug Log1 Proxy 的设置urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy,而不受环境变量的影响,可以使用下面的方式import urllib2enable_proxy = Trueproxy_handler = urllib2.ProxyHandler({"http&qu 阅读全文

posted @ 2013-05-09 21:42 hellopython 阅读(177) 评论(0) 推荐(0)

2013年5月8日

Python – An overview for beginners

摘要: Python Package Managersetuptoolseasy_installpipPython web application frameworksdjango Django is a high-level Python Web framework.http://www.djangoproject.com/web2pyAn open source full-stack python web framework for scalable, secure and portableweb applications. http://www.web2py.com/flaskA ligh... 阅读全文

posted @ 2013-05-08 23:46 hellopython 阅读(305) 评论(0) 推荐(0)

2013年5月2日

我在学习编程中犯的两个最大错误

摘要: 英文原文:Suneel Chakravorty 编译:@贱圣OMG一年前,我刚从大学毕业并且决定踏入社会。我有很多初始的想法并想将它们实现,但我不懂编程。听从 Yipit 联合创始人Vin Vacant 的建议之后,我开始自学编程。现在我终于学了足够多的知识来自己实现产品原型,一路走来,非常坎坷。如果你在跟我同样的路上,我希望你能避免犯跟我同样的错误。错误0:我花了太多时间学习那些我不是特别需要的东西上有如此多的技术,又有那么多的相互矛盾的观点以至于你很难判断什么是重要的,我根本就不知道如何开始。在Hacker News、 Quora、 Stack OverFlow上看了一大堆最流行的文章之后 阅读全文

posted @ 2013-05-02 20:33 hellopython 阅读(221) 评论(0) 推荐(0)

2013年5月1日

Beautiful Soup 中文教程

摘要: Beautiful Soup 中文教程的官方页面:http://www.crummy.com/software/BeautifulSoup/bs3/documentation.htmlBeautifulSoup 下载与安装下载地址为:http://www.crummy.com/software/BeautifulSoup/安装其实很简单,BeautifulSoup只有一个文件,只要把这个文件拷到你的工作目录,就可以了。from BeautifulSoup import BeautifulSoup # For processing HTMLfrom BeautifulSoup ... 阅读全文

posted @ 2013-05-01 11:16 hellopython 阅读(357) 评论(0) 推荐(0)

导航

点击右上角即可分享
微信分享提示