爬虫crawler - 文章分类 - rednuo

动态网页1

摘要：在Python中执行javascript (PyV8)：http://hi.baidu.com/jakisou/item/c49534f891477048932af21f微软的ScriptControl中对执行js最重要的方法就是addObject与eval python解析网页中javascrip... 阅读全文

posted @ 2014-06-06 10:16 rednuo 阅读(98) 评论(0) 推荐(0)

[转7]关于http(GET或POST)请求中的url地址的编码(encode)和解码(decode)

摘要：转自：http://www.crifan.com/summary_url_encode_and_decode_during_http_get_post_request/背景比如：【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程中所涉及的staticpage... 阅读全文

posted @ 2014-05-24 15:52 rednuo 阅读(2877) 评论(0) 推荐(0)

[转6]浏览器中的开发人员工具（IE9的F12和Chrome的Ctrl+Shift+I）-网页分析的利器

摘要：转自：http://www.crifan.com/browser_developer_tool_chrome_vs_ie9/【什么是浏览器中开发人员工具Developer Tools】之前无意间知道了Chrome中有个开发人员工具，后来又无意间发现IE9中也有类似的工具，都可以用来调试网页，对于网页... 阅读全文

posted @ 2014-05-24 15:47 rednuo 阅读(422) 评论(0) 推荐(0)

[转5]Python的第三方库BeautifulSoup的使用心得

摘要：转自：http://www.crifan.com/summary_usage_of_beautifulsoup_in_python/【BeautifulSoup最简介】BeautifulSoup，是Python中的一个第三方库，用于帮助解析Html/XML等内容，便于实现后期的内容提取等方面的工作。... 阅读全文

posted @ 2014-05-24 15:14 rednuo 阅读(172) 评论(0) 推荐(0)

Python模块学习 ---- re 正则表达式

摘要：转自：http://blog.csdn.net/jgood/article/details/4277902re.match re.match 尝试从字符串的开始匹配一个模式，如：下面的例子匹配第一个单词。[python] view plaincopyimportretext="JGoodisaha... 阅读全文

posted @ 2014-05-24 13:53 rednuo 阅读(115) 评论(0) 推荐(0)

[转4]关于HTML网页源码的字符编码（charset）格式（GB2312，GBK，UTF-8，ISO8859-1等）的解释

摘要：转自：http://www.crifan.com/summary_explain_what_is_html_charset_and_common_value_of_gb2312_gbk_utf_8_iso8859_1/当你通过浏览器，打开某个网站，即某个url地址的时候，你所能正常看到网页的内容，各... 阅读全文

posted @ 2014-05-24 12:43 rednuo 阅读(2167) 评论(0) 推荐(0)

[转3]用BeautifulSoup解析Html格式的Json字符串

摘要：转自：http://www.crifan.com/use_beautifulsoup_parse_the_backslash_style_html_json_string/【背景】已从一个url中获得返回的json字符串：{"code":"A00006",data:"\t\r\n\t\t\r\n\t... 阅读全文

posted @ 2014-05-24 12:39 rednuo 阅读(374) 评论(0) 推荐(0)

[转2]什么是JSON+如何处理JSON字符串

摘要：转自：http://www.crifan.com/summary_what_is_json_and_how_to_process_json_string/背景之前最早的时候，也见过类似于这样的字符串：{"list":[ {"ArticleId":7392749,"BlogId":1158641,"C... 阅读全文

posted @ 2014-05-24 12:23 rednuo 阅读(181) 评论(0) 推荐(0)

[转1]关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项

摘要：转自：http://www.crifan.com/summary_about_flow_process_of_fetch_webpage_simulate_login_website_and_some_notice/抓取网页的一般逻辑和过程一般普通用户，用浏览器，打开某个URL地址，然后浏览器就可以... 阅读全文

posted @ 2014-05-24 11:58 rednuo 阅读(167) 评论(0) 推荐(0)

append()和copy()、字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等）

摘要：1、append()和join()用法append是list（列表）的方法，函数参数是可以是任意一个元素，作用是在列表的最后添加上这个新元素。例如a=[1,2,3]则a.append(4)以后a就是[1,2,3,4]join是string（字符串）的方法，函数参数是一个由字符串组成的列表比如['a'... 阅读全文

posted @ 2014-04-27 22:49 rednuo 阅读(257) 评论(0) 推荐(0)

python GUI编程(Tkinter)

摘要：python提供了多个图形开发界面的库，几个常用Python GUI库如下：Tkinter： Tkinter模块("Tk 接口")是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.,Tk8.0的... 阅读全文

posted @ 2014-04-27 00:02 rednuo 阅读(959) 评论(0) 推荐(0)

py2exe使用方法

摘要：一、简介py2exe是一个将python脚本转换成windows上的可独立执行的可执行程序(*.exe)的工具，这样，你就可以不用装python而在windows系统上运行这个可执行程序。py2exe已经被用于创建wxPython,Tkinter,Pmw,PyGTK,pygame,win32comc... 阅读全文

posted @ 2014-04-25 22:10 rednuo 阅读(162) 评论(0) 推荐(0)

高斯模糊的算法

摘要：通常，图像处理软件会提供"模糊"（blur）滤镜，使图片产生模糊的效果。 "模糊"的算法有很多种，其中有一种叫做"高斯模糊"（Gaussian Blur）。它将正态分布（又名"高斯分布"）用于图像处理。本文介绍"高斯模糊"的算法，你会看到这是一个非常简单易懂的算法。本质上，它是一种数据平滑... 阅读全文

posted @ 2014-04-25 22:09 rednuo 阅读(115) 评论(0) 推荐(0)

python基础学习

摘要：Lesson 1 准备好学习Python的环境下载的地址是：www.python.org为了大家的方便，我在校内作了copy：http://10.1.204.2/tool/compiler&IDE/Python-2.3.2-1.exelinux版本的我就不说了，因为如果你能够使用linux并安装好说... 阅读全文

posted @ 2014-04-24 23:07 rednuo 阅读(130) 评论(0) 推荐(0)

beautifulsoup学习过程（二）——Html标签大全

摘要：中文页面使用beautifulsoup的方法：soup = BeautifulSoup(page,fromEncoding="gb18030")转自：http://blog.sina.com.cn/s/blog_605d56040100doac.htmlHtml标签大全超文本链接创建超文本链接 ,其中的url为链接目标地址创建自动发送电子邮件的链接创建位于文档内部的书签创建指向位于文档内部书签的链接其他链接标记注解：target="..."决定链接源在什么地方显示(用户自定义的名字，_blank,_parent,_self,_toprel=&q 阅读全文

posted @ 2014-04-13 12:32 rednuo 阅读(645) 评论(0) 推荐(0)

beautifulsoup学习过程（一）

摘要：Beautiful Soup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。对于Ruby，使用Rubyful Soup。官网摘取内容：Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful:Beautiful Soup prov 阅读全文

posted @ 2014-04-13 12:22 rednuo 阅读(171) 评论(0) 推荐(0)

对文件的操作--

摘要：此文为转来的，原文地址为：http://www.cnblogs.com/BeginMan/p/3166644.html 和 http://www.cnblogs.com/BeginMan/p/3169020.html一、文件对象我理解的文件对象就是一个接口，通过这个接口对文件进行相关操作。《Python 核心编程》上说的很晦涩，这里没有深刻理解到，希望有人能解释给我听。>>> f = open('demo.txt','r')>>> f>>> type(f)二、相关函数[1]、内建函数:open()提供了初始化阅读全文

posted @ 2014-04-12 21:31 rednuo 阅读(140) 评论(0) 推荐(0)

xpath学习过程（三）

摘要：一、XPath 运算符XPath 表达式可返回节点集、字符串、逻辑值以及数字。XPath 运算符下面列出了可用在 XPath 表达式中的运算符：运算符描述实例返回值|计算两个节点集//book | //cd返回所有拥有 book 和 cd 元素的节点集+加法6 + 410-减法6 - 42*乘法6 * 424div除法8 div 42=等于price=9.80如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。!=不等于price!=9.80如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。大阅读全文

posted @ 2014-04-11 17:59 rednuo 阅读(120) 评论(0) 推荐(0)

UE搭建python IDE环境+设置快捷键

摘要：打开UE菜单项：高级／工具配置输入项如下设置：命令行： python %n%e工作目录：%p菜单项名称：运行python程序前体python环境变量设置选项设置：勾选“保存活动文件”选项命令行输出（DOS命令）勾选“输出到列表窗口”，“捕捉输出”点击“插入”按钮，插入设置，就可以了！阅读全文

posted @ 2014-04-05 09:12 rednuo 阅读(345) 评论(0) 推荐(0)

python下载安装配置_转来

摘要：Python安装、配置图文详解目录：一. Python简介二. 安装python 1. 在windows下安装 2. 在Linux下安装三. 在windows下配置python集成开发环境（IDE） 1. 在Eclipse中安装PyDev插件 2. 配置Python Interpreters 四. 创建Python Project 五. 编写HelloWorld 六. 小结一. Python简介： Python在Linux、windows、Mac os等操作系统下都有相应的版本，不管在什么操作系统下，它都能够正常工作。除非使用平台相关功能，或特定平台的程序库，否... 阅读全文

posted @ 2014-04-03 16:12 rednuo 阅读(155) 评论(0) 推荐(0)

rednuo

文章分类 - 爬虫crawler

导航

公告