摘要： 转自：http://cuiqingcai.com/954.html1.设置Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。首先，打开我们的浏览器，调试浏览器F12，我用的是Chro... 阅读全文

摘要： python爬虫系列教程http://cuiqingcai.com/1052.html1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作... 阅读全文

摘要： 转自：http://zeping.blog.51cto.com/6140112/1143722urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。urllib：网页基础：importu... 阅读全文

摘要： 转自http://www.cnblogs.com/peida/archive/2013/03/18/2965369.htmlLinux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTT... 阅读全文

摘要： 转自http://c.biancheng.net/cpp/view/2739.html前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。例如，$ 表示当前Shell进程的ID，即pid，看下面的代码：$echo $$运行结果29949特殊... 阅读全文

摘要： shell判断文件是否存在1. shell判断文件,目录是否存在或者具有权限2. #!/bin/sh3.4. myPath="/var/log/httpd/"5. myFile="/var /log/httpd/access.log"6.7. # 这里的-x 参数判断$myPath是否存在并且是否具... 阅读全文

摘要： shell中if条件字符串、数字比对，[[ ]]和[ ]区别引用：http://www.51testing.com/?uid-7701-action-viewspace-itemid-13731http://blog.csdn.net/sunboy_2050/article/details/6836... 阅读全文

摘要： 转自linux shell 数组建立及使用技巧linux shell在编程方面比windows 批处理强大太多，无论是在循环、运算。已经数据类型方面都是不能比较的。 下面是个人在使用时候，对它在数组方面一些操作进行的总结。1.数组定义[chengmo@centos5 ~]$ a=(1 2 3 4 5... 阅读全文

摘要： 转自http://www.cnblogs.com/chengmo/archive/2010/10/20/1855805.html在了解重定向之前，我们先来看看linux 的文件描述符。linux文件描述符：可以理解为linux跟踪打开文件，而分配的一个数字，这个数字有点类似c语言操作文件时候的句柄，... 阅读全文

摘要： 为什么要编码？如果一样东西需要编码，那说明它不适合传输，原因有多种（有些字符有歧义、包含隐私数据、Size过大）。在 URL 中，之所以要编码，是因为有些字符会引起歧义。比如参数中的key=value键值对，当value里含有= & ? 等，就会造成 URL 服务器的解析错误。所以必须将引起歧义的符... 阅读全文