摘要： python爬虫：一些常用的爬虫技巧 1、基本抓取网页 get方法： post方法： 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP; 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 coo 阅读全文

摘要： Linux Shell脚本入门－－cut命令 cut cut 命令可以从一个文本文件或者文本流中提取文本列。 cut语法 [root@www ~]# cut -d'分隔字符' -f fields <==用于有特定分隔字符 [root@www ~]# cut -c 字符区间 <==用于排列整齐的信息 阅读全文

摘要： shell讲解-小案例 一、文件拷贝输出检查 下面测试文件拷贝是否正常，如果cp命令并没有拷贝文件myfile到myfile.bak，则打印错误信息。注意错误信息中basename $0打印脚本名。如果脚本错误退出，一个好习惯是显示脚本名并将之定向到标准错误中。用户应该知道产生错误的脚本名。 上面当 阅读全文

摘要： Redis集群部署文档(centos6系统) （要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下） 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0. 阅读全文

摘要： sed编辑器逐行处理输入，然后把结果发送到屏幕。 -i选项：直接作用源文件，源文件将被修改。 sed命令和选项： 替换标志： sed例子： 打印：p命令 打印file中包含abc的行。默认情况sed把所有行都打印到屏幕，如果某行匹配到模式，则把该行另外再打印一遍 删除：d命令 替换：s命令 指定行的 阅读全文

摘要： python模块使用案例 一、使用MySQLdb模块代码示例： 二、使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码 只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容： 三、下面给出一 阅读全文

摘要： CentOS使用virtualenv搭建独立的Python环境-python虚拟环境 virtualenv可以搭建虚拟且独立的python环境，可以使每个项目环境与其他项目独立开来，保持环境的干净，解决包冲突问题。 一、安装python 可-编译安装；可-yum安装 二、安装virtualenv y 阅读全文

摘要： 在Linux下使用RAID--使用mdadm工具创建软件Raid 0(1) RAID即廉价磁盘冗余阵列，其高可用性和可靠性适用于大规模环境中，相比正常使用，数据更需要被保护。RAID是一些磁盘的集合，是包含一个阵列的逻辑卷。驱动器可以组合起来成为一个阵列或称为（组的）集合。 创建 RAID 最少应使 阅读全文

摘要： Raid详解 一．什么是RAID 磁盘阵列全名是『Redundant Arrays of Inexpensive Disks, RAID 』，英翻中的意思是：容错式廉价磁盘阵列。 RAID 可以透过一个技术(软件或硬件)，将多个较小的磁盘整合成为一个较大的磁盘装置；而这个较大的磁盘功能可不止是储存而 阅读全文

摘要： Linux(centos)系统各个目录的作用详解 文件系统的类型 LINUX有四种基本文件系统类型：普通文件、目录文件、连接文件和特殊文件，可用file命令来识别。 普通文件：如文本文件、C语言元代码、SHELL脚本、二进制的可执行文件等，可用cat、less、more、vi、emacs来察看内容， 阅读全文