摘要：1 什么是网页爬虫 网络爬虫（ 网页蜘蛛，网络机器人，网页追逐者，自动索引，模拟程序）是一种按照一定的规则自动地抓取互联网信息的程序或者脚本，从互联网上抓取对于我们有价值的信息。Tips：自动提取网页的程序，为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 (1) 对抓取目标的描述或定义； (2 阅读全文
python 3.x报错：No module named 'cookielib'或No module named 'urllib2'
2019-01-04 16:20 by Tanwheey, 8688 阅读, 0 推荐, 收藏, 编辑
摘要：1. ModuleNotFoundError: No module named 'cookielib' Python3中，import cookielib改成 import http.cookiejar,然后方法里cookielib也改成 http.cookiejar。 2. ModuleNotFo 阅读全文
Xshell实现Windows和使用跳板机跳转的远程Linux互传文件
2018-11-30 17:20 by Tanwheey, 4759 阅读, 1 推荐, 收藏, 编辑
摘要：适用于Linux CentOS版本，本地电脑是Win10版本 查询Linux版本： $lsb_release -a $cat /etc/issue 适用于Linux CentOS版本，本地电脑是Win10版本 查询Linux版本： $lsb_release -a $cat /etc/issue 适用 阅读全文
Linux scp常用命令
2018-11-30 14:23 by Tanwheey, 1084 阅读, 0 推荐, 收藏, 编辑
摘要：Linux scp命令用于Linux之间复制文件和目录。 scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。 1、从本地复制到远程 命令格式： 第1,2个指定了用户名，命令执行后需要再输入密码，第1个仅指定了远程的目录，文件名字不变，第2个指 阅读全文
正则表达式
2018-11-27 22:03 by Tanwheey, 220 阅读, 0 推荐, 收藏, 编辑
摘要：表达式是一种字符模式，用于在查找过程中匹配制定的字符。 元字符通常在Linux中分为两类： Shell元字符，由Linux Shell进行解析；正则表达式元字符，由vi、grep、sed、awk等文本处理工具进行解析；正则表达式一般以文本行进行处理。 关于基本正则表达式和扩展正则表达式的一些用法： 阅读全文
Linux grep常用命令
2018-11-27 19:43 by Tanwheey, 2547 阅读, 0 推荐, 收藏, 编辑
摘要：在一个文件中同时查找多个字符串: 并集语法： grep -e 'pattern1 -e 'pattern2 file 或集语法： 1、grep -E 'pattern1|pattern2' file2、egrep 'pattern1|pattern2' file3、grep 'pattern1|pa 阅读全文
Linux grep
2018-09-28 19:43 by Tanwheey, 480 阅读, 0 推荐, 收藏, 编辑
摘要：Linux grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 1、 grep使用简明 grep命令用于查找文 阅读全文
HTTP协议概述
2018-09-27 17:59 by Tanwheey, 1208 阅读, 0 推荐, 收藏, 编辑
摘要：一、HTTP简介 HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。 HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件， 图片文件，查询结果等 阅读全文
怎么区分PV、IV、UV以及网站统计名词解释（pv、曝光、点击）
2018-09-05 10:03 by Tanwheey, 9117 阅读, 0 推荐, 收藏, 编辑
摘要：PV（Page View）访问量，即页面访问量，每打开一次页面PV计数+1，刷新页面也是。 IV（Internet Protocol）访问量指独立IP访问数，计算是以一个独立的IP在一个计算时段内访问网站计算为1次IP访问数。在同一个计算时段内不管这个IP访问多少次均计算为1次。计算时段有以1天为一 阅读全文
【接口工具】接口抓包工具之Charles
2018-07-25 22:13 by Tanwheey, 1239 阅读, 0 推荐, 收藏, 编辑
摘要：上篇我们讲了Fiddler，Fiddler是用C#开发的，所以Fiddler不能在Mac系统中运行，没办法直接用Fiddler来截获MAC系统中的HTTP/HTTPS， Mac 用户怎么办呢？ 1、Fiddler可以允许“远程连接”。 可以利用这个间接来实现Fiddler捕获Mac系统发出的HTTP 阅读全文