摘要：
在JavaScript中， ES6开始有rest参数 和 三个点扩展运算符 (spread运算符) 我们来看看他们各自的用处 1. rest参数 rest参数的形式为 ...变量名 用于获取函数调用时传入的参数. 顾名思义, rest参数表示的是除了明确指定的参数外，剩下的参数的集合， 它的类型是A 阅读全文
posted @ 2021-04-06 10:11
savagefoo
阅读(467)
评论(0)
推荐(0)
摘要：
动态网页抓取 什么是AJAX： AJAX：（ Asynchronous Javascript And XML）异步javascript和XML。过在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以异步重载网页页面。因为传统的传输数据格式方面使用的是XML语法。因此叫做 AJ 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(450)
评论(0)
推荐(0)
摘要：
图像验证码识别技术： 阻碍我们爬虫的。有时候正是在登陆或者请求一些数据时候的图形验证码。因此这里我们讲解一些能将图片翻译成文字的技术。将图片翻译成文字一般被称为光学文字识别（Optical Character Recognition）简称 OCR。实现OCR的库不是很多，特别是开源的。因为这块存在一 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(373)
评论(0)
推荐(0)
摘要：
Scrapy快速入门： 安装和文档： 1、安装：通过pip install Scrapy即可安装 2、Scrapy官方文档： http://doc.scrapy.org/en/latest 3、Scrapy中文文档： http://scrapy chs.readthedocs.io/zh_CN/la 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(84)
评论(0)
推荐(0)
摘要：
1 伪多线程 1.1 GIL python的cpython解释器由于有GIL(全局解释锁)，CPU 同一时刻同一进程中只有一个线程被执行。 详细GIL参考：https://www.cnblogs.com/linhaifeng/articles/7449853.html 但是，进程没有GIL，也就是说 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(687)
评论(0)
推荐(0)
摘要：
Visual Studio代码中的代码片段 代码段是模板，可让您更轻松地输入重复的代码模式，例如循环或条件语句。 在Visual Studio Code中，代码片段会与其他建议一起出现在智能感知中，也出现在专用的代码片段选择器中（在“命令面板”中 插入代码片段 ）。还支持制表符补全：使用启用它 ，键 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(718)
评论(0)
推荐(0)
摘要：
解决方案： 打开VScode，按 进入设置，在搜索栏输入git.path，编辑setting.json,在git.path后面输入git安装的路径，然后重启VScode。 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(341)
评论(0)
推荐(0)
摘要：
打开VScode ，按快捷键 【Ctrl + , 】打开设置 搜索 ruler 打开 settings.json 文件 填入python ，可以指定python这门语言，rulers 填的列表，填写多个值，有多个垂直线。 参考： https://blog.csdn.net/yageeart/arti 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(1174)
评论(0)
推荐(0)
摘要：
今天介绍一款在vscode中对代码截图的插件——polacode， 安装插件： 选择polacode 2020 安装即可。 使用： 打开代码编辑页面，然后按"ctrl+shift+p" ，输入polacode、回车即可。接下来，选中代码，就会生成对应的截图，我们还可以设置大小、透明度、边框、颜色.. 阅读全文
posted @ 2021-04-05 00:17
savagefoo
阅读(426)
评论(0)
推荐(0)
摘要：
sv文件处理 读取csv文件： 这样操作，以后获取数据的时候，就要通过下表来获取数据。如果想要获取数据的时候通过标题来获取。那么可以使用 DictReader。示例代码如下： 写入数据到csv文件中： 写入数据到csv文件中，需要创建一个 writer 对象，主要用到两个方法。一个是 writero 阅读全文
posted @ 2021-04-05 00:16
savagefoo
阅读(204)
评论(0)
推荐(0)
摘要：
进程间通信 Queue Process之间有时候需要通信，操作系统提供了很多机制来实现多进程间的通信。 1、Queue的使用 可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序，首先用一个小实例来演示一下Queue的工作原理： 进程池Po 阅读全文
posted @ 2021-04-05 00:15
savagefoo
阅读(170)
评论(0)
推荐(0)
摘要：
多线程基础的学习，在爬虫教程系列/第4章：爬虫进阶里面有了。 同步的概念 同步就是协同步调，按预定的案后次序进行运行。如：你说完，我在说。“同”字从字面上容易理解为一起动作其实不是，“同”字应是协同、协助、互相配合。 如进程、线程同步，可理解为进程或线程A和B一起配合，A执行到一定程度时要依靠B的某 阅读全文
posted @ 2021-04-05 00:15
savagefoo
阅读(66)
评论(0)
推荐(0)
摘要：
1 、一般同步下载 示例代码： 2、 使用流式请求，requests.get方法的stream 默认情况下是stream的值为false，它会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况，程序就会报错。 当把get函数的stream参数设置成True时，它不会立即开始下载，当 阅读全文
posted @ 2021-04-05 00:15
savagefoo
阅读(1736)
评论(0)
推荐(0)
摘要：
1 一般的写入文件 open() 方法用于打开一个文件，并返回文件对象，用文件对象调用写入方法，然后关闭文件对象。 注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法，因为文件对象不关闭会占用系统资源。 由于文件读写时都有可能产生IOError，一旦出错，后面的f.c 阅读全文
posted @ 2021-04-05 00:15
savagefoo
阅读(295)
评论(0)
推荐(0)
摘要：
urllib库 urllib库是Python是中一个最基本的网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。 urlopen函数: 在 Python3的urllib库中,所有和网请求相关的方法,都被集到request模块下面了,先来看下 urlopen函数基 阅读全文
posted @ 2021-04-05 00:15
savagefoo
阅读(289)
评论(0)
推荐(0)
浙公网安备 33010602011771号