退役小学生

摘要： #linux常用快捷键 1、命令或路径的补全键 tab 2、光标回到命令首行 ctrl+a 3、光标回到命令行尾 ctrl+e 4、光标向右移动一个字符 ctrl+f 5、光标向左移动一个字符 ctrl+b 6、复制命令行内容 ctrl+Insert 7、粘贴命令行内容 shift+Insert 8 阅读全文

摘要： #ssh免密访问对端服务 | 姓名 | IP | 端口 | | :--: | :--: | :--: | | ssh01 | 192.168.200.46 | 22 | | ssh02 | 192.168.200.47 | 22 | | ssh03 | 192.168.200.48 | 2200 | 阅读全文

摘要： Fastmoe安装 | 名称 | ubuntu | cuda | torch | nccl | | :--: | :--: | :--: | :--: | :--: | | 版本 | 18.04 | 10.2 | torch-1.8.0-cp37-cp37m | 2.7.8 | ##1、安装虚拟环境 阅读全文

摘要： #章节十六：复习与反爬虫 ##1. 爬虫总复习 我还记得事情是从这张图开始的，它被用来描述浏览器的工作原理： 请求和响应。这两件事几乎构成了我们后面的所有学习内容。 在第0关，我们说爬虫，就是利用程序在网上拿到对我们有用的数据。程序所做的，最关键步骤正是“请求”和“响应”。 据此，我们定义了“爬虫四 阅读全文

摘要： #章节十五：Scrapy实操 ##1. 复习 上一关，我们学习了Scrapy框架，知道了Scrapy爬虫公司的结构和工作原理。 在Scrapy爬虫公司里，引擎是最大的boss，统领着调度器、下载器、爬虫和数据管道四大部门。 这四大部门都听命于引擎，视引擎的需求为最高需求。 我们还通过实操爬取豆瓣To 阅读全文

摘要： #章节十四：Scrapy框架 前两关，我们学习了能提升爬虫速度的进阶知识——协程，并且通过项目实操，将协程运用于抓取薄荷网的食物数据。 可能你在体验开发一个爬虫项目的完整流程时，会有这样的感觉：原来要完成一个完整的爬虫程序需要做这么多琐碎的工作。 比如，要导入不同功能的模块，还要编写各种爬取流程的代 阅读全文

摘要： #章节十三：协程实践 吃什么不会胖——这是我前段时间在健身时比较关注的话题。 相信很多人，哪怕不健身，也会和我一样注重饮食的健康，在乎自己每天摄入的食物热量。 不过，生活中应该很少有人会专门去统计自己每日摄入的食物热量。显然这样做多少有一些麻烦。可能你得下载一个专门查询热量的APP，填写食物的名字， 阅读全文

摘要： #章节十二：协程 ##1. 复习回顾 照旧来回顾上一关的知识点！上一关我们学习如何将爬虫的结果发送邮件，和定时执行爬虫。 关于邮件，它是这样一种流程： 我们要用到的模块是smtplib和email，前者负责连接服务器、登录、发送和退出的流程。后者负责填输邮件的标题与正文。 最后一个示例代码，是这个模 阅读全文

摘要： #章节十一：定时与邮件 ##1. 复习 上一关我们学习了selenium，它有可视模式与静默模式这两种浏览器的设置方法，二者各有优势。 然后学习了使用.get('URL')获取数据，以及解析与提取数据的方法。 在这个过程中，我们操作对象的转换过程： 除了上面的方法，还可以搭配BeautifulSou 阅读全文

摘要： #章节十：Selenium Hi，又见面啦，上一关，我们认识了cookies和session。 分别学习了它们的用法，以及区别。 还做了一个项目：带着小饼干登录，然后在博客中发表评论。 除了上一关所讲的登录问题，在爬虫过程中，我们还可能会遇到各种各样棘手的问题—— 有的网站登录很复杂，验证码难以破解 阅读全文