摘要:前言 如何优雅的获取同一个网站上下一次爬取的链接并放到生成一个 Scrapy Response 呢? 样例 from urllib import parse import scrapy class SitoiSpider(scrapy.Spider): name = "sitoi" start_ur 阅读全文
posted @ 2020-06-06 22:17 Sitoi 阅读(204) 评论(0) 推荐(0) 编辑
摘要:本文原始地址:https://sitoi.cn/posts/28583.html 前期准备 一个 Mac 电脑 一个 U 盘(8GB 以上) 下载好 Linux 系统镜像(iso 文件) 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘,打开终端输 阅读全文
posted @ 2020-06-05 08:11 Sitoi 阅读(352) 评论(0) 推荐(0) 编辑
摘要:GitHub + jsDelivr + PicGo + Imagine 打造稳定快速、高效免费图床 前言 为什么要使用图床呢? 因为在不同平台发布同一篇文章的时候,最一个痛苦的点就是,图片存储问题,各个平台的文件存储方式各不相同,无法直接 的方式一键搞定,为了解决这个问题,使用 的方式进行文章的写作 阅读全文
posted @ 2019-11-13 14:37 Sitoi 阅读(1522) 评论(0) 推荐(1) 编辑
摘要:OpenLDAP 常用命令 本文原始地址:https://sitoi.cn/posts/5308.html ldapsearch ldapsearch ldap 搜索工具 ldapsearch 实用程序可打开与 LDAP 服务器的连接,使用过滤器 filter 绑定并执行搜索。 如果 ldapsea 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(446) 评论(0) 推荐(0) 编辑
摘要:OpenLDAP 安装教程 本文原始地址:https://sitoi.cn/posts/48217.html 在centos7上安装OpenLDAP 环境准备 两台虚拟机 node01 IP:192.168.1.143 server端 node02 IP:192.168.1.146 client端 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(174) 评论(0) 推荐(0) 编辑
摘要:Ubuntu 开发环境搭建教程 本文原始地址:https://sitoi.cn/posts/18425.html 更新 生成本机密钥 默认位置: 安装 vim 免 sudo 密码 安装软件 htop 可视化系统监测 ssh 远程链接软件 jdk java 开发环境 python pip 开发工具 p 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(600) 评论(0) 推荐(0) 编辑
摘要:国内加速访问 GitHub 本文原始地址:https://sitoi.cn/posts/23395.html 中国访问 GitHub 的速度不忍直视,那就叫一个慢! 解决方法 不需要科()学()上网,也不需要开代理加速器。 一、查询网址对应的 IP 地址 查询地址: "https://www.ipa 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(11575) 评论(2) 推荐(5) 编辑
摘要:xpath re bs4 等爬虫解析器的性能比较 本文原始地址:https://sitoi.cn/posts/23470.html 思路 测试网站地址: "http://baijiahao.baidu.com/s?id=1644707202199076031" 根据同一个网站,获取同样的数据,重复 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(643) 评论(0) 推荐(0) 编辑
摘要:手把手教你如何利用 HeroKu 免费获取一个 Scrapyd 集群 本文原始地址:https://sitoi.cn/posts/48724.html 准备环境 一个 GitHub 的账号 一个 HeroKu 帐号 操作步骤 利用 GitHub 帐号创建一个代码仓库 登录 HeroKu 创建 App 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(68) 评论(0) 推荐(0) 编辑
摘要:Livy 安装教程 本文原始地址:https://sitoi.cn/posts/16143.html 安装环境 Fedora 29 Spark PySpark 安装步骤 1. 下载 安装包 2. 解压 安装包到 目录 3. 修改配置 4. 启动 下载 Livy 安装包 下载地址: 解压 Livy 安 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(69) 评论(0) 推荐(0) 编辑