摘要：
此节将会独立于刚新建的项目，学习Scrapy shell，掌握获取数据的基本方法 何为数据 在开发过程中，我们需要获取站点的信息，这些信息包括站点url、响应状态码、header、body……在Scrapy中，Response 相当于一个数据字典，包含着站点的大部分信息，在请求后将 Response 阅读全文
摘要：
在上一节中，我们了解了Scrapy是一个爬虫框架，并书写了一个demo大致认识了爬取执行过程。但是，在实际开发过程中，不可能是在此demo基础上在写逻辑代码的，Scrapy的强大之处，它为我们开发人员提供一个应用框架，让开发者专心于处理数据。 创建项目 Scrapy创建项目和Django和创建项目命 阅读全文
摘要：
简述 Scrapy (/ˈskreɪpaɪ/) Scrapy是一个被广泛应用于爬取网站和提取结构化数据的应用框架，例如数据挖掘、信息处理等等。其设计之处就是为了网站爬虫，发展到现在已经可以使用APIs来提取数据，是一个通用的网站爬取工具。 安装 当然，前提是已经安装 Python，通过 pip 安装 阅读全文
摘要：
控制逻辑流程 本地操作 初始化项目 git init [<projectName>] 若项目已存在，直接进入项目目录执行命令git init，当然，前提是已安装 Git。若项目不存在，则运行git init <projectName>，此命令会在当前目录下新建一个项目projectName并项目根目 阅读全文
摘要：
总述 Git 是一个快速的、可扩展的、分布的版本控制系统，它具有丰富的命令控制指令，并提供高级的操作。 git [-v | --version] [-h | --help] [-C <path>] [-c <name>=<value>] [--exec-path[=<path>]] [--html- 阅读全文
摘要：
环境要求 此次流程记录是Ubuntu Server 20.04系统下Hadoop集群的搭建。Linux和Windows所需软件包括：（1）Java 1.5.x及以上，必须安装，建议选择Java 8版本。（2）ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护 阅读全文
摘要：
说明 此为AUST（安徽理工大学）专版。其实就是为了方便校友 基于腾讯云函数 使用了自建api。大佬造好的轮子。 新增消息通知Server酱 新增消息通知Qmsg酱 所用代码 config.yml #登陆相关配置 login: #开放的模拟登陆api服务器地址 api: "http://cpdail 阅读全文
摘要：
说明 由于子墨大佬的教程已足够详细，不再赘叙。传送门 此为AUST（安徽理工大学）专版。其实就是为了方便校友 基于腾讯云函数 使用了自建api。大佬造好的轮子。 消息通知改为Server酱 所用代码 config.yml #登陆相关配置 login: #开放的模拟登陆api服务器地址 api: "h 阅读全文
摘要：
该文基本(全部)来自于chatjs中文文档 背景 今天在谷歌上逛博客时，突然发现shen-yu大佬根据chatjs写了一个Hexo插件，出于兴趣，打算使用并记录该插件的效果。 shen-yu大佬 chatjs中文文档 由于插件的安装和图表的使用上面两个链接已介绍得足够详细，本人只做一些图表的演示，并 阅读全文
摘要：
前言 时间飞逝，一年就这么过去了，Vercel官网也更新了好几轮，但是大致操作流程并没有变化。该更新这篇文章了。 本站已托管至Vercel，但作为一名前端小白，昨天帮朋友托管博客到Vercel的过程中到处碰壁，就想写一篇博客记录一下。 注册登录 点击Vercel官网，并使用GitHub账户进行登录。 阅读全文