ibry

摘要： go笔记 二维数组的copy package main import "fmt" func main() { data := [][]string{ []string{"id", "title"}, []string{"1", "title1"}, []string{"2", "title2"}, 阅读全文

摘要： Pycharm下使用coding 对于开发者而言 GitHub 已经不陌生了，在平时的开发中将代码托管到 GitHub 上十分方便。但是、国内用户通常会遇到一个问题就是： GitHub 的访问速度太慢。在阿里云和腾讯云的主机上 clone 代码时，如果主机的带宽不够大，clone 代码简直就是龟速。 阅读全文

摘要： 1,调试scrapy 在工作中经常会用到调试功能, 下面是一种scrapy提供的方法, 代码如下: from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings ... 阅读全文

摘要： mysql 递归树查询 表名: tree 表结构(主要字段): id, name, parent_id 新建一个mysql 函数 drop FUNCTION if EXISTS getTrees; CREATE FUNCTION `getTrees`(rootId INT) RETURNS varc 阅读全文

摘要： 让scrapy在debug运行 编写scrapy的时候, 可能需要调试 下面写一种调试方法 在spider文件中最下方写上此代码就可以在右键调试了 if __name__ == '__main__': process = CrawlerProcess(get_project_settings()) 阅读全文

摘要： 学go的时候, 用goland做编辑器 在安装gin的时候, 发现没有提示 找了几篇文章, 发现了问题 原因是本地设置了加速go下载外部文件的代理导致的 解决方法 进入goland设置 在环境变量那边填https://goproxy.io 这样就解决了, 纯记录~ 阅读全文

摘要： 在Scrapy组件的特性可以用Scrapy设置进行修改。 这些设置也可以选择Scrapy项目当前处于活动状态的情况下，如果你有多个Scrapy项目。 指定的设置 您必须通知哪些当你放弃一个网站，你正在使用设置Scrapy。 为此，重点内容环境变量SCRAPY_SETTINGS_MODULE应使用其值 阅读全文

摘要： scrapy笔记 创建项目 scrapy startproject 项目名称 scrapy startproject httpbin_demo 看见下面输出, 就表示项目以创建好 You can start your first spider with: cd httpbin_demo scrapy 阅读全文

摘要： Nginx 反向代理多个后台服务端口 这天, 公司要求, 将后台各个服务的端口统一化 当时就在想, 这能弄成功吗, 但是公司要求这样弄 我一个小白, 弄这个当然是及其不愿意的 不过最后还是尝试了一下下(百度~) 最后发现, 没多难, 只是我自己不了解而已~(涨知识了) 最核心的配置文件如下 http 阅读全文