09 2020 档案

scrapy笔记-通用配置
摘要：1,调试scrapy 在工作中经常会用到调试功能, 下面是一种scrapy提供的方法, 代码如下: from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings ... 阅读全文
posted @ 2020-09-24 09:39 ibry 阅读(318) 评论(0) 推荐(0)
mysql实现递归查询
摘要：mysql 递归树查询 表名: tree 表结构(主要字段): id, name, parent_id 新建一个mysql 函数 drop FUNCTION if EXISTS getTrees; CREATE FUNCTION `getTrees`(rootId INT) RETURNS varc 阅读全文
posted @ 2020-09-16 12:01 ibry 阅读(2176) 评论(0) 推荐(0)
scrapy笔记-让scrapy在pycharm中debug运行
摘要：让scrapy在debug运行 编写scrapy的时候, 可能需要调试 下面写一种调试方法 在spider文件中最下方写上此代码就可以在右键调试了 if __name__ == '__main__': process = CrawlerProcess(get_project_settings()) 阅读全文
posted @ 2020-09-15 15:30 ibry 阅读(220) 评论(0) 推荐(0)
解决goland外部文件不提示问题
摘要：学go的时候, 用goland做编辑器 在安装gin的时候, 发现没有提示 找了几篇文章, 发现了问题 原因是本地设置了加速go下载外部文件的代理导致的 解决方法 进入goland设置 在环境变量那边填https://goproxy.io 这样就解决了, 纯记录~ 阅读全文
posted @ 2020-09-14 17:40 ibry 阅读(1144) 评论(0) 推荐(0)
scrapy笔记-setting
摘要：在Scrapy组件的特性可以用Scrapy设置进行修改。 这些设置也可以选择Scrapy项目当前处于活动状态的情况下，如果你有多个Scrapy项目。 指定的设置 您必须通知哪些当你放弃一个网站，你正在使用设置Scrapy。 为此，重点内容环境变量SCRAPY_SETTINGS_MODULE应使用其值 阅读全文
posted @ 2020-09-12 11:14 ibry 阅读(324) 评论(0) 推荐(0)
scrapy笔记
摘要：scrapy笔记 创建项目 scrapy startproject 项目名称 scrapy startproject httpbin_demo 看见下面输出, 就表示项目以创建好 You can start your first spider with: cd httpbin_demo scrapy 阅读全文
posted @ 2020-09-12 10:08 ibry 阅读(194) 评论(0) 推荐(0)
Nginx 反向代理多个后台服务端口
摘要：Nginx 反向代理多个后台服务端口 这天, 公司要求, 将后台各个服务的端口统一化 当时就在想, 这能弄成功吗, 但是公司要求这样弄 我一个小白, 弄这个当然是及其不愿意的 不过最后还是尝试了一下下(百度~) 最后发现, 没多难, 只是我自己不了解而已~(涨知识了) 最核心的配置文件如下 http 阅读全文
posted @ 2020-09-11 17:42 ibry 阅读(7757) 评论(0) 推荐(0)