听风是雨

摘要： 1.golang 官网下载很慢： 中科大镜像：http://mirrors.ustc.edu.cn/golang/ 2.go get 下载依赖很慢的问题: https://goproxy.io/zh/ 3.go mod 使用 1.创建文件:在目录下 使用 go mod init +模块名 2.启动项 阅读全文

摘要： 分片键 分片算法 分片策略 SQL Hint 分片键 用于分片的数据库字段，是将数据库(表)水平拆分的关键字段。例：将订单表中的订单主键的尾数取模分片，则订单主键为分片字段。 SQL中如果无分片字段，将执行全路由，性能较差。 除了对单分片字段的支持，ShardingSphere也支持根据多个字段进行 阅读全文

摘要： 逻辑表 水平拆分的数据库（表）的相同逻辑和数据结构表的总称。 例：订单数据根据主键尾数拆分为10张表，分别是t_order_0到t_order_9，他们的逻辑表名为t_order。 真实表 在分片的数据库中真实存在的物理表。即上个示例中的t_order_0到t_order_9。 数据节点 数据分片的 阅读全文

摘要： 参考官方文档:http://shardingsphere.apache.org/ ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均 阅读全文

摘要： 日常工作中写接口时,往往需要校验前端传来的枚举状态码,例如"1","2"等等, 这里使用java 303规范的参数校验框架封装一个自定义参数校验器: /** * @author: yq * @date: 2020/9/22 22:15 * @description 自定义参数校验注解,加在指定的需要 阅读全文

摘要： 前提： 首先要铺垫几个前置的知识： Java中的锁如sychronize锁是对象锁，Java对象头中具有标识位，当对象锁升级为重量级锁时，重量级锁的标识位会指向监视器monitor， 而每个Java对象关联唯一的监视器monitor，因为该关系，Java对象可以做synchronize锁的锁对象，也 阅读全文

摘要： scrapy 分页爬取以及xapth使用小技巧 这里以爬取www.javaquan.com为例: 1.构建出下一页的url: 很显然通过dom树,可以发现下一页所在的a标签 2.使用scrapy的yield scrapy.Reqeust(next_url,callback=self.parse) 构 阅读全文

摘要： logging模块的使用: 1.在scrapy中使用 2.在普通项目中使用 阅读全文

摘要： Pipline: 1.爬虫项目与爬虫的区别与关联: 一个爬虫项目可以包含多个爬虫,如下图中爬虫项目firstspider 包含多个爬虫itcst 和爬虫itcast1 2.多个爬虫是公用一套Pipline组件的,在Pipline组件中如何区分不同的爬虫? 方法一: 在爬虫中使用自定义键,然后在一个p 阅读全文

摘要： 原文参考 https://mp.weixin.qq.com/s/ptFBjWXj88fsI3Oh6PghRA 1. GitHub 镜像访问 这里提供两个最常用的镜像地址： https://github.com.cnpmjs.org https://hub.fastgit.org 也就是说上面的镜像就 阅读全文