WebMagic使用代理ip爬数据解决HTTP407问题
摘要：
在运行爬数据程序时，返回http的407错误。经了解，407是授权错误，要求代理身份验证。 阅读全文
posted @ 2019-08-30 12:10 buguge 阅读(4275) 评论(0) 推荐(0)
2019年8月30日 #
2019年8月5日 #
事务场景中，抛出异常被catch后，如果需要回滚，一定要手动回滚事务
摘要：
事务场景中，抛出异常被手动catch后，如果需要回滚事务，一定要手动回滚事务。 阅读全文
posted @ 2019-08-05 19:15 buguge 阅读(1988) 评论(1) 推荐(1)
2019年8月2日 #
记一次mq无法正常生产消息的事故排查过程
摘要：
继续分析log，奇怪地发现在这两次往mq放数据之前，都有一个奇怪的Restarting Consumer。 阅读全文
posted @ 2019-08-02 16:07 buguge 阅读(4326) 评论(0) 推荐(0)
2019年8月1日 #
未能找到元数据文件**.dll解决办法
摘要：
当前项目的.netframework版本是4.5，依赖的GateWay.Models的版本是4.8。修改为4.5后，问题解决 阅读全文
posted @ 2019-08-01 11:04 buguge 阅读(4633) 评论(0) 推荐(0)
2019年7月30日 #
mysql常用指令 / mysql常用命令 / mysql常用语句--mysql事务--mysql跨表update--mysql字符串与时间互转（varchar<->datetime）--mysql如何修改数据库名--mysql cast函数--show full processlist
摘要：
mysql常用sql--mysql跨表update--mysql字符串与时间互转（varchar<->datetime）--mysql如何修改数据库名--mysql cast函数--show full processlist 阅读全文
posted @ 2019-07-30 17:10 buguge 阅读(209) 评论(0) 推荐(0)
2019年7月26日 #
面试官说“一开始工资不会给你太高，你可以接受吗？” 怎么怼回去？？
摘要：
面试官：“你简历上写着说你心算速度很快，那我问问你，十九乘以十七是多少？”
程序员脱口而出：“No bean named 'emaxcardClient' is defined” 阅读全文
posted @ 2019-07-26 00:00 buguge 阅读(622) 评论(0) 推荐(0)
2019年7月19日 #
使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截
摘要：
因为这是个服务器点对点通信，所以若要从安全方面控制，应该通过诸如ip白名单的方式，而不是通过User-Agent判断是不是浏览器请求。 阅读全文
posted @ 2019-07-19 16:21 buguge 阅读(5291) 评论(0) 推荐(1)
2019年7月18日 #
MD5是个好东西 / MD5 is a nice guy
摘要：
只要消息不变，其md5值就不变。正因为这一点，md5也不光用在接口通讯上，我们的程序中也大可借用这一特性来保证消息（数据）的唯一性。 阅读全文
posted @ 2019-07-18 11:18 buguge 阅读(498) 评论(0) 推荐(0)
2019年7月9日 #
“强大”的MapPPP
摘要：
众所周知，org.apache.commons.lang3包里提供了StringUtils，用来对字符串判空、去除空格（trim）、取子串、去头去尾（strip），等等处理。apache之所以提供这个工具包，很容易理解，通过封装基本的操作，让我们只需关注企业应用开发即可。这样，一方面提高了开发效率，另一方面，更重要的，使得程序更易读易维护。这就是它的强大之处，许多的工具和框架也都是基于这样的理念。再来说StringCheckUtils，其实，和MapPPP一样，也是基于这个理念的延伸。 阅读全文
posted @ 2019-07-09 15:42 buguge 阅读(626) 评论(0) 推荐(0)
2019年7月8日 #
别不信！servlet获取到的参数值，也许完全出乎你的意料！
摘要：
今天在对生产排障时，奇怪的发现，查单的sql语句里，orderNo的值是“123,null”或“123,123”，最后发现原来是页面和webcontroller交互处理不当导致的。 阅读全文
posted @ 2019-07-08 20:39 buguge 阅读(598) 评论(0) 推荐(0)
2019年7月1日 #
【思维一转天地宽】根据银行卡号如何判断是对公户还是个人户？
摘要：
我们是有校验卡bin的，但问题是，根据卡bin无法识别出来卡号是公户还是私户的。 阅读全文
posted @ 2019-07-01 16:31 buguge 阅读(3297) 评论(0) 推荐(0)
2019年6月28日 #
spring读取property配置的N种方式
摘要：
@Value注解 @Value("${ddd}") <!-- 加载配置属性文件 --> <context:property-placeholder ignore-unresolvable="true" location="classpath:jeesite.properties" /> <!-- 读 阅读全文
posted @ 2019-06-28 15:02 buguge 阅读(738) 评论(0) 推荐(0)
2019年6月14日 #
Oracle常用sql---将字符串转换为时间--Oracle计算时间差函数
摘要：
Oracle常用sql---将字符串转换为时间-Oracle计算时间差函数 阅读全文
posted @ 2019-06-14 20:36 buguge 阅读(10602) 评论(0) 推荐(0)
2019年6月13日 #
①新项目的代码要封版，如何操作gitlab，从开发分支合并代码到master分支？②gitlab设置项目组成员权限
摘要：
scm git setting菜单：Default Branch；Protected Branches 阅读全文
posted @ 2019-06-13 21:57 buguge 阅读(14577) 评论(0) 推荐(0)
2019年6月11日 #
tomcat与jetty接收请求参数的区别
摘要：
我的Tomcat版本是7.0.93;jetty版本是6.1.26。通过比较两者的servlet-api.jar，发现Tomcat7的servlet-api的版本是3.0，而jetty的servlet-api的版本是2.5。或许是这种版本的差异导致结果不同。 阅读全文
posted @ 2019-06-11 12:01 buguge 阅读(1336) 评论(0) 推荐(0)
2019年6月10日 #
JWT令牌/JwtToken
摘要：
JWT代表JSON Web Token，它是一种用于在网络应用之间安全传输信息的开放标准（RFC 7519）。JWT令牌由三个部分组成，以点号（.）分隔： 头部（Header）：包含令牌的类型（即"JWT"）和所使用的签名算法（例如HMAC、RSA或ECDSA）。 有效载荷（Payload）：也称为 阅读全文
posted @ 2019-06-10 17:21 buguge 阅读(3178) 评论(0) 推荐(0)
2019年4月15日 #
zookeeper的使用demo（c#/java）
摘要：
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。
Zookeeper的使用主要是通过创建ZooKeeper实例，并且调用其接口方法进行的，主要的操作就是对znode的增删改查操作，监听znode的变化以及处理。 阅读全文
posted @ 2019-04-15 19:27 buguge 阅读(1513) 评论(0) 推荐(0)
2019年4月11日 #
【备忘】mybatis的条件判断用<choose>
摘要：
mybatis并没有if..else，在mybatis的sql mapper文件中，条件判断要用choose..when..otherwise 阅读全文
posted @ 2019-04-11 19:12 buguge 阅读(3072) 评论(0) 推荐(0)
2019年3月26日 #
不忘初心，方得始终。内存数据刷新改造小记
摘要：
JedisCluster jc = JedisClusterUtil.getJedisCluster();
jc.get(areaStr_Key);
jc.setex(areaStr_Key, "1", 300); 阅读全文
posted @ 2019-03-26 20:55 buguge 阅读(486) 评论(0) 推荐(0)
2019年3月4日 #
又见thrift异常之TApplicationException: Internal error processing..
摘要：
也就是说，服务端程序处理出现未经捕获的Runtime异常，自然，客户端调用这个RPC接口就抛出了Internal error processing** 阅读全文
posted @ 2019-03-04 11:18 buguge 阅读(8083) 评论(0) 推荐(0)
2019年2月19日 #
DES加密算法java&c#
摘要：
des加密算法有如下几个要素：
DES加密模式：这里选ECB
填充：java是pkcs5padding，.net是pkcs7padding。网上说PKCS5Padding与PKCS7Padding基本上是可以通用的。
字符集：utf-8
输出：base64、hex
密码/Key：8个字符（共64位）------java要求传24个字符，不过加密也是截取的前8位
待加密/解密的文本 阅读全文
posted @ 2019-02-19 19:22 buguge 阅读(1424) 评论(0) 推荐(0)
2019年1月11日 #
log4j2配置ThresholdFilter，让info文件记录error日志
摘要：
a）ThresholdFilter属性：onMatch表示匹配设定的日志级别后是DENY还是ACCEPT，onMismatch表示不匹配设定的日志级别是DENY还是ACCEPT还是NEUTRAL
b）上面说的match/misMatch指的是高于或等于设定的日志级别。所以，要先定义日志级别高的Filter。 阅读全文
posted @ 2019-01-11 18:54 buguge 阅读(22970) 评论(0) 推荐(2)
2018年12月26日 #
Thrift常见异常及原因分析
摘要：
以下是thrift的客户端和服务端交互的一个原理图。可以看到遵循了rpc框架的传输层、协议层和应用层三层。本文提到的异常就是与这三层相对应的传输异常TTransportException（ConnectException、SocketTimeoutException）、协议异常TProtocolException和应用异常TApplicationException。 阅读全文
posted @ 2018-12-26 21:43 buguge 阅读(32568) 评论(0) 推荐(4)
2018年12月18日 #
fastjson序列化出现StackOverflowError
摘要：
我们知道fastjson是基于流写入的。不难看出，在调用getCurrentUser时，因为currentUser是null，所以要给currentUser初始化，这时fastjson又要调用其getCurrentUser方法，然后又因为currentUser是null而不得不再给currentUser初始化，如此反复。。。，必然导致StackOverflow。 阅读全文
posted @ 2018-12-18 21:17 buguge 阅读(11157) 评论(2) 推荐(1)
mysql执行update语句受影响行数是0
摘要：
mybatis连接mysql数据库，发现同一个update执行多次，返回的int值都是1。 我记得同样的update再次执行时 受影响行数是0。 后来发现，我之前一直用的SQLyog是这样子的。 原来，不同的连接客户端执行update给出的受影响行数不同。如下是navicat for mysql，J 阅读全文
posted @ 2018-12-18 20:41 buguge 阅读(9722) 评论(2) 推荐(0)
浙公网安备 33010602011771号