摘要: 前言: guava提供的eventbus可以很方便的处理一对多的事件问题, 最近正好使用到了,做个小结,使用的demo网上已经很多了,不再赘述,本文主要是源码分析+使用注意点+新老版本eventbus实现方式对比 一.原理 将定义的hander注册到eventbus中,eventbus遍历该hand 阅读全文
posted @ 2021-01-24 15:30 tele 阅读(905) 评论(0) 推荐(0) 编辑
摘要: 事情的开始要从周一说起,那天晚上我正常编译打包准备更换部件,这时突然发现maven有个选项是debug maven compile,遂感到奇怪,这玩意有啥用??,唯一能想到的是编译时进行debug,但具体的应用场景不清楚,自从架构升级到中台之后,我们负责的模块再也没有控制器了,统一放到了网关部件,网 阅读全文
posted @ 2020-09-12 21:07 tele 阅读(1096) 评论(1) 推荐(0) 编辑
摘要: 书上给的例子都是ABCABC这种,比较简单,复杂点的如A0B0C0, A0A1A2没有,手动实现下,做个记录 1. A0 A1 A2 A3 2.单condition实现ABC ABC ABC 3.多个condition实现ABC ABC 4.A0 B0 C0 A1 B1 C1 A2 B2 C2 5. 阅读全文
posted @ 2019-12-27 13:52 tele 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 环境: jdk:1.8 cas server:5.3.14 + tomcat 8.5 cas client:3.5.1 客户端1:springmvc 传统web项目(使用web.xml) 客户端2:springboot 参考博客:https://blog.csdn.net/anumbrella/ca 阅读全文
posted @ 2019-12-11 20:02 tele 阅读(3927) 评论(0) 推荐(1) 编辑
摘要: java中重写equals表面上看只涉及equals与hashCode两个方法,但如果仔细考虑发现重写一个逻辑完整的equals并不容易,需要考虑克隆,继承(多态)等问题,下面是最近的几点心得 1.先使用==进行判断,==判断的是hashCode是否相等,可以姑且理解为对象的"内存地址",所以重写e 阅读全文
posted @ 2019-10-06 22:59 tele 阅读(1076) 评论(0) 推荐(0) 编辑
摘要: 添加依赖 一.基本类型参数(String)校验 1.注解要写在接口中,实现类会自动继承,如果实现类的某个重写方法没有加上了注解,接口中却没有定义,运行时会产生redefine异常 接口: User getUserById(@NotNull(message = "uid不能为null") @Min(v 阅读全文
posted @ 2019-09-16 19:33 tele 阅读(2614) 评论(0) 推荐(0) 编辑
摘要: 一.使用插件 tomcat 8.5 tomcat-users.xml中添加这一行就ok <user username="admin" password="admin" roles="manager-script"/> maven的settings.xml在servers标签中添加 <server> 阅读全文
posted @ 2019-09-12 17:54 tele 阅读(1801) 评论(0) 推荐(0) 编辑
摘要: 1.创建redis-cluster文件夹,拷贝reids下的bin目录全部文件到redis-cluster文件夹下 cp -a redis/bin redis-cluster/redis01 2.编辑redis01下的redis.conf,修改端口为7001,设置cluster-enabled ye 阅读全文
posted @ 2019-09-04 17:59 tele 阅读(212) 评论(0) 推荐(0) 编辑
摘要: redis是单线程的(4.0之前),keys查询键类似hbase的全表扫描(也可以理解为select *),大数据量时非常耗时,因此官方给出了scan,使用scan类似数据库分页,可以指定查询多少个元素,官网的说明是scan是一种遍历,只不过可以用count指定每次查询多少个元素 语法:scan c 阅读全文
posted @ 2019-09-02 22:37 tele 阅读(4477) 评论(0) 推荐(0) 编辑
摘要: 说明: 1.清晰度的选择要登录,暂时还没做,目前下载的视频清晰度都是默认的480P 2.进度条仿linux的,参考了一些博客修改了下,侵删 3.其他评论,弹幕之类的相关爬虫代码放在了https://github.com/teleJa/bilibili 4.判断sys.argv那个地方是因为一些爬虫调 阅读全文
posted @ 2019-07-18 16:48 tele 阅读(3235) 评论(0) 推荐(0) 编辑
摘要: 需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 阅读全文
posted @ 2019-05-04 19:52 tele 阅读(891) 评论(0) 推荐(0) 编辑
摘要: 毕设需要大量的商品评论,网上找的数据比较旧了,自己动手 代理池用的proxypool,github:https://github.com/jhao104/proxy_pool ua:fake_useragent 1 # 评价较多的店铺(苏宁推荐) 2 https://tuijian.suning.c 阅读全文
posted @ 2019-04-16 20:47 tele 阅读(1554) 评论(0) 推荐(0) 编辑
摘要: 抓包时发现子菜单请求数据时一般需要rid,但的确存在一些如游戏->游戏赛事不使用rid,对于这种未进行处理,此外rid一般在主菜单的响应中,但有的如番剧这种,rid在子菜单的url中,此外返回的data中含有页数相关信息,可以据此定义爬取的页面数量 可以看到番剧少了新番时间表与番剧索引,因为这两个请 阅读全文
posted @ 2019-04-08 21:51 tele 阅读(4264) 评论(0) 推荐(0) 编辑
摘要: 版本一:使用shutil进行拷贝 这样做仍然有些小问题,对于大文件可以在进程内部采用多线程的方式,可以看到使用shutil进行拷贝时我们没有办法实现字节切割,于是有了下面的版本二 版本二: 阅读全文
posted @ 2019-04-04 20:01 tele 阅读(2648) 评论(0) 推荐(0) 编辑
摘要: 使用线程池: 阅读全文
posted @ 2019-04-04 16:34 tele 阅读(1006) 评论(0) 推荐(0) 编辑
摘要: pc版大概有500条记录,mobile大概是50部,只有热门的,所以少一点 url构造很简单,主要参数就是page_limit与page_start,每翻一页,start+=20即可,tag是"美剧"编码后的结果,直接带着也可以,用unquote解码也可以,注意headers中一定要带上refer 阅读全文
posted @ 2019-03-20 21:00 tele 阅读(667) 评论(0) 推荐(0) 编辑
摘要: 标题和内容尽量用正常的内容,否则会被标识为垃圾邮件,被系统退回,附件越大,发送的时间越长 阅读全文
posted @ 2019-03-17 19:31 tele 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 网上找的大部分资料都很旧,最后翻了下文档只找到了说明 大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下 java (注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径) scala scala的版本用的本地路径,测试发现 阅读全文
posted @ 2019-02-15 20:08 tele 阅读(1092) 评论(0) 推荐(0) 编辑
摘要: 一.不使用spark 二.在spark集群上运行wordcount 新建一个maven工程 pom.xml 导出jar并上传,同时上传word.txt到hdfs上 编写scalawordcount.sh chmod 777 scalawordcount.sh ./scalawordcount.sh 阅读全文
posted @ 2018-12-23 19:16 tele 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 由于之前已经搭建过hadoop相关环境,现在搭建spark的预备工作只有scala环境了 一,配置scala环境 1.解压tar包后,编辑/etc/profile 2.source /etc/profile 3.scala -version 4.分发到其他两台机器上 二.搭建spark集群 1.配置 阅读全文
posted @ 2018-12-20 16:49 tele 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 1.下载源码包wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.22.0.tar.gz2.解压后 make configure 出现问题执行: yum install autoconf yum install zlib y 阅读全文
posted @ 2019-09-17 16:52 tele 阅读(546) 评论(0) 推荐(0) 编辑
摘要: 核心关键在于定义一个RedisCache实现mytis实现的Cache接口 定义中间类,注入工具类 工具类 在对应的mapper.xml中添加cache标签 测试的时候还是先加载ClassPathXmlContext,然后获得sqlSession,注意mybatis的增删改,flushCache=t 阅读全文
posted @ 2019-09-16 20:05 tele 阅读(846) 评论(0) 推荐(0) 编辑