我从二院来

摘要： 分享一下本周SQL优化的两个场景。 如果能对读者有一定的启发，共同探讨，不胜荣幸。 版本信息：mysql,5.7.19 引擎: innodb ## 场景1 我们有一张常口表，里面的数据由各种数据源合并而来，所以人员可能有多个手机号其中还包括座机号。这点在这篇文章里也分享过。https://jueji 阅读全文

摘要： 说到全文检索的分词，多半讲到的是中(日韩)文分词，少有英文等拉丁文系语言，因为英语单词天然就是分词的。 但更少讲到阿拉伯数字。比如金额，手机号码，座机号码等等。 以下不是传统的从0开始针对mysql全文索引前世今生讲起。 我更喜欢从一个小问题入手，见缝插针的将相关的知识点，以非时间线性顺序零散穿插起 阅读全文

摘要： 著名面试八股文之kafka为什么读写效率高，写的答案之一是partition顺序写，因而能保证分区内的不连续的有序性。 这里的重点是有序追加到磁盘，而不是严格意义上的完全有序性。 几年前参加了一大数据岗位面试，95%的时间在扯java基础（这个可以有）和java web相关。剩下大约5%的时间换了人 阅读全文

摘要： 闲来无事，想起这些年也算给起点贡献了不少流量和金钱。 在起点的会员订阅规则里，如下图所示，重点关注2，3和6点，一个是怎么算钱的，一个是怎么算字数的。 计费跟字数相关，归根结底，都是怎么算钱的事儿。 1. 怎么算字数 “作品字数以起点计数系统为准。” 起点没有公布计数系统的统计标准。所以就有了本文， 阅读全文

摘要： 如果你会任意一门语言的stream流，没道理不会大数据开发。 俗话说男追女隔座山，女追男隔层纱。 如果说零基础学大数据，感觉前面是一座山，那么只要你会java或者任意一门语言的stream流，那大数据就只隔了一层纱。 本文以java stream流计算为例，讲解一些基础的spark操作。另一个流行的 阅读全文

摘要： 事情起因是，摸鱼的时候在某平台刷到一篇spring事务相关的博文，文章最后贴了一张图。里面关于嵌套事务的表述明显是错误的。 更奇怪的是，这张图有点印象。在必应搜索关键词PROPAGATION_NESTED出来的第一篇文章，里面就有这这部份内容，也是结尾部份完全一模一样。 更关键的是，人家原文是表格， 阅读全文

摘要： 工作中遇到事务一般使用声明式事务，一个注解@Transactional搞定。编程式事务则显得略繁琐。 @Autowired private PlatformTransactionManager transactionManager; public void service() throws Exce 阅读全文

摘要： 0.背景 现在有一个大数据平台，我们需要通过spark对hive里的数据读取清洗转换(etl)再加其它的业务操作的过程，然后需要把这批数据落地到tbase数据库(腾讯的一款分布式数据库)。 数据导入的特点是不定时，但量大。每次导入的数据量在几亿到几十亿上百亿之间。 如果使用dataset.write 阅读全文

摘要： 前几天写了篇关于fastjson的文章，《fastjson很好，但不适合我》。里面探讨到关于对象循环引用的序列化问题。作为spring序列化的最大竞品，在讨论fastjson的时候肯定要对比一下jackson的。所以我也去测试了一下Jackson在对象循环引用的序列化的功用，然后有了一点意外的小发现 阅读全文

摘要： 记者：大爷您有什么特长呀？ fastjson:我很快。 记者：23423乘以4534等于多少？ fastjson:等于2343. 记者：？？ fastjson:你就说快不快吧！ 这个略显马丽苏的标题，各位看官将就着看吧。主要是怕被喷。fastjson真的很好，我用不用的我喜不喜欢的，太不重要了，我只 阅读全文