摘要：
一、使用分布式锁要满足的几个条件： 系统是一个分布式系统（关键是分布式，单机的可以使用ReentrantLock或者synchronized代码块来实现） 共享资源（各个系统访问同一个资源，资源的载体可能是传统关系型数据库或者NoSQL） 同步访问（即有很多个进程同事访问同一个共享资源。没有同步访问 阅读全文
摘要：
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的 阅读全文
摘要：
本文主要介绍在Linux（CentOS）下将Python的版本升级为3.5.2的方法 众所周知，在2020年python官方将不再支持2.7版本的python，所以使用3.x版本的python是必要的，但是linux中默认安装的python一般是2.6和2.7版本的，要是使用linux下的pytho 阅读全文
摘要：
MySQL闪回原理与实战 DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会 阅读全文
摘要：
Java线程状态 线程的五种状态 * 新建：new（时间很短） * 运行：runnable * 等待：waitting(无限期等待),timed waitting(限期等待) * 阻塞：blocked * 结束：terminated（时间很短） Jvm监控工具 一、jstack 介绍： jstack 阅读全文
摘要：
概述 1.Spring Boot聚合工程打包war部署Tomcat 2.Spring Boot打包Jar,通过Java -jar直接运行. 3.提供完整pom.xml测试项目 至github 4.项目目前了集成了 Spring Boot + Spring data jpa +Redis集群+dubb 阅读全文
摘要：
解决办法不外乎有三个：1、多条sql分批执行；2、存储过程或函数调用；3、sql批量执行。 MyBatis中如何一次执行多条语句（使用mysql数据库）： 1、修改数据库连接参数加上allowMultiQueries=true，如： hikariConfig.security.jdbcUrl=jdb 阅读全文
摘要：
CasperJS运行在PhantomJS之上，其实也是启用PhantomJS的远程调试功能 PhantomJS 是一个无图形界面的浏览器，它支持各种Web标准：DOM处理，CSS选择器，JSON，Canvas和SVG。且支持win,linux,osx平台。 下载地址:phantomjs: http: 阅读全文
摘要：
java主线程等待所有子线程执行完毕在执行，这个需求其实我们在工作中经常会用到，比如用户下单一个产品，后台会做一系列的处理，为了提高效率，每个处理都可以用一个线程来执行，所有处理完成了之后才会返回给用户下单成功。 我们通过以下的几种方法来解决： 一、使用Thread的join()等待所有的子线程执行 阅读全文
摘要：
前言 前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。 一、作业的默认配置 MapReduce程序的默认配置 1）概述 在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不 阅读全文
摘要：
前言 前面的一篇给大家写了一些MapReduce的一些程序，像去重、词频统计、统计分数、共现次数等。这一篇给大家介绍的是关于Combiner优化操作。 一、Combiner概述 1.1、为什么需要Combiner 我们map任务处理的结果是存放在运行map任务的节点上。 map处理的数据的结果在进入 阅读全文
摘要：
一、统计好友对数（去重） 1.1、数据准备 joe, jon joe , kia joe, bob joe ,ali kia, joe kia ,jim kia, dee dee ,kia dee, ali ali ,dee ali, jim ali ,bob ali, joe ali ,jon j 阅读全文
摘要：
阅读目录(Content) 一、MapReduce并行处理的基本过程 二、MapRrduce输入与输出问题 三、MapReduce实际处理流程 四、一个job的运行流程 4.1、提交作业 4.2、作业初始化 4.3、任务的分配 4.4、任务的执行 4.5、更新任务的执行进度和状态 4.6、任务完成 阅读全文
摘要：
阅读目录(Content) 一、写一个MapReduce程序例子 1.1、数据准备 1.2、需求分析 1.3、编写一个解析类解析天气数据 1.4、编写一个MapReduce程序求1992I年的最高温度 1.5、使用Maven打包Jar包上传到Hadoop客户端的Linux服务器中 二、分析上面Map 阅读全文
摘要：
阅读目录(Content) 一、背景 二、大数据的并行计算 三、Hadoop的MapReduce概述 3.1、需要MapReduce原因 3.2、MapReduce简介 3.3、MapReduce编程模型 四、编写MapReduce程序 4.1、数据样式与环境 4.2、需求分析 4.3、代码实现 3 阅读全文