摘要：
一、使用分布式锁要满足的几个条件： 系统是一个分布式系统（关键是分布式，单机的可以使用ReentrantLock或者synchronized代码块来实现） 共享资源（各个系统访问同一个资源，资源的载体可能是传统关系型数据库或者NoSQL） 同步访问（即有很多个进程同事访问同一个共享资源。没有同步访问 阅读全文
posted @ 2018-05-24 14:00
jstarseven
阅读(1522)
评论(0)
推荐(0)
摘要：
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的 阅读全文
posted @ 2018-05-11 15:25
jstarseven
阅读(1681)
评论(0)
推荐(0)
摘要：
本文主要介绍在Linux（CentOS）下将Python的版本升级为3.5.2的方法 众所周知，在2020年python官方将不再支持2.7版本的python，所以使用3.x版本的python是必要的，但是linux中默认安装的python一般是2.6和2.7版本的，要是使用linux下的pytho 阅读全文
posted @ 2018-04-24 15:22
jstarseven
阅读(1667)
评论(0)
推荐(0)
摘要：
MySQL闪回原理与实战 DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会 阅读全文
posted @ 2018-04-23 16:34
jstarseven
阅读(1594)
评论(0)
推荐(0)
摘要：
Java线程状态 线程的五种状态 * 新建：new（时间很短） * 运行：runnable * 等待：waitting(无限期等待),timed waitting(限期等待) * 阻塞：blocked * 结束：terminated（时间很短） Jvm监控工具 一、jstack 介绍： jstack 阅读全文
posted @ 2018-04-19 15:33
jstarseven
阅读(7564)
评论(0)
推荐(0)
摘要：
概述 1.Spring Boot聚合工程打包war部署Tomcat 2.Spring Boot打包Jar,通过Java -jar直接运行. 3.提供完整pom.xml测试项目 至github 4.项目目前了集成了 Spring Boot + Spring data jpa +Redis集群+dubb 阅读全文
posted @ 2018-04-19 10:29
jstarseven
阅读(1773)
评论(0)
推荐(0)
摘要：
解决办法不外乎有三个：1、多条sql分批执行；2、存储过程或函数调用；3、sql批量执行。 MyBatis中如何一次执行多条语句（使用mysql数据库）： 1、修改数据库连接参数加上allowMultiQueries=true，如： hikariConfig.security.jdbcUrl=jdb 阅读全文
posted @ 2018-03-09 09:57
jstarseven
阅读(3224)
评论(0)
推荐(0)
摘要：
CasperJS运行在PhantomJS之上，其实也是启用PhantomJS的远程调试功能 PhantomJS 是一个无图形界面的浏览器，它支持各种Web标准：DOM处理，CSS选择器，JSON，Canvas和SVG。且支持win,linux,osx平台。 下载地址:phantomjs: http: 阅读全文
posted @ 2018-02-08 18:03
jstarseven
阅读(1628)
评论(0)
推荐(0)
摘要：
java主线程等待所有子线程执行完毕在执行，这个需求其实我们在工作中经常会用到，比如用户下单一个产品，后台会做一系列的处理，为了提高效率，每个处理都可以用一个线程来执行，所有处理完成了之后才会返回给用户下单成功。 我们通过以下的几种方法来解决： 一、使用Thread的join()等待所有的子线程执行 阅读全文
posted @ 2018-01-25 15:29
jstarseven
阅读(1658)
评论(0)
推荐(0)
摘要：
前言 前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。 一、作业的默认配置 MapReduce程序的默认配置 1）概述 在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不 阅读全文
posted @ 2017-11-24 15:52
jstarseven
阅读(876)
评论(0)
推荐(0)
摘要：
前言 前面的一篇给大家写了一些MapReduce的一些程序，像去重、词频统计、统计分数、共现次数等。这一篇给大家介绍的是关于Combiner优化操作。 一、Combiner概述 1.1、为什么需要Combiner 我们map任务处理的结果是存放在运行map任务的节点上。 map处理的数据的结果在进入 阅读全文
posted @ 2017-11-24 15:50
jstarseven
阅读(402)
评论(0)
推荐(0)
摘要：
一、统计好友对数（去重） 1.1、数据准备 joe, jon joe , kia joe, bob joe ,ali kia, joe kia ,jim kia, dee dee ,kia dee, ali ali ,dee ali, jim ali ,bob ali, joe ali ,jon j 阅读全文
posted @ 2017-11-24 15:49
jstarseven
阅读(501)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、MapReduce并行处理的基本过程 二、MapRrduce输入与输出问题 三、MapReduce实际处理流程 四、一个job的运行流程 4.1、提交作业 4.2、作业初始化 4.3、任务的分配 4.4、任务的执行 4.5、更新任务的执行进度和状态 4.6、任务完成 阅读全文
posted @ 2017-11-24 15:47
jstarseven
阅读(529)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、写一个MapReduce程序例子 1.1、数据准备 1.2、需求分析 1.3、编写一个解析类解析天气数据 1.4、编写一个MapReduce程序求1992I年的最高温度 1.5、使用Maven打包Jar包上传到Hadoop客户端的Linux服务器中 二、分析上面Map 阅读全文
posted @ 2017-11-24 15:43
jstarseven
阅读(425)
评论(0)
推荐(0)
摘要：
阅读目录(Content) 一、背景 二、大数据的并行计算 三、Hadoop的MapReduce概述 3.1、需要MapReduce原因 3.2、MapReduce简介 3.3、MapReduce编程模型 四、编写MapReduce程序 4.1、数据样式与环境 4.2、需求分析 4.3、代码实现 3 阅读全文
posted @ 2017-11-24 15:42
jstarseven
阅读(517)
评论(0)
推荐(0)
浙公网安备 33010602011771号