12 2018 档案
摘要：前端时间在研究Storm,并基于Storm实现了一地区热力图统计项目，如下图所示；基于高德地图的热力图实时统计某地区的人口密集程度并及时推送给前台用户展示；（注：此处使用场景并不合适，只是用于个人技术预研） 项目地址：https://github.com/zlAdmin/didactic-enigm
阅读全文
摘要：一：Mysql基准测试 1、什么是基准测试 数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。 基准测试与压力测试 基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑，更加简单、直接、易于测试，数据可以由工具生成，不要求真实；而压力测试一般考虑业务逻辑(如购物车
阅读全文
摘要：说完ThreadLocal，感觉到ThreadLocal的功能强大，但是如果出现父子线程那么子线程如何获取到父线程的线程变量呢？
阅读全文
摘要：字面意思：循环障碍？ 它要做的事情是，让一组线程到达一个屏障（也可以叫同步点）时被阻塞，直到最后一个线程到达屏障时，屏障才会开门，所有被屏障拦截的线程才会继续干活。 先直接上代码: 结果： 分析：线程进入执行，调用barrier.await()方法，阻塞想吃，当阻塞线程数达到规定数后，唤醒全部阻塞线
阅读全文
摘要：场景：主线程运行，到一定点之后，由于任务比较重，则线程执行，同时可以执行的线程数为n，等待每个线程都执行完毕后主线程继续往下执行； CountDownLunch即可实现计数操作，等待所有线程执行完毕后主线程开始执行； Semaphore即可控制共享资源的最大线程数，通过semaphore.acqui
阅读全文
摘要：ReentrantLock是AQS提供的可重入锁，一般和Condition配合使用，达到对线程分组唤醒功能；Condition中的wait()和signal()方法等同Object的wait()和notify()方法； 1.ReentrantLock重入锁使用： 1.1 代码 1.2运行结果： 1.
阅读全文
摘要：什么是声明式事务？什么是编程式事务？ 声明式事务：即咱们在类上或者是方法上加上的@Transactional注解，建立在AOP之上的；其本质是对方法前后进行拦截，然后在目标方法开始之前创建或者加入一个事务，在执行完目标方法之后根据执行情况提交或者回滚事务。声明式事务最大的优点就是不需要通过编程的方式
阅读全文
摘要：这几天工作的时候遇到这样一个需求，需要以用户的维度对列表展示的内容实现可自定义配置列功能，并且后端返回的值没有冗余值。由于系统之前并没有此设计，需要短期实现又不想大动代码，功能基本实现；但是在后台返回列表数据没有冗余的时候发现基本每个返回列表的接口都需要有所修改，而且都是一些重复的修改，所以就想到通
阅读全文
摘要：一：有哪些因素影响mysql性能 在一个类似此结构的服务器架构是哪些方面影响该服务器性能： QPS：每秒钟处理的查询量；sql查询速度，效率低下的sql会随着访问量来严重影响效率；比如10ms处理1个sql，那么QPS<=100 TPS： 并发量&CPU使用率：并发量是指同一时间处理请求的数量,大并
阅读全文
摘要：一：Object是所有类的父类，即我们写的所有类都默认继承了此类，所有对象包括数组都实现了该类的方法；那么此类的方法是都应该有所了解的 下图给出JDK10中Object类的方法： 1.hashCode()方法 对象之间常用到equals方法，当对比两个对象的时候，通过hash生成一个对象的hash码
阅读全文
摘要：git init 初始化本地git仓库 git remote add origin git*******.git 建立远程连接 eg：git remote add origin https://github.com/alibaba/transmittable-thread-local.git git
阅读全文
摘要：Centos7 默认防火墙关闭 最近，服务器安装了httpd，无法访问默认首页。 执行 iptables -L -n 看到防火墙有开启。 因为之前都用的 Centos6.5，特此记录下： CentOS7这个版本的防火墙默认使用的是firewall，与之前的版本使用iptables不一样。按如下方便配
阅读全文
摘要：使用版本：hadoop-2.6.0-cdh5.7.0 需要修改的文件：yarn-site.xml mapred-site.xml 1.修改配合文件：etc/hadoop/mapred-site.xml: 告诉yarn框架MapReduce是跑在yarn之上的 编辑时候发现没有mapred-site.
阅读全文
摘要：YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度 YARN架构： 1）ResourceManager：RM 整个集群中同一时间只有一个提供服务，负责集群资源的统一管理和调度； 处理客户端请求，提交一个作业、杀死一个作业； 监控NM，一旦NM挂了，那么该NM上运行的任务需要
阅读全文
摘要：搭建环境为：IDEA+MAVEN创建工程 步骤1：打开IDEA，新建项目，选择maven-archetype-quickstart，创建成功后如图： 步骤2：添加hadoop的maven依赖 此处添加依赖为：
阅读全文
摘要：此处主要介绍一下命令： 1：ls 查询根目录下的文件； 递归查看根，目录下所有的文件和目录：hadoop fs -ls -R / 2：mkdir 在根目录上创建一个test文件夹 查看：hadoop fs -l / 就可以看到下面文件：一个上传的test.txt文件和一个test的文件夹 递归创建文
阅读全文
摘要：前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标
阅读全文
摘要：什么是Hadoop？ 开源的，可靠的，可扩展，分布式的计算框架；可以搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务；（搜索引擎，日志分析，商业智能，数据分析） hadoop的模块： Hadoop Common ： HDFS： YARN： MapReduce： Hadoop核心组件之分布式
阅读全文
浙公网安备 33010602011771号