11 2018 档案
摘要：概括起来说，对于多线程资源共享的问题，同步机制采用了“以时间换空间”的方式，而ThreadLocal采用了“以空间换时间”的方式。前者仅提供一份变量，让不同的线程排队访问，而后者为每一个线程都提供了一份变量，因此可以同时访问而互不影响。 ThreadLocal 并不能替代同步机制，两者面向的问题领域
阅读全文
摘要：输出2147359167,123456 可以简单满足混淆，和恢复的需求
阅读全文
摘要：package jesse.test1; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; // 生产者 class Producer implements Runnable{ private BlockingQueue queue; ...
阅读全文
摘要：package jesse.test1; import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java...
阅读全文
摘要：package jesse.test1; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.InetAddress; import java.net.ServerSocke...
阅读全文
摘要：Cglib动态代理采用的是创建目标类的子类的方式。优点：不用实现额外接口，只操作我们关心类，高性能。
阅读全文
摘要：JDK代理，非常简单地实现了动态代理（首先是实现对应的InvocationHandler；然后，以接口来为被调用目标构建代理对象，代理对象简介运行调用目标，并提供额外逻辑插入） 缺点：它是只能以接口为中心的。优点：依赖JDK，更稳定可靠，跟着JDK升级，代码简单。
阅读全文
摘要：首先NoClassDefFoundError是一个错误，而ClassNotFoundException是一个异常 NoClassDefFoundError产生的原因： 如果JVM或者Classloader实例尝试加载类(或者new创建对象)却找不到类的定义，要查找的类在编译时期是存在，运行期间却找不
阅读全文
摘要：ArrayList也叫作数组列表 ArrayList是基于数组实现的，是一个动态数组，其容量能够自动增长 ArrayList不是线程安全的，只能用在单线程环境下，多线程环境需要使用Collections同步方法。Collections.synchronizedList(List l)返回一个线程安全
阅读全文
摘要：1、离线计算是什么 离线计算：批量获取数据，批量传输数据，周期性批量计算数据，数据展示 代表技术：sqoop批量导入数据，hdfs批量存储数据，mapreduce批量计算数据，hive批量计算数据，***任务调度 2、流式就算是什么 流式计算：数据实时产生，数据实时传输，数据实时计算，实时展示 代表
阅读全文
摘要：1、什么是Hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统， hbase是列式的分布式数据库 1.2、HBASE优势： 1）线性扩展，随着数据量增多可以通过节点扩展进行支撑 2）数据存储在hdfs上，备份机制健全 3）通过zookeeper协调查找数据，访问速度块 1.3
阅读全文
摘要：sqoop数据迁移1、简介 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 2、工作机制 将导入
阅读全文
摘要：工作流调度器azkaban1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执
阅读全文
摘要：1、日志采集框架Flume 1.1 Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、 kafka等众多外部存储系统中 一般的采集需求，通过对
阅读全文
摘要：1、什么是Hive hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表 并提供类sql查询功能 2、为什么要用Hive 1、直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2、为什么要使用Hiv
阅读全文
摘要：1、 什么是Mapreduce Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序， 并发运行在一个hadoop集群上； 2、Mapreduce框
阅读全文
摘要：1、HDFS的概念和特性 它是一个文件系统，其次是分布式的 重要特性： 1).HDFS中的文件在物理上是分块存储（block）,新版默认128M 2).客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data 3).目录结构及文
阅读全文
摘要：1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS（分布式文件系统） B). YARN（运算资源调度系统） C). M
阅读全文
摘要：1)、java监控工具使用 jconsole是一种集成了上面所有命令功能的可视化工具，可以分析jvm的内存使用情况和线程等信息 visualvm 提供了和jconsole的功能类似，提供了一大堆的插件。 插件中，Visual GC（可视化GC）还是比较好用的，可视化GC可以看到内存的具体使用情况。
阅读全文
摘要：1).反射 通过反射的方式可以获取class对象中的属性、方法、构造函数等，一下是实例： 2).动态代理 使用场景： 在之前的代码调用阶段，我们用action调用service的方法实现业务即可。 由于之前在service中实现的业务可能不能够满足当先客户的要求，需要我们重新修改service中的方
阅读全文
摘要：1)什么是jms JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API。 它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发， 翻译为Java消息服务。 2
阅读全文
摘要：1). java并发包介绍 JDK5.0 以后的版本都引入了高级并发特性，大多数的特性在java.util.concurrent 包中，是专门用于多线程发编程的， 主要包含原子量、并发集合、同步器、可重入锁，并对线程池的构造提供了强力的支持。 2).线程池的创建 线程池的5中创建方式： a、 Sin
阅读全文
摘要：1).synchronized 加同步格式： synchronized( 需要一个任意的对象（锁） ){ 代码块中放操作共享数据的代码。 } synchronized的缺陷 synchronized是java中的一个关键字，也就是说是Java语言内置的特性。 如果一个代码块被synchronized
阅读全文
摘要：1、什么是Neo4j Neo4j是由java实现的开源NOSQL图数据库 数据库分为关系型和非关系型两种类型。 其中非关系型又分为Graph(图形),Document(文档),Cloumn Family(列式)，以及Key-Value Store(KV), 这四种类型数据库分别使用不同的数据结构进行
阅读全文
浙公网安备 33010602011771号