随笔分类 -  JAVA

impala通过jdbc写入效率低下优化
摘要:背景: Kudu+Impala很适合数据分析, 但直接使用Insert values语句往Kudu表插入数据, 效率实在不好, 测试下来insert的速度仅为80笔/秒. 原因也是显然的, Kudu本身写入效率很高, 但是Impala并没有做这方面优化, 观察下来每次Impala语句执行的overh 阅读全文

posted @ 2021-12-10 11:29 李雷 阅读(761) 评论(0) 推荐(0)

protobuf和json字符串大小对比
摘要:json字符串拼装程序 package org.proto; import com.alibaba.fastjson.JSON; import java.util.ArrayList; import java.util.List; import java.util.Random; public cl 阅读全文

posted @ 2021-11-14 12:23 李雷 阅读(818) 评论(0) 推荐(0)

JVM垃圾回收问答
摘要:为什么要有垃圾回收 内存资源是有限的,当所需内存不能满足时,需要把不再使用的对象清除掉,否则JVM将无法运行下去 怎么判断对象是否是垃圾 判断对象是否是垃圾,有两种方式:1是标记引用计数,2是根部可达,第一种存在环形引用问题,第二种是JVM目前采用的方式 在根部可达中,哪些对象可以作为根 1栈中引用 阅读全文

posted @ 2018-09-12 15:21 李雷 阅读(140) 评论(0) 推荐(0)

serversocket和serversocketchannel实现http服务
摘要:ServerSocket: ServerSocketChannel: 阅读全文

posted @ 2018-07-26 14:11 李雷 阅读(2063) 评论(0) 推荐(0)

spring boot文件上传、http数据服务API的DEMO
摘要:文件上传 http服务调用 阅读全文

posted @ 2018-03-23 15:58 李雷 阅读(314) 评论(0) 推荐(0)

kafka概念使用简介注意点
摘要:使用场景 大数据量、低并发、高可用、订阅消费场景 概念理解 分区个数与消费者个数 分区个数 = 消费者个数 :最合适状态 分区个数 > 消费者个数 :某些消费者要承担更多的分区数据消费 分区个数 < 消费者个数 :浪费资源 当“某些消费者要承担更多的分区数据消费”,消费者接收的数据不能保证全局有序性 阅读全文

posted @ 2018-03-20 12:24 李雷 阅读(1654) 评论(0) 推荐(0)

spring boot整合log4j2
摘要:POM配置 log4j2配置 注意点 暂不支持postgresql,所以使用oracle替代 阅读全文

posted @ 2018-03-19 15:03 李雷 阅读(221) 评论(0) 推荐(0)

基于synchronized实现的阻塞队列
摘要:1 package com.lilei.pack09; 2 3 import java.util.concurrent.ExecutorService; 4 import java.util.concurrent.Executors; 5 6 public class MySyncQueue { 7 8 private Object[] ts; 9 10 ... 阅读全文

posted @ 2018-01-25 21:19 李雷 阅读(683) 评论(0) 推荐(0)

java反射使用及性能比较
摘要:环境准备 使用反射 性能比较 常规创建对象调用方法和通过反射进行调用方法 消耗时间: 消耗时间: 通过使用反射消耗的时间是通过对象调用方法的40-50倍 阅读全文

posted @ 2018-01-25 20:05 李雷 阅读(2292) 评论(0) 推荐(0)

一步一步本地化部署mapbox-gl
摘要:概述 本文旨在从无到erverything的部署一套在线可视化的矢量地图,当然是依赖于mapbox-gl,物理流程图如下: 条件 js方面: 1、mapbox-gl-dev.js,参考http://www.cnblogs.com/lilei2blog/p/7827110.html 2、字体符号,参考 阅读全文

posted @ 2017-11-15 12:04 李雷 阅读(7974) 评论(0) 推荐(1)

快速排序
摘要:概述 快速的升序排列(注意边界) 代码 阅读全文

posted @ 2017-11-15 09:40 李雷 阅读(174) 评论(0) 推荐(0)

使用java生成mapbox-gl可读的vector tile
摘要:概述 mapbox-gl主要数据源来自mapbox vector tile,本文就是要阐述怎样把postgresql中的地理空间数据转换成vector tile,流程图如下: 配置 该工程采用spring boot+maven,所以第一步少不了pom.xml配置: 添加墨卡托投影转换工具类: 核心内 阅读全文

posted @ 2017-11-14 09:42 李雷 阅读(7570) 评论(3) 推荐(0)

wkt转换geojson
摘要:应用配置 程序 阅读全文

posted @ 2017-11-10 10:43 李雷 阅读(9338) 评论(1) 推荐(0)

maven构建geotools应用工程
摘要:前置条件 jdk1.7+eclipse+maven POM配置 程序 阅读全文

posted @ 2017-11-09 15:51 李雷 阅读(1813) 评论(0) 推荐(0)

eclipse构建maven+scala+spark工程
摘要:前提条件 下载安装Scala IDE build of Eclipse SDK 构建工程 1、新建maven工程 2、配置项目信息 3、新建scala对应的Source Folder 4、添加scala对应Archetype 5、配置pom.xml添加依赖包 到此项目部署配置完成。 运行scala程 阅读全文

posted @ 2017-11-09 10:38 李雷 阅读(336) 评论(0) 推荐(0)

mapreduce解析执行sql流程
摘要:样例准备 条件过滤 sql:select * from student where sex='male'; mr:该操作属于比较简单的操作,直接在map阶段对数据进行过滤操作即可。 分组统计 sql:select class_name,count(*) from student group by c 阅读全文

posted @ 2017-11-08 16:15 李雷 阅读(721) 评论(0) 推荐(0)

依赖注入优缺点分析
摘要:背景 项目开发要求: 1、增加程序重用 2、模块功能单一 3、方便测试 4、需求变更,减少程序开发 实际应用场景 以两种日志记录和数据库使用两种场景来分析 1、日志记录:有时需要调试分析,需要记录日志信息,这时可以采用输出到控制台、文件、数据库、远程服务器等;假设最初采用输出到控制台,直接在程序中实 阅读全文

posted @ 2017-11-08 11:00 李雷 阅读(7471) 评论(0) 推荐(1)

elastic-search单机部署以及中文分词IKAnalyzer安装
摘要:前提条件 elasticsearch使用版本5.6.3,需要jdk版本1.8,低于该版本不能使用 下载 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.zip 启动 1、进入目录C:\test\es\e 阅读全文

posted @ 2017-11-07 15:26 李雷 阅读(299) 评论(0) 推荐(0)

spring boot一个简单用户管理DEMO
摘要:概述 该Demo旨在部署一个简单spring boot工程,包含数据编辑和查看功能 POM配置 属性配置 工程结构图 核心代码 dao层 dao实现层 控制器 阅读全文

posted @ 2017-11-06 16:38 李雷 阅读(1753) 评论(2) 推荐(0)

通过geotools读写shp文件
摘要:依赖jar包 读取shp 写shp 阅读全文

posted @ 2017-11-06 11:12 李雷 阅读(1274) 评论(0) 推荐(0)

导航