[置顶] 使用java生成mapbox-gl可读的vector tile

摘要： 概述 mapbox-gl主要数据源来自mapbox vector tile，本文就是要阐述怎样把postgresql中的地理空间数据转换成vector tile，流程图如下： 配置 该工程采用spring boot+maven，所以第一步少不了pom.xml配置： 添加墨卡托投影转换工具类： 核心内 阅读全文

posted @ 2017-11-14 09:42 李雷 阅读(7481) 评论(3) 推荐(0)

[置顶] eclipse构建maven+scala+spark工程

摘要： 前提条件 下载安装Scala IDE build of Eclipse SDK 构建工程 1、新建maven工程 2、配置项目信息 3、新建scala对应的Source Folder 4、添加scala对应Archetype 5、配置pom.xml添加依赖包 到此项目部署配置完成。 运行scala程 阅读全文

posted @ 2017-11-09 10:38 李雷 阅读(329) 评论(0) 推荐(0)

[置顶] spring boot跨域设置

摘要： 定义 跨域是指从一个域名的网页去请求另一个域名的资源 跨域背景 限制原因 如果一个网页可以随意地访问另外一个网站的资源，那么就有可能在客户完全不知情的情况下出现安全问题 为什么要跨域 公司内部有多个不同的子域，比如一个是location.company.com ,而应用是放在app.company. 阅读全文

posted @ 2017-11-06 10:51 李雷 阅读(1660) 评论(0) 推荐(0)

2021年12月10日

impala通过jdbc写入效率低下优化

摘要： 背景： Kudu+Impala很适合数据分析, 但直接使用Insert values语句往Kudu表插入数据, 效率实在不好, 测试下来insert的速度仅为80笔/秒. 原因也是显然的, Kudu本身写入效率很高, 但是Impala并没有做这方面优化, 观察下来每次Impala语句执行的overh 阅读全文

posted @ 2021-12-10 11:29 李雷 阅读(723) 评论(0) 推荐(0)

2021年12月7日

impala表关联join优化1

摘要： 基础环境： [cdh02.dongfeng.com:21000] default> show create table kudu_via_city_pdi10; Query: show create table kudu_via_city_pdi10 + + | result | + + | CRE 阅读全文

posted @ 2021-12-07 19:23 李雷 阅读(1036) 评论(0) 推荐(0)

2021年11月26日

MySQL特定表全量、增量同步到消息队列-解决方案

摘要： 1、原始需求 既要同步原始全量数据，也要实时同步MySQL特定库的特定表增量数据，同时对应的修改、删除也要对应。 数据同步不能有侵入性：不能更改业务程序，并且不能对业务侧有太大性能压力。 应用场景：数据ETL同步、降低业务服务器压力。 2、解决方案 3、canal介绍、安装 canal是阿里巴巴旗下 阅读全文

posted @ 2021-11-26 15:49 李雷 阅读(549) 评论(0) 推荐(0)

2021年11月14日

protobuf和json字符串大小对比

摘要： json字符串拼装程序 package org.proto; import com.alibaba.fastjson.JSON; import java.util.ArrayList; import java.util.List; import java.util.Random; public cl 阅读全文

posted @ 2021-11-14 12:23 李雷 阅读(803) 评论(0) 推荐(0)

2021年11月9日

windows个人笔记本压测hbase随机访问高并发压测

摘要： 场景：根据车辆ID前缀匹配，获取全部数据，压测客户端在个人笔记本上，hbase部署在服务器上，有三个节点：16个cpu\64G内存 程序 package org.hbase; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop. 阅读全文

posted @ 2021-11-09 18:40 李雷 阅读(218) 评论(0) 推荐(0)

kudu+impala 27亿条数据的高并发海量分析压测

摘要： SQL：select a.tid,count(*),sum(std_mileage) from kudu_via_city_pdi3 as a where entry_time between "+entry_time_start+" and "+entry_time_end+" group by 阅读全文

posted @ 2021-11-09 15:57 李雷 阅读(753) 评论(0) 推荐(0)

2021年11月8日

TDEngine和MySQL单表100万数据查询性能比较

摘要： TDEngine表结构 SQL语句 程序 package com.test.df.tdengine.intd.jianshaozibiao; import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLExcep 阅读全文

posted @ 2021-11-08 19:10 李雷 阅读(1257) 评论(0) 推荐(0)

针对一百万以内数据高频变化、聚合统计、实时性要求的解决方案

摘要： 背景需求： 解决方法程序： package org.mem; import java.util.*; public class Test1 { public static void main(String[] args) { final Map<String,Moci> map = new Hash 阅读全文

posted @ 2021-11-08 18:35 李雷 阅读(199) 评论(0) 推荐(0)

doris-10亿条数据量，每天100万条，按照时间-天分组统计

摘要： select inday,sum(p1),count(*) from tj23 as a where inday between '"+sstart+"' and '"+send+"' group by inday limit 150个并发：Thread[Thread-40,5,main] >Mon 阅读全文

posted @ 2021-11-08 15:03 李雷 阅读(933) 评论(0) 推荐(0)

doris-未预热查询性能验证

摘要： 停止三个节点be 启动三个节点的be 执行语句： 第一次执行： 第二次执行，差别不大： 阅读全文

posted @ 2021-11-08 14:42 李雷 阅读(148) 评论(0) 推荐(0)

下一页

导航

< 2025年7月 >
日 一 二 三 四 五 六
29 30 1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31 1 2
3 4 5 6 7 8 9
点击右上角即可分享
微信分享提示