polong

摘要： 方案一 select Lon,Lat from pntsnew order by greatCircleDistance(Lon,Lat,-120.419219,34.889755999999998) limit 1 方案二 CREATE TABLE pntsnew ENGINE = MergeTr 阅读全文

摘要： 数据准备 数据源 (点数据使用之前导入的数据120038310条，https://juejin.cn/post/6903100159484395534) CREATE TABLE default.points ( `id` UInt32, `Lon` Float32, `Lat` Float32 ) 阅读全文

摘要： 背景 现在业务中往往有海量点和建筑物的关联，但是传统关系数据处理时间总不太理想。本文尝试使用ClickHouse导入面数据，并进行多面和多点的关联。 数据准备 create table extent (id UInt32,xmin Float64, xmax Float64,ymin Float64 阅读全文

摘要： ClickHouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 OLAP场景的关键特征 绝大多数是读请求 数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取，从数据库中提取相当多的行，但只 阅读全文

摘要： 背景 平时我们可能有比较大量的点数据要展示又不想预处理，在线浏览数据请求时间控制在3s左右。 准备 软件环境:PostGIS,数据是3578998条点数据。 环境 八核处理器(Intel(R)Core(TM) i7-10750H CPU @2.60GHz 2.59GHZ),RAM 16.0 GB,硬 阅读全文

摘要： 背景 之前做的海量数据数据展示，在预处理速度和渲染上还有有所欠缺，比如单个切片文件还是太大，本文中进行一些优化工作,使得一分钟处理完一千多万点数据的1-11级矢量切片，在线浏览数据请求时间控制在1s左右。 准备 软件环境:PostGIS,数据是微软开源的部分房屋数据public.california 阅读全文

摘要： Arctern基于开源大数据生态，构建灵活、强大、高性能的时空数据分析平台，帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用 安装和验证 参考单机安装arctern和在线安装单机spark 一：要注 阅读全文

摘要： Arctern基于开源大数据生态，构建灵活、强大、高性能的时空数据分析平台，帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern pandas安装和简单使用 Arctern安装 参照官网安装教程，。激活arctern环境，进入python 阅读全文

摘要： 空间相交是gis中常用的功能，一般就是使用分析库进行相交就可以了，但是多数据时这样产生笛卡尔积计算效率低下，这时可以考虑使用索引，本文中要介绍的是r-tree的使用。 R树是一棵平衡树。树上有两类结点：叶子结点和非叶子结点。每一个结点由若干个索引项构成。对于叶子结点，索引项形如(Index，Obj_ 阅读全文

摘要： 热力图是webgis中非常常见的需求，当数据量不大时对应用影响不大，但是当数据达到几百万时，即便使用后端渲染也比较困难。这时我们可以借助superluster.js来进行点聚合，然后进行后端渲染，使得地图流畅度大大增加。本文只处理8-11级的数据，后面的使用原先的数据渲染，完成所有展示需要两个服务 阅读全文