摘要：
Data Lakehouse（湖仓一体）是数据管理领域中的一种新架构范例，结合了Data Warehouse和Data Lakes的最佳特性。数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。 1、背景 在Databricks的过去几年中，我们 阅读全文
posted @ 2021-03-07 16:23 天戈朱 阅读(2004) 评论(0) 推荐(2) 编辑
摘要：
Pentaho首席技术官James Dixon创造了“数据湖”一词。它把数据集市描述成一瓶水（清洗过的，包装过的和结构化易于使用的）。而数据湖更像是在自然状态下的水，数据流从源系统流向这个湖。用户可以在数据湖里校验，取样或完全的使用数据。 这个也是一个不精确的定义。数据湖还有以下特点： 从源系统导入 阅读全文
posted @ 2021-03-07 16:21 天戈朱 阅读(1589) 评论(0) 推荐(0) 编辑
摘要：
一直以来用的好好的，突然有一天出现：Index was out of the range ED04211_邵武市易逸行软件技术服务有限公司（万顺出行）_其他 升级后问题： 1、合并单元格出现问题 2、免费版的大提示直接在页中间又加了层图 flag: 合并单元格好解决， spir.doc 5.8.0. 阅读全文
posted @ 2021-02-28 15:30 天戈朱 阅读(222) 评论(0) 推荐(0) 编辑
摘要：
Elasticsearch 是一个实时分布式搜索数据分析引擎，内部使用lucene做索引与搜索，能够解决常规和各种类型数据的存储及检索需求，典型的应用场景有：数据分析，站内搜索，ELK，电商等，主要特点为： 灵活的检索、排序策略； 集群分布式，易扩展，平行扩缩容； 数据分片主备机制，系统安全高可用； 阅读全文
posted @ 2021-02-28 15:28 天戈朱 阅读(476) 评论(0) 推荐(0) 编辑
摘要：
基本概念 refresh：es接收数据请求时先存入ES进程中的内存 Buffer ，默认每隔一秒（index.refresh_interval：1s）会从内存buffer中将数据写入 os cache，这个过程叫做refresh； fsync：translog会每隔5秒或者在一个变更请求完成之后执行 阅读全文
posted @ 2021-02-28 14:34 天戈朱 阅读(439) 评论(0) 推荐(0) 编辑
摘要：
Elasticsearch的Mapping，定义了索引的结构，类似于关系型数据库的Schema. Mapping Type：每个索引都拥有唯一的 mapping type，用来决定文档将如何被索引。从7.x开始，不需要在Mapping中指定type信息，默认type为 _doc。mapping ty 阅读全文
posted @ 2021-02-28 14:03 天戈朱 阅读(157) 评论(0) 推荐(0) 编辑
摘要：
索引的配置项按是否可以更改分为static属性与动态配置，所谓的静态配置即索引创建后不能修改。目录如下：生产环境中某索引结构（7.X后有变化） 索引静态配置 1、分片与压缩 index.number_of_shards：一个索引的主分片（primary shards）数。在ES层面可以通过 es.i 阅读全文
posted @ 2021-02-28 13:57 天戈朱 阅读(161) 评论(0) 推荐(0) 编辑
摘要：
基本概念：ES(一): 架构及原理 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elasticsearch ⇒ 索引(Index) ⇒ 类型(Type) ⇒ 文档(Document) ⇒ 字段(Fields) 正向数据的层次结构： 索引(Index) –> 段(segment) 阅读全文
posted @ 2021-02-28 13:34 天戈朱 阅读(320) 评论(0) 推荐(0) 编辑
摘要：
业务量增加，优化..优化... 学习... 学习..... 阮一鸣，eBay Pronto 平台技术负责人，管理了 eBay 内部上百个 Elasticsearch 集群，数据规模超过 4000 节点，支撑了订单搜索，商品推荐，日志管理，风险控制，IT 运维，安全监控等不同领域服务 课程： 阅读全文
posted @ 2021-02-28 13:12 天戈朱 阅读(183) 评论(0) 推荐(0) 编辑