上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 87 下一页
摘要: es5.x 到7.x 的版本变动,最大的变动是type的变动了 5.x 支持多种type 6.x 只能有一种type 7.x 将去除type 没有类型的概念了 官网文档:https://www.elastic.co/guide/en/elasticsearch/reference EVN :ubun 阅读全文
posted @ 2021-11-03 11:53 lshan 阅读(302) 评论(0) 推荐(0)
摘要: 概要: 对于几百万条数据,并发又不是很高,查询不是很复杂的情况下,前期就直接使用 elasticsearch,solr有点大材小用,就算后期确实数据庞大,查询复杂,再用elasticsearch 也就是分分钟的事情 使用: 重新建立索引: 通常创建索引生效时间是当前,对历史数据不建立索引,可以reI 阅读全文
posted @ 2021-11-02 12:35 lshan 阅读(1520) 评论(0) 推荐(0)
摘要: 来子书本: <<商业模式新生代>>, 建议大屏投放分析, 或者打印下来分析 阅读全文
posted @ 2021-10-25 10:06 lshan 阅读(274) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2021-10-13 15:22 lshan 阅读(2) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2021-10-12 14:09 lshan 阅读(0) 评论(0) 推荐(0)
摘要: 摘要: 1自动化单条insert => 单条insert的话插入5w条数据大约用时5秒左右,相对来说效率不高 2拼接sql语句,只执行一次insert =>使用这种批量插入方式插入5w条数据用时大约不到1秒 1.自动化单条insert # -*- coding:utf-8 -*- import ti 阅读全文
posted @ 2021-09-28 17:01 lshan 阅读(131) 评论(0) 推荐(0)
摘要: 看了几篇文章,觉得写的都不错,此处先不缀笔: 先贴几篇比较好的文章, 后续谈下自己的看法 说说数仓: https://www.jianshu.com/p/0a11c7f3cec2 数仓、数据湖、数据中台: https://segmentfault.com/a/1190000039970684 《大数 阅读全文
posted @ 2021-09-28 16:08 lshan 阅读(71) 评论(0) 推荐(0)
摘要: 场景: 采用 MongoShake 同步数据到kafka, 然后用python 处理, 做etl , 或者其他操作: # 同步 db_sea_user , db_tom_user to db_all_user (mongodb) , 并且添加db_name(customer) 代码: MongoOp 阅读全文
posted @ 2021-09-27 17:45 lshan 阅读(209) 评论(0) 推荐(0)
摘要: 目的: MongoShake 数据同步到kafka(json格式),是带有{"Name":"key","Value":"123"} 的json, 实际上这个json 为 {"key":"123"} 转换如下: import json ''' k:节点name v:节点value cn:当前节点 '' 阅读全文
posted @ 2021-09-27 17:33 lshan 阅读(104) 评论(2) 推荐(0)
摘要: python swich case,使用字典实现,原理,闭包 # swich case def handler_result(op, ns, value): todos = { "i": insert, "u": update, "d": delete } method = todos.get(op 阅读全文
posted @ 2021-09-27 11:44 lshan 阅读(46) 评论(0) 推荐(0)
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 87 下一页