摘要:为了研究这个问题,我们对数据生态中的数十个开源工具进行了研究,并提出了下面两个问题: 该工具独一无二的能力是什么? 该工具不能用来做什么? 我们调研的范围仅限开源项目和 Pre-B 轮融资阶段的公司产品。针对每个工具,我们尽可能简短的对这两个问题进行了回答。数据生态中的工具混乱的现象并不会很快消失,
阅读全文
摘要:curl -XPUT '10.1.193.250:9200/ngx-logstash-2019-06/_settings' -d ' { "index.mapping.total_fields.limit": 3000}' 1.https://zhuanlan.zhihu.com/p/3129294
阅读全文
摘要:server-side:SELECT id,tutorialId,tutorialName,ucreatelink,structureVersion FROM base_courseINTO OUTFILE '/tmp/orders.csv'FIELDS TERMINATED BY ','ENCLO
阅读全文
摘要:下载 docker 镜像:docker pull docker.io/lu566/treesoft:1.0启动容器:docker run -d -p 127.0.0.1:18080:8080 docker.io/lu566/treesoft:1.0项目访问:http://127.0.0.1:1808
阅读全文
摘要:oracle account lock: solutionhttp://www.cnblogs.com/jianqiang2010/archive/2011/09/01/2162574.html like: show tables;返回所有表select table_name from all_ta
阅读全文
摘要:apache-kylin https://ambari.apache.org/ https://www.jianshu.com/p/c49c61b654da docker pull sequenceiq/kylin:0.7.2wget https://raw.githubusercontent.co
阅读全文
摘要:firehose clickhouse 在Hive中适不适合像传统数据仓库一样利用维度建模hive新功能 Cube, Rollup介绍https://blog.csdn.net/moon_yang_bj/article/details/17200367 大数据领域里面,实时分析(在线查询)系统是最常
阅读全文
摘要:需要有一个类似于API网关的中间件来做API的管理工作,也就是API的实现方面更多的考虑业务逻辑,安全、性能、监控可以交由网关来做(如下图所示,下图根据Kong官方文档修改) 通过MySQL存储来简单支持集群部署 支持多种条件匹配和变量提取 支持通过自定义插件方式扩展功能 默认内置六个插件 全局状态
阅读全文
摘要:https://segmentfault.com/a/1190000002532293 https://www.zybuluo.com/aitanjupt/note/209968 create table dep(id int,name string) row format delimited fi
阅读全文
摘要:select phone,count(order_id) as c from table_recordgroup by phoneorder by c desc SELECT CASEWHEN (age >= 10 AND age <= 20) THEN '10-20'WHEN (age >= 21
阅读全文
摘要:安装安装包 # sudo apt-get install build-essential libssl-dev libffi-dev libgmp3-dev virtualenv python-pip libpq-dev python-dev 创建虚拟环境 cd /opt/ mkdir enviro
阅读全文
摘要:1、先存数据,再建索引 有索引的好处是搜索比较快但是在有索引的前提下进行插入、更新操作会很慢 2、不要对规模小的数据表建立索引,数据量超过300的表应该有索引;对于规模小的数据表建立索引 不仅不会提高功能,相反使用索引查找可能比简单的全表扫描还要嫚而且建索引还会占用一部分的存储空间 3、当对表的查询
阅读全文
摘要:ldap basic and usage in devops: https://blog.csdn.net/weixin_42578481/article/details/80863890 maybe more useful.https://github.com/aexo/docker-ldap-a
阅读全文
摘要:https://packages.ubuntu.com/trusty/postgresql-server-dev-9.3 所以使用下面的命令即可安装python-dev: I just had to install this on my CentOS 6 server since psycopg2
阅读全文
摘要:1s=1000ms1ms=1000 microseconds1microsecond=1000 nanoseconds+01:00from influxdb import InfluxDBClientjson_body = [ { "measurement": "bpu_load_short", "
阅读全文
摘要:https://www.influxdata.com/time-series-platform/influxdb/ https://www.xusheng.org/blog/2016/07/30/performance-test-of-influxdb/ https://xusheng.org/bl
阅读全文
摘要:当主机填写为localhost时mysql会采用 unix domain socket连接当主机填写为127.0.0.1时mysql会采用tcp方式连接这是linux套接字网络的特性,win平台不会有这个问题解决方法在my.cnf的[mysql]区段里添加protocol=tcpsocket API
阅读全文
摘要:这类时间序列数据库最多,使用也最广泛。一般人们谈论时间序列数据库的时候指代的就是这一类存储。按照底层技术不同可以划分为三类。 直接基于文件的简单存储:RRD Tool,Graphite Whisper。这类工具附属于监控告警工具,底层没有一个正规的数据库引擎。只是简单的有一个二进制的文件结构。 基于
阅读全文
摘要:(ubuntu desktop)http://blog.csdn.net/ficksong/article/details/7497827 redis manager in ubuntu wget http://download.qt.io/official_releases/qt/5.6/5.6.
阅读全文
摘要:http://blog.csdn.net/lgnlgn/article/details/8053626 elasticsearch学习入门 input {stdin{}}filter { grok { match => { "message" => ".*(?<json_body>\{.*\}).*
阅读全文