2019年7月22日
摘要：
MongoDB 3.4 已经发布，本文主要介绍 3.4 版本在功能特性上做的改进，内容翻译自 [https://docs.mongodb.com/manual/release-notes/3.4/?_ga=1.74729233.2005306875.1453858874)。 分片集群（Sharded
阅读全文
posted @ 2019-07-22 16:20
xibuhaohao
阅读(409)
推荐(0)
摘要：
3.2测试版本总算release了！E叔带大家来一览MongoDB 3.2版本的真容。 （PS：内容比较多，在此仅针对个人认为比较重要的进行讲解，markdown写的，貌似WP的markdown插件有点奇怪，格式出来和写的时候不太一样，有点丑，大家见谅。） 以下是原文链接： Development
阅读全文
posted @ 2019-07-22 16:18
xibuhaohao
阅读(196)
推荐(0)
摘要：
MongoDB 复制集里，主备节点间通过 oplog 来同步数据，Priamry 上写入数据时，会记录一条oplog，Secondary 从 Primary 节点拉取 oplog并重放，以保证最终存储相同的数据集。 oplog 主要特性 幂等性，每一条oplog，重放一次或多次，得到的结果是一样的；
阅读全文
posted @ 2019-07-22 15:52
xibuhaohao
阅读(412)
推荐(0)
摘要：
MongoDB 4.0 引入的事务功能，支持多文档ACID特性，例如使用 mongo shell 进行事务操作 支持 MongoDB 4.0 的其他语言 Driver 也封装了事务相关接口，用户需要创建一个 Session，然后在 Session 上开启事务，提交事务。例如 python 版本 ja
阅读全文
posted @ 2019-07-22 15:43
xibuhaohao
阅读(383)
推荐(0)
摘要：
MongoDB journal 与 oplog，谁先写入？最近经常被人问到，本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、m
阅读全文
posted @ 2019-07-22 15:37
xibuhaohao
阅读(303)
推荐(0)
摘要：
导语：计算机硬件在飞速发展，数据规模在急速膨胀，但是数据库仍然使用是十年以前的架构体系，WiredTiger 尝试打破这一切，充分利用多核与大内存时代，开发一种真正满足未来大数据管理所需的数据库。本文由袁荣喜向「高可用架构」投稿，介绍对 WiredTiger 源代码学习过程中对数据库设计的感悟。 袁
阅读全文
posted @ 2019-07-22 15:24
xibuhaohao
阅读(860)
推荐(1)
摘要：
MongoDB3.2后默认采用WiredTiger存储引擎。 组成 WiredTiger由三部分组成： Mongos： 负责查询请求的路由和对ShardServer的管理； ConfigServer： 记录全局配置信息 ShardServer：完成实际查询和数据提取操作 p.png Transpor
阅读全文
posted @ 2019-07-22 15:17
xibuhaohao
阅读(434)
推荐(0)
摘要：
WiredTiger 4.1.0 发布了。WiredTiger 是一个开源的、高性能、可伸缩的 MongoDB 数据存储引擎。 下面是一些性能比较图表： 该版本暂未提供更新内容。 下载地址： Source code (zip) Source code (tar.gz) WiredTiger 4.1.
阅读全文
posted @ 2019-07-22 15:03
xibuhaohao
阅读(348)
推荐(0)
摘要：
wiredTiger MongoDB从3.0开始引入可插拔存储引擎的概念。目前主要有MMAPV1、WiredTiger存储引擎可供选择。在3.2版本之前MMAPV1是默认的存储引擎,其采用linux操作系统内存映射技术,但一直饱受诟病；3.4以上版本默认的存储引擎是wiredTiger,相对于MMA
阅读全文
posted @ 2019-07-22 15:00
xibuhaohao
阅读(344)
推荐(0)
摘要：
Mongodb-3.2已经WiredTiger设置为了默认的存储引擎，最近通过阅读wiredtiger源代码（在不了解其内部实现的情况下，读代码难度相当大，代码量太大，强烈建议官方多出些介绍文章），理清了wiredtiger的大致原理，并简单总结，不保证内容都是正确的，如有问题请指出，欢迎讨论交流。
阅读全文
posted @ 2019-07-22 14:40
xibuhaohao
阅读(618)
推荐(1)
摘要：
一、MongoDB 副本功能集简介 1、冗余和数据可用性 2、MongoDB中的副本集
阅读全文
posted @ 2019-07-22 14:32
xibuhaohao
阅读(141)
推荐(0)
摘要：
mongodb高级聚合查询 在工作中会经常遇到一些mongodb的聚合操作，特此总结下。mongo存储的可以是复杂类型，比如数组、对象等mysql不善于处理的文档型结构，并且聚合的操作也比mysql复杂很多。 注：本文基于 mongodb v3.6 目录 mongo与mysql聚合类比 aggreg
阅读全文
posted @ 2019-07-22 09:46
xibuhaohao
阅读(484)
推荐(0)
摘要：
MongoDB 聚合 MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。 aggregate() 方法 MongoDB中聚合的方法使用aggregate()。 语法 aggregate() 方法的基
阅读全文
posted @ 2019-07-22 09:39
xibuhaohao
阅读(211)
推荐(0)
2019年7月19日
摘要：
索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。 这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。 索引是特殊的数据结构，索引存储在一个易于遍历读取
阅读全文
posted @ 2019-07-19 15:49
xibuhaohao
阅读(123)
推荐(0)
摘要：
一.命名规则 1.数据库命名规则 数据库名可以是满足以下条件的任意UTF-8字符串： （1）不能是空字符串（”"） ； （2）不能含有”（空格）、.、$、/、、和（空字符）； （3）应全部小写； 一.命名规则 1.数据库命名规则 （4）最多30字符。 注意事项： 数据库名最终会变成文件系统里面的文件
阅读全文
posted @ 2019-07-19 14:31
xibuhaohao
阅读(843)
推荐(0)
摘要：
一、数据库创建与删除 查看当前所有的数据库 show das/show databases 查看当前数据库 db 创建数据库 use hopedb db.dropDatabase() 删除当前数据库 二、集合创建与删除 语法 db.createCollection(name, options) na
阅读全文
posted @ 2019-07-19 11:43
xibuhaohao
阅读(208)
推荐(0)
摘要：
crud是指在做计算处理时的增加(Create)、读取查询(Retrieve)、更新(Update)和删除(Delete)几个单词的首字母简写。crud主要被用在描述软件系统中数据库或者持久层的基本操作功能。 一、创建操作 创建或插入操作即向 集合 collection 添加新的 文档 docume
阅读全文
posted @ 2019-07-19 09:22
xibuhaohao
阅读(165)
推荐(0)
2019年7月18日
摘要：
Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输
阅读全文
posted @ 2019-07-18 17:12
xibuhaohao
阅读(273)
推荐(0)
摘要：
名词解释 PV Page View，网页浏览量。网页被读者调用浏览的次数。网页每次打开或刷新一次页面，记录一次。用户对同一页面的多次访问，访问量累计。 UV Unique Visitor，独立访问者。是指通过互联网访问、浏览这个网页的自然人。在一定时间内，访问网站的不同访客的数量，且每个访客只被统计
阅读全文
posted @ 2019-07-18 16:50
xibuhaohao
阅读(208)
推荐(0)
posted @ 2019-07-18 12:07
xibuhaohao
阅读(125)
推荐(0)
摘要：
一、OLTP、OLAP概念 OLTP On-Line Transaction Processing联机事务处理过程(OLTP)也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。 OLAPOn-line
阅读全文
posted @ 2019-07-18 09:15
xibuhaohao
阅读(890)
推荐(0)
2019年7月17日
摘要：
一、前言 本文是描述Linux virtual memory运行参数的第二篇，主要是讲OOM相关的参数的。为了理解OOM参数，第二章简单的描述什么是OOM。如果这个名词对你毫无压力，你可以直接进入第三章，这一章是描述具体的参数的，除了描述具体的参数，我们引用了一些具体的内核代码，本文的代码来自4.0
阅读全文
posted @ 2019-07-17 09:31
xibuhaohao
阅读(5475)
推荐(0)
摘要：
1、问题现象和分析：测试时发现当系统中空闲内存还有很多时，就报内存分配失败了，所有进程都报内存分配失败：sshd@localhost:/var/log>free total used free shared buffers cachedMem: 12183700 8627972 3555728 0
阅读全文
posted @ 2019-07-17 09:05
xibuhaohao
阅读(1457)
推荐(0)
摘要：
1) 先来看下oracle 10g中的自动统计任务的问题。 从Oracle Database 10g开始，Oracle在建库后就默认创建了一个名为GATHER_STATS_JOB的定时任务，用于自动收集CBO的统计信息。 这个自动任务默认情况下在工作日晚上10：00-6：00和周末全天开启。调用DB
阅读全文
posted @ 2019-07-17 00:29
xibuhaohao
阅读(578)
推荐(0)
摘要：
LGWR,DBWR,SMON,PMON,CKPT是必需的五个后台进程。ARCH是最重要的可选后台进程。最重要的六个进程：1.LGWR重做日志写进程，LOG write 负责将重做日志缓冲区记录顺序写入重做日志文件。LGWR在下列情况下将重做日志缓冲区记录（内存）顺序写入重做日志文件（外存）中5种情况
阅读全文
posted @ 2019-07-17 00:05
xibuhaohao
阅读(4148)
推荐(0)
2019年7月16日
摘要：
生产上有一套11g数据库alert.log报错ORA-16957: SQL Analyze time limit interrupt。 查询MOS相关文档Troubleshooting: ORA-16957: "SQL Analyze time limit interrupt" Errors (文档
阅读全文
posted @ 2019-07-16 23:31
xibuhaohao
阅读(1630)
推荐(0)
摘要：
一、ES的安装 １、到ES官网下载ES 安装ES前，需要安装JDK1.8以上版本 https://www.elastic.co/downloads/elasticsearch ２、解压ES ３、安装ES 打开bin目录下elasticsearch.bat ４、验证 进入 http://localho
阅读全文
posted @ 2019-07-16 14:35
xibuhaohao
阅读(3404)
推荐(0)
2019年7月10日
摘要：
第一步：安装JDK https://blog.csdn.net/qq_33951308/article/details/82933535 第二步：下载并安装neo4j 下载地址 或者直接用wget命令 wget https://neo4j.com/artifact.php?name=neo4j-co
阅读全文
posted @ 2019-07-10 10:31
xibuhaohao
阅读(975)
推荐(0)
摘要：
一、neo4j备份方式 neo4j数据库的备份还原分为两种： offline 和 online。 Offline backup - dump Dump a database into a single-file archive. - load Load a database from an arch
阅读全文
posted @ 2019-07-10 09:49
xibuhaohao
阅读(4614)
推荐(0)
摘要：
在开发过程中，很多时候需要快(简)速(单)清(粗)除(暴)Neo4j中存在的海量数据节点和关系数据。在这种情况下，delete和detach从性能上都已力不从心。Neo4j官方推荐清库方法，即删除graph.db数据库文件，暴力清空数据库。1. 关闭Neo4j服务器进程检查服务器进程是否启动，如启动
阅读全文
posted @ 2019-07-10 09:20
xibuhaohao
阅读(6947)
推荐(0)
2019年7月9日
摘要：
本章讨论搜索速度优化：搜索速度与系统资源、数据索引方式、查询方式等多方面 1、为文件系统cache预留足够的内存 1）应用程序一般情况下，读写都会被操作系统“cache” 2）cache保存在物理内存中，命中cache可以降低对磁盘的读写频率 3）搜索对系统cache很依赖，如果搜索从磁盘读取数据，
阅读全文
posted @ 2019-07-09 18:13
xibuhaohao
阅读(1092)
推荐(0)
摘要：
基于版本: 2.x – 5.x 在 es 的默认设置,是综合考虑数据可靠性,搜索实时性,写入速度等因素的,当你离开默认设置,追求极致的写入速度时,很多是以牺牲可靠性和搜索实时性为代价的.有时候,业务上对两者要求并不高,反而对写入速度要求很高,例如在我的场景中,要求每秒200w 条的平均写入速度,每条
阅读全文
posted @ 2019-07-09 17:27
xibuhaohao
阅读(2646)
推荐(1)
摘要：
对于索引分片数量，我们一般在模板中统一定义，在数据规模比较大的集群中，索引分片数一般也大一些，在我的集群中设置为 24。但是，并不是所有的索引数据量都很大，这些小数据量的索引也同样有较大的分片数。在 elasticsearch 中，主节点管理分片是很大的工作量，降低集群整体分片数量可以降低 reco
阅读全文
posted @ 2019-07-09 17:05
xibuhaohao
阅读(2258)
推荐(0)
摘要：
此处我们是修改为60s 其实可以改为-1s 这样就是不刷新，我们需要在查询的时候进行一次索引刷新然后再查询，这个嘛就得看你们用户能容忍多少时间长度了。 es最近老是挂掉，无缘无故，表现症状为 对于大小超过100g的index（5个分片 1e数据量左右）插入超级慢，由于机器资源有限 ，只能想出 将每一
阅读全文
posted @ 2019-07-09 17:04
xibuhaohao
阅读(278)
推荐(0)
摘要：
小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。 但是由于小史很久没有背过诗词了，飞一个字很难说出一句，很多之前很熟悉的诗句也想不起来。 倒排索引 吕老师：但是我让你说出
阅读全文
posted @ 2019-07-09 17:00
xibuhaohao
阅读(282)
推荐(0)
摘要：
本文主要讲述使用 Prometheus监控ES，梳理核心监控指标并构建 Dashboard ，当集群有异常或者节点发生故障时，可以根据性能图表以高效率的方式进行问题诊断，再对核心指标筛选添加告警。 根据《How to monitor Elasticsearch performance》一文中的介绍：
阅读全文
posted @ 2019-07-09 13:48
xibuhaohao
阅读(2097)
推荐(1)
摘要：
示例：启用 SQL 跟踪PostgreSQL 日志支持的输出格式有 stderr（默认）, csvlog , syslog 一般的错误跟踪，只需在配置文件 【postgresql.conf】简单设置几个参数，当然还有错误级别等要设置。 logging_collector = onlog_destin
阅读全文
posted @ 2019-07-09 11:23
xibuhaohao
阅读(2846)
推荐(0)
摘要：
其实也不完全算PostgreSQL的技巧，应该算是SHELL技巧。 首先要配置好postgresql.conf,让PG记录下慢查询，并且日志固定格式，如下: log_destination = 'csvlog' log_min_duration_statement = 100ms pg_ctl re
阅读全文
posted @ 2019-07-09 11:21
xibuhaohao
阅读(668)
推荐(0)
摘要：
一、通过sqlnet.ora文件控制对Oracle数据库的访问 出于数据安全考虑，对Oracle数据库的IP做一些限制，只有固定的IP才能访问。修改$JAVA_HOME/NETWORK/ADMIN/sqlnet.ora文件增加以下内容（红色表示注释）：#开启ip限制功能tcp.validnode_c
阅读全文
posted @ 2019-07-09 10:16
xibuhaohao
阅读(1364)
推荐(0)
摘要：
不允许test用户在 192.168.1.3 机器上访问数据库。 两种写法。 1 2. 这里说下ORA_CLIENT_IP_ADDRESS 这个函数，直接调用是空的。 这个函数只在系统触发器中有用，在DDL 无效。 http://blog.csdn.net/edcvf3/article/detail
阅读全文
posted @ 2019-07-09 10:01
xibuhaohao
阅读(1695)
推荐(0)
浙公网安备 33010602011771号