xibuhaohao - 博客园

2019年8月20日

摘要：来自：AI前线（微信号：ai-front），作者：林兴财，编辑：Natalie作者介绍：林兴财，毕业于厦门大学计算机科学与技术专业。有多年的嵌入式开发、系统运维经验，现就职于四三九九网络股份有限公司，担任大数据开发工程师，主要负责大数据平台的规划建设。来自：AI前线（微信号：ai-front），作阅读全文

posted @ 2019-08-20 10:42 xibuhaohao 阅读(480) 评论(0) 推荐(0) 编辑

Apache Kylin v3.0.0-alpha 发布

摘要： Apache Kylin v3.0.0-alpha 发布 Apr 19, 2019 • Shaofeng Shi 近日 Apache Kylin 社区很高兴地宣布，Apache Kylin v3.0.0-alpha 正式发布。 Apache Kylin 是一个开源的分布式分析引擎，旨在为极大数据集提阅读全文

posted @ 2019-08-20 10:24 xibuhaohao 阅读(474) 评论(0) 推荐(0) 编辑

Apache Kylin在美团点评的应用

摘要：本文原载自大数据杂谈微信公众号。感谢美团点评工程师高大月撰文并授权转载。高大月，美团点评工程师，Apache Kylin PMC成员，目前主要在美团点评数据平台负责OLAP查询引擎的建设。背景美团点评的OLAP需求大体分为两类：即席查询：指用户通过手写SQL来完成一些临时的数据分析需求。这阅读全文

posted @ 2019-08-20 09:50 xibuhaohao 阅读(454) 评论(0) 推荐(0) 编辑

Kylin 架构模块简介

摘要： Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。阅读全文

posted @ 2019-08-20 08:51 xibuhaohao 阅读(384) 评论(0) 推荐(0) 编辑

2019年8月19日

Kylin 1 背景、历史与使命

摘要： 1.1 背景和历史今天，大数据领域的发展如火如荼，各种新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术——Apache Hadoop，从诞生至今已有10周年。它最初只是致力于简单的分布式存储，然后在其之上实现大规模并行计算，到如今它已在实时分析、多维分析、交互式分析、机器学习甚至人工智阅读全文

posted @ 2019-08-19 15:53 xibuhaohao 阅读(545) 评论(0) 推荐(0) 编辑

2019年8月16日

谈MongoDB的应用场景

摘要：转载自：http://blog.csdn.net/adparking/article/details/38727911 MongoDB的应用场景在网上搜索了下，很少介绍关于传统的信息化应用中如何使用MongoDB数据库方面的内容，比较多的还是介绍日志的采集和存储，小文件的分布式存储，类似互联网微博应阅读全文

posted @ 2019-08-16 17:46 xibuhaohao 阅读(937) 评论(0) 推荐(0) 编辑

Linux 内存Cache和Buffer理解

摘要：在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在一个 RHEL6 的系统上，free 命令的显示内容大概是这样一个状态：这里的默认显示单位是 kb，我的服务器是 128G 内存，所以数字显得比较大。这个命令几乎是每一个使用过 Linux 的人必会的命令，但越是这样的命阅读全文

posted @ 2019-08-16 16:52 xibuhaohao 阅读(1021) 评论(0) 推荐(0) 编辑

Linux 下查看内存使用情况方法总结

摘要： Linux查看CPU和内存使用情况：http://www.cnblogs.com/xd502djj/archive/2011/03/01/1968041.html 在做Linux系统优化的时候，物理内存是其中最重要的一方面。自然的，Linux也提供了非常多的方法来监控宝贵的内存资源的使用情况。下面的阅读全文

posted @ 2019-08-16 16:35 xibuhaohao 阅读(492) 评论(0) 推荐(0) 编辑

mongodb 集群配置文件

摘要：本文档是在mongodb为3.4下编写的，仅作为参考，详细内容请参考：https://docs.mongodb.com/manual/reference/configuration-options/#configuration-file 一.说明配置mongodb有两种方式，一种是通过mongod 阅读全文

posted @ 2019-08-16 15:58 xibuhaohao 阅读(810) 评论(0) 推荐(0) 编辑

MongoDB bindIp 与 bindIpAll

摘要： Linux服务器上安装MongoDB后，允许其它客户端IP访问MongoDB服务器。阿里云服务器需要设置入站规则，可参见使用外网访问阿里云服务器ZooKeeper 1.允许所有地址访问 1.允许所有地址访问 NOTE:net.bindIp and net.bindIpAll are mutually 阅读全文

posted @ 2019-08-16 14:47 xibuhaohao 阅读(10231) 评论(0) 推荐(0) 编辑

MongoDB 权限认证

摘要： user文档字段介绍： user字段，为新用户的名字； pwd字段，用户的密码； cusomData字段，为任意内容，例如可以为用户全名介绍； roles字段，指定用户的角色，可以用一个空数组给新用户设定空角色；在roles字段,可以指定内置角色和用户定义的角色。 Built-In Roles（内阅读全文

posted @ 2019-08-16 14:43 xibuhaohao 阅读(227) 评论(0) 推荐(0) 编辑

MongoDB dataSize如何比storageSize更大？

摘要：原文 https://stackoverflow.com/questions/34054780/how-can-mongodb-datasize-be-larger-than-storagesize 原文 https://stackoverflow.com/questions/34054780/ho 阅读全文

posted @ 2019-08-16 14:42 xibuhaohao 阅读(3223) 评论(0) 推荐(0) 编辑

2019年8月15日

MongoDB 查看集合的统计信息

摘要：和 RDBMS 一样， MongoDB 同样存储集合的统计信息，通过调用命令 db.collection.stats() 可以方便的查看集合的统计信息。 --1 查看集合 things 的统计信息备注：部分参数解释如下： ns: 集合的命名空间，可以理解为集合名称 count: 集合中的文档总数阅读全文

posted @ 2019-08-15 15:44 xibuhaohao 阅读(14415) 评论(0) 推荐(0) 编辑

MongoDB collection Index DB 大小查询

摘要： 1、collection中的数据大小 db.collection.dataSize() 2、为collection分配的空间大小，包括未使用的空间db.collection.storageSize() 3、collection中索引数据大小db.collection.totalIndexSize() 阅读全文

posted @ 2019-08-15 15:00 xibuhaohao 阅读(1586) 评论(0) 推荐(0) 编辑

mongodb 副本集的主的选举--优先级设置

摘要： primary的选举依赖于各个实例的优先权重，默认权重都是1 复本集的主挑选权重最高的，权重一样的无法控制谁为主设置各个实例的优先权重，挑选自己想要的实例为主，只有primary可以更改权重配置 conf = rs.config() #获取副本集的配置，默认权重都是1 conf.members[0 阅读全文

posted @ 2019-08-15 14:22 xibuhaohao 阅读(1245) 评论(0) 推荐(0) 编辑

MongoDB 复制集监控

摘要： 1.复制集状态查询：rs.status() 2.查看当前副本集oplog状态：rs.printReplicationInfo() 3.查看复制延迟：rs.printSlaveReplicationInfo() 4.查看服务状态详情：db.serverStatus() 5.查询副本集配置：rs.con 阅读全文

posted @ 2019-08-15 11:35 xibuhaohao 阅读(400) 评论(0) 推荐(0) 编辑

MongoDB 常用操作命令大全

摘要：一、数据库常用命令1、Help查看命令提示复制代码代码如下: helpdb.help();db.yourColl.help();db.youColl.find().help();rs.help(); 2、切换/创建数据库复制代码代码如下: use yourDB; 当创建一个集合(table) 阅读全文

posted @ 2019-08-15 11:35 xibuhaohao 阅读(206) 评论(0) 推荐(0) 编辑

2019年8月14日

postgreSQL \timing 查看SQL执行时间

摘要： postgreSQL中，关于查询执行时间的\timing的使用阅读全文

posted @ 2019-08-14 10:14 xibuhaohao 阅读(2618) 评论(1) 推荐(0) 编辑

2019年8月13日

mongoDB sh.status() too many chunks to print

摘要： too many chunks to print, use verbose if you want to force print 想要看到详细的信息则需要执行： mongos> sh.status({"verbose":1}) 或则 mongos> db.printShardingStatus("v 阅读全文

posted @ 2019-08-13 17:53 xibuhaohao 阅读(1350) 评论(0) 推荐(0) 编辑

Oracle 重新编译存储过程/函数等

摘要：第一种如果你使用 PL/SQL Developer工具左侧工具栏中选择“存储过程”-》选择已经失效的procedure-》右键-》选择重新编译即可完成第二种命令行版 1.查找到无效对象 select 'Alter '||object_type||' '||object_name||' co 阅读全文

posted @ 2019-08-13 11:54 xibuhaohao 阅读(7478) 评论(0) 推荐(0) 编辑

为什么 MySQL 索引要使用 B+树而不是其它树形结构？比如 B 树？

摘要：一个问题？ InnoDB一棵B+树可以存放多少行数据？这个问题的简单回答是：约2千万为什么是这么多呢？因为这是可以算出来的，要搞清楚这个问题，我们先从InnoDB索引数据结构、数据组织方式说起。我们都知道计算机在存储数据的时候，有最小存储单元，这就好比我们今天进行现金的流通最小单位是一毛。在阅读全文

posted @ 2019-08-13 11:51 xibuhaohao 阅读(281) 评论(0) 推荐(0) 编辑

2019年8月12日

Postgresql 进程和内存结构

摘要：在本章中，总结了PostgreSQL中的流程体系结构和内存体系结构，以帮助阅读后续章节。如果您已经熟悉它们，可以跳过本章 1.进程结构 Postgresql 是一个C/S架构的关系型数据库，由多个后台进程管理数据库，下面分别介绍一些这些进程 postgres server process 是所有进程阅读全文

posted @ 2019-08-12 18:03 xibuhaohao 阅读(1329) 评论(0) 推荐(0) 编辑

Postgresql 内存分配

摘要： postgresql的内存分配主要由shared_buffers、temp_buffers、work_mem、maintenance_work_mem参数控制。shared_buffers又可以叫做共享缓冲区，postgresql对数据操作时都要先将数据从磁盘读取到内存中，然后进行更新，最后再将数据阅读全文

posted @ 2019-08-12 18:02 xibuhaohao 阅读(1604) 评论(0) 推荐(0) 编辑

Deepgreen & Greenplum DBA小白普及课之三

摘要： Deepgreen & Greenplum DBA小白普及课之三（备份问题解答）不积跬步无以至千里，要想成为一名合格的数据库管理员，首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ，对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案，本阅读全文

posted @ 2019-08-12 16:33 xibuhaohao 阅读(425) 评论(0) 推荐(0) 编辑

DBA 有哪些工作

摘要：首先，我们看看DBA的工作有哪些？DBA的工作实际上都是围绕数据库展开，包含但不限于这些工作： 1. 数据库、主机、操作系统、交换机、存储选型，预算，架构设计，部署，参数优化； 2. 数据库备份、恢复、容灾、HA、新老硬件更替； 3. 数据库SQL审计、SQL优化、异常问题诊断、性能优化、巡检、健康阅读全文

posted @ 2019-08-12 16:19 xibuhaohao 阅读(734) 评论(0) 推荐(0) 编辑

Deepgreen/Greenplum 删除节点步骤

摘要： Deepgreen/Greenplum删除节点步骤 Greenplum和Deepgreen官方都没有给出删除节点的方法和建议，但实际上，我们可以对节点进行删除。由于不确定性，删除节点极有可能导致其他的问题，所以还行做好备份，谨慎而为。下面是具体的步骤： 1.查看数据库当前状态（12个实例） 2.并行阅读全文

posted @ 2019-08-12 13:56 xibuhaohao 阅读(1269) 评论(0) 推荐(0) 编辑

Greenplum Segment 的检测机制

摘要： Greenplum集群具有较好的容错性和高可用性，其中一点就体现在segment镜像机制上。接下来本文会简单地阐述segment的作用以及segment镜像机制是如何保证GP高可用的。 Segment简介 Greenplum集群由一个Master和多个segment组成 segment用来存储数据阅读全文

posted @ 2019-08-12 13:45 xibuhaohao 阅读(2080) 评论(0) 推荐(0) 编辑

Greenplum FTS故障检测原理

摘要：前言 FTS(Fault Tolerance Serve)是GreenPlum中的故障检测服务，是保证GP高可用的核心功能。GreenPlum的Segment的健康检测及HA是由GP Master实现的，GP Master上面有个专门的进程–FTS进程，它可以快速检测到Primary或者Mirror 阅读全文

posted @ 2019-08-12 13:35 xibuhaohao 阅读(513) 评论(0) 推荐(0) 编辑

PostgreSQL 索引坏块处理

摘要：今天应用反应有张表查询报错，报错信息如下 back=# select max(create_time) from public.tbl_index_table where create_time>='2010-10-08';ERROR: could not read block 41381 of r 阅读全文

posted @ 2019-08-12 09:23 xibuhaohao 阅读(914) 评论(0) 推荐(0) 编辑

PostgreSQL 恢复大法 - 恢复部分数据库、跳过坏块、修复无法启动的数据库

摘要：转载自：https://yq.aliyun.com/articles/582880 背景一个较大的数据库，如何只恢复一部分数据（例如只恢复某个DB）。如果访问有坏块的表。如何从无法启动的数据库中，恢复到有意义的数据。如何正确的进行备份。如何恢复到过去的某个时间点。恢复部分数据库《Pos 阅读全文

posted @ 2019-08-12 09:19 xibuhaohao 阅读(1828) 评论(0) 推荐(0) 编辑

2019年8月9日

PostgreSQL物理坏块和文件损坏案例分享

摘要：作者简介王睿操，平安好医数据库架构岗，多年postgresql数据库运维开发工作。曾就职于中国民航信息，迪卡侬。对其他数据库产品也有一定的涉猎。背景笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况，网上中文资料比较少，于是整理了一下笔者遇到各种各样的报错以及解决方案案例阅读全文

posted @ 2019-08-09 18:08 xibuhaohao 阅读(2178) 评论(0) 推荐(1) 编辑

GreenPlum failover，primary和mirror切换实验 -- 重要

摘要： GP failover，primary和mirror切换实验 http://blog.sina.com.cn/s/blog_9869114e0101k1nc.html 一、恢复失败的segment出现segment节点down，恢复GP的思路：if"segment down" thencase "d 阅读全文

posted @ 2019-08-09 15:42 xibuhaohao 阅读(1560) 评论(0) 推荐(0) 编辑

Greenplum 激活standby 和恢复 master 原有角色

摘要：当Greenplum segment的primary出现问题时，FTS会监测到，GP会自动激活mirror。但是对于GP的master节点，虽然有standby，但是GP并不会自动来完成master和standby master的角色互换，需要通过gpactivatestandby命令来完成这个过程阅读全文

posted @ 2019-08-09 15:25 xibuhaohao 阅读(907) 评论(0) 推荐(0) 编辑

GreenPlum 常用命令

摘要： gpstate gpconfig gpstart gpstop 集群恢复激活备库流程始化备Master 参考文档 https://gp-docs-cn.github.io/docs/utility_guide/admin_utilities/gprecoverseg.html https://g 阅读全文

posted @ 2019-08-09 15:12 xibuhaohao 阅读(3181) 评论(0) 推荐(0) 编辑

Greenplum 添加mirror步骤

摘要：原文链接：https://yq.aliyun.com/articles/695864 [TOC] 概述新安装的greenplum集群只有primary节点，没有mirror。高可用性没得到保证。所以就需要为集群添加mirror节点注意：数据量过大时添加mirror，会有较大的磁盘压力，因为后台会阅读全文

posted @ 2019-08-09 14:59 xibuhaohao 阅读(1521) 评论(0) 推荐(0) 编辑

PostgreSQL 多版本的实现与Innodb和oracle的差别

摘要： PostgreSQL与oracle或InnoDB的多版本实现最大的区别在于最新版本和历史版本是否分离存储，PostgreSQL不分，而oracle和InnoDB分，而innodb也只是分离了数据,索引本身没有分开。 PostgreSQL的主要优势在于： 1. PostgreSQL没有回滚段，而ora 阅读全文

posted @ 2019-08-09 10:28 xibuhaohao 阅读(865) 评论(0) 推荐(0) 编辑

Oracle 与 postgreSQL 事务处理区别（多版本与undo区别）

摘要： 2015年左右，因为工作需要用MongoDB、CouchBase这两种文档型数据库，时不时到这两个数据库官网上查资料、报BUG。时常可以在MongoDB官网上看到这样一些新闻，“某某企业成功将MySQL替换成MongoDB，性能大幅提升”，“某某公司将Oracle替换成MongoDB，节约成本若干” 阅读全文

posted @ 2019-08-09 10:17 xibuhaohao 阅读(1487) 评论(0) 推荐(0) 编辑

Oracle11g 新特性之动态变量窥视

摘要：从11g開始，这个尴尬的问题開始得到了改善。因此从11g開始，引入了所谓的自适应游标共享（Adaptive Cursor Sharing）。该特性是一个很复杂的技术，用来平衡游标共享和SQL优化这两个矛盾的目标。11g里不会盲目的共享游标，而是会去查看每一个绑定变量，并为不同的绑定变量来产生不同的运阅读全文

posted @ 2019-08-09 09:59 xibuhaohao 阅读(344) 评论(0) 推荐(0) 编辑

Oracle 绑定变量窥视

摘要：绑定变量窥视功能是数据库的一个特性，自ORACLE9i版本开始引入，默认是开启的。 “绑定变量窥视”表示，查询优化器在第一次调用游标时，会观察用户定义的绑定变量的值，允许优化器来确认过滤条件的选择性，以及是否使用绑定变量代替了常量。之后调用游标时不会出现窥视，且会根据指针共享标准来共享游标，即使随后阅读全文

posted @ 2019-08-09 09:40 xibuhaohao 阅读(2320) 评论(0) 推荐(0) 编辑

2019年8月8日

MongoDB 查看chunk块大小

摘要：使用mongo shell连到mongos执行命令：AllChunkInfo("dbname.cellname",true) 点击(此处)折叠或打开 AllChunkInfo = function(ns, est){ var chunks = db.getSiblingDB("config").ch 阅读全文

posted @ 2019-08-08 15:39 xibuhaohao 阅读(2680) 评论(0) 推荐(0) 编辑

公告