0

聊起 BigTable,让你不再胆怯

谷歌“三驾马车”的出现,才真正把我们带入了大数据时代,并指明了大数据的发展方向。 GFS 作为其中一驾宝车,解决了大数据存储的难题。它能够把大量廉价的普通机器,聚在一起,充分让每台廉价的机器发挥光和热。其中在《从谷歌 GFS 架构设计聊开去》中我们针对 GFS 进行了管中窥豹,体会到其中一斑,不得不 ...

一猿小讲 发布于 2020-04-04 09:04 评论(0)阅读(20)
0

悟懂MapReduce,不纠结!

在《谷歌 MapReduce 初探》中,我们通过统计词频的 WordCount 经典案例,对 Google 推出的 MapReduce 编程模型有了一个认识,但是那种认识,还只是停留在知道有那么个模型存在,并没有认识到骨子里。而且上次初探,也遗留了很多猜想和疑问,这次不妨让我们深入去认识一下 Map ...

一猿小讲 发布于 2020-04-04 09:02 评论(0)阅读(22)
0

谷歌 MapReduce 初探

谷歌“三驾马车”的出现,才真正把我们带入了大数据时代,毕竟没有谷歌,就没有大数据。 上次的分享,我们对谷歌的其中一驾宝车 GFS 进行了管中窥豹,虽然只见得其中一斑,但是也能清楚的知道 GFS 能够把大量廉价的普通机器,聚在一起,充分让每台廉价的机器发挥光和热,不但降低了运营成本,而且解决了一个业界 ...

一猿小讲 发布于 2020-04-04 09:00 评论(0)阅读(17)
0

从谷歌 GFS 架构设计聊开去

伟人说:“人多力量大。” 尼古拉斯赵四说:“没有什么事,是一顿饭解决不了的!!!如果有,那就两顿。” 研发说:“需求太多,人手不够。” 专家说:“人手不够,那就协调资源,攒人头。” 释义:一人拾柴火不旺,众人拾柴火焰高。一人难挑千斤担,众人能移万座山。 运维说:“一台机器不够;一个服务扛不住压力。” ...

一猿小讲 发布于 2020-04-04 08:55 评论(0)阅读(14)
0

mongodb高级聚合查询

https://www.cnblogs.com/zhoujie/p/mongo1.html mongodb高级聚合查询 在工作中会经常遇到一些mongodb的聚合操作,特此总结下。mongo存储的可以是复杂类型,比如数组、对象等mysql不善于处理的文档型结构,并且聚合的操作也比mysql复杂很多。 ...

功夫 熊猫 发布于 2020-04-04 07:28 评论(0)阅读(29)
0

MongoDB聚合(aggregate)

https://www.cnblogs.com/wt7018/p/11929359.html MongoDB聚合(aggregate) 一、基础 1、什么是聚合? 聚合是基于数据处理的聚合管道,每个文档通过一个有多个阶段(stage)组成的管道可以对每个阶段的管道进行分组、过滤等功能,然后经过一系列 ...

功夫 熊猫 发布于 2020-04-04 06:14 评论(0)阅读(23)
0

flink 一分钟入门篇

1. 业务说:“…… bulabula……,这个需求很简单,怎么实现我不管?” 面对霸气侧漏的业务需求,由于没有大数据知识储备,咱心里没底,咱也不敢问,咱也不敢说,只能静下来默默储备、默默寻觅解决方案。 关注“一猿小讲”公众号的小伙伴们,今天有福啦,因为今天我们将一起跳出系统之外,共同迈入大数据之 ...

一猿小讲 发布于 2020-04-04 01:37 评论(0)阅读(21)
0

MySQL计算两坐标距离并排序

环境 MySQL5.6 表结构及数据 sql DROP TABLE IF EXISTS ; CREATE TABLE ( int(11) NOT NULL AUTO_INCREMENT, varchar(20) NOT NULL, varchar(20) NOT NULL, double(10, 3 ...

shih945 发布于 2020-04-03 22:40 评论(0)阅读(23)
0

数据库系统概论--SQL-`写一半不想写了,不知道为啥`

SQL语句还是多去用才能掌握,再多理论,白搭 SQL概述 SQL的产生与发展 SQL的特点 SQL功能十分强大,针对数据的操作,核心功能只用9个动词就可以完成。而且其语句有点类似英语口语一看基本就能明白它要表达的意思。 SQL语言对数据库三级模式的支持 SQL语言作为大多数数据库使用的共同数据存取语 ...

跌倒的小黄瓜 发布于 2020-04-03 19:07 评论(0)阅读(20)
1

【赵强老师】搭建Hadoop环境

说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop环境。有了这个基础,大家可以自行搭建Hadoop的全分布模式。 需要使用的安装介质: hadoop-2.7.3.tar.gz jdk-8u181-linux-x64.tar.gz rhel-server-7.4-x86_64-d ...

赵强老师 发布于 2020-04-03 13:26 评论(0)阅读(19)
2

Mysql性能优化:为什么你的count(*)这么慢?

导读 在开发中一定会用到统计一张表的行数,比如一个交易系统,老板会让你每天生成一个报表,这些统计信息少不了 sql 中的count函数。 但是随着记录越来越多,查询的速度会越来越慢,为什么会这样呢?Mysql内部到底是怎么处理的? 今天这篇文章将从Mysql内部对于count函数是怎样处理的? 本文 ...

爱撒谎的男孩 发布于 2020-04-03 11:49 评论(0)阅读(669)
0

MySQL基础语句

查看语句 查看所有数据库 show databases; 查看表结构 desc table_name; 查看库中所有表 show tables; 查看建表语句 show create table ; 新建表语句 新建表: Filed|Type|Null|Key|Default|Extra : :|: ...

肥兔one 发布于 2020-04-03 10:00 评论(0)阅读(51)
0

PostgreSQL使用repmgr配置级联复制

最近的项目要求配置共享存储的四节点集群,使集群能够形成负载均衡。 但是大家知道,PostgreSQL不支持使用同一数据目录生成多个实例,在执行pg_ctl start的时候,如果指定的数据目录有实例在运行,则该实例会发生错误导致数据库down掉。故而,我们选择了基于pgpool-II + repmg ...

MsHarvest 发布于 2020-04-02 21:25 评论(0)阅读(22)
1

【SQL SERVER】锁机制

SQL Server中锁机制保证并发情况下的数据访问,开发过程中利用好索引减少数据,能减少数据扫描数据加锁的过程,合理规范使用事务,能减少死锁发生 ...

WilsonPan 发布于 2020-04-02 20:25 评论(0)阅读(194)
0

常用SQL Server进行性能优化语句

1、锁监控 查看锁住的表: select request_session_id spid,OBJECT_NAME(resource_associated_entity_id) tableName from sys.dm_tran_locks where resource_type='OBJECT' ...

古道轻风 发布于 2020-04-02 20:22 评论(1)阅读(57)
0

MySQL 支持的存储引擎

参考资料:C语言中文网 存储引擎: 数据库存储引擎是数据库底层软件组件,数据库管理系统使用数据引擎进行创建、查询、更新和删除数据操作。 不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能,使用不同的存储引擎还可以获得特定的功能。 注:InnoDB 事务型数据库的首选引擎,支持事务安全表(AC ...

早上六点半遇见五月天 发布于 2020-04-02 18:54 评论(0)阅读(18)
2

Mysql实战45讲学习详情----一条SQL查询语句是如何执行的?

大体来说,MySQL 可以分为 Server 层和存储引擎层两部分。 select * from T where ID=10; 这条查询语句的执行过程: 外部层: 用户与server层交互的媒介 一.客户端【用于连接数据库,输入命令/语句】 界面化连接数据库 输入 select * from T w ...

妖小华 发布于 2020-04-02 16:49 评论(1)阅读(44)
0

MySQL事务介绍

什么是事务 事务的概念 从业务层面上来说,事务就是一个最小的不可分割的单元,通常一个事务对应的是一个完整的业务(比如银行的转账操作)。 为什么要有事务 仍以银行转账为例加以说明,比如我要从账号A转账100元到账号B,现在数据库有一张表account,那么就意味着需要同时执行两条SQL语句的更新: 以 ...

chenyc4 发布于 2020-04-02 16:18 评论(0)阅读(20)
2

Mysql性能优化:如何给字符串加索引?

导读 现代大部分的登录系统都支持邮箱、手机号码登录两种方式,那么如何在邮箱或者手机号码这个字符串上建立索引才能保证性能最佳呢? 今天这篇文章就来探讨一下在Mysql中如何给一个字符串加索引才能达到性能最佳。 本文首发于作者的微信公众号【码猿技术专栏】,原创不易,喜欢的朋友支持一下,谢谢!!! 陈某将 ...

爱撒谎的男孩 发布于 2020-04-02 15:54 评论(0)阅读(285)
0

Mongodb学习总结

2020/4/2 Mongodb使用的是类似与json字符串的形式存储数据 [ { key:value }, { key:value }, ] Mongodb使用了不存在的对象,即创建该对象 use db 使用db数据库 show dbs 查看当前服务器中写在磁盘上的数据库 show tables ...

jasonfun 发布于 2020-04-02 15:25 评论(0)阅读(13)