上一页 1 2 3 4 5 6 7 8 ··· 18 下一页
摘要: 一、简介 这里简单介绍一下各个工具的使用场景,一般用mysql,redis,mongodb做存储层,hadoop,spark做大数据分析。 mysql适合结构化数据,类似excel表格一样定义严格的数据,用于数据量中,速度一般支持事务处理场合 redis适合缓存内存对象,如缓存队列,用于数据量小,速 阅读全文
posted @ 2018-02-22 23:37 踏雪无痕SS 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 这里总结下这段时间使用mongo的心得,列出了几个需要注意的地方。 1. 系统参数及mongo参数设置 mongo参数主要是storageEngine和directoryperdb,这两个参数一开始不选定后续就无法再更改。 directoryperdb主要是将数据库分文件夹存放,方便后续的备份及数据 阅读全文
posted @ 2017-12-09 20:58 踏雪无痕SS 阅读(2260) 评论(0) 推荐(2) 编辑
摘要: Aggregate是MongoDB提供的众多工具中的比较重要的一个,类似于SQL语句中的GROUP BY。聚合工具可以让开发人员直接使用MongoDB原生的命令操作数据库中的数据,并且按照要求进行聚合。 MongoDB提供了三种执行聚合的方法:Aggregation Pipleline,map-re 阅读全文
posted @ 2017-12-04 21:16 踏雪无痕SS 阅读(11566) 评论(1) 推荐(3) 编辑
摘要: 一、简介 在用MongoDB查询返回的数据量很大的情况下,做一些比较复杂的统计和聚合操作做花费的时间很长的时候,可以用MongoDB中的MapReduce进行实现 MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务,分配到多服务器上并行处理。Mongo 阅读全文
posted @ 2017-11-29 00:27 踏雪无痕SS 阅读(22677) 评论(0) 推荐(4) 编辑
摘要: 安装MongoDB的方法有很多种,可以源代码安装,在Centos也可以用yum源安装的方法。 1、准备工作 运行yum命令查看MongoDB的包信息(正常是没有信息提示的,我这里已经按安装好了) (如果没有提示相关匹配的信息,) 说明你的centos系统中的yum源不包含MongoDB的相关资源, 阅读全文
posted @ 2017-11-27 21:50 踏雪无痕SS 阅读(787) 评论(0) 推荐(0) 编辑
摘要: php文件下载可以使用http的请求头加上php的IO可以实现,很久之前写过这么一个功能,后来代码没了,今天记录一下 1、先看一下一个正常的http请求 2、一些常见的header功能 3、看下下载所要用的的请求头 content-type:文件类型 Accept-Ranges:表示接收数据的类型或 阅读全文
posted @ 2017-11-01 23:31 踏雪无痕SS 阅读(5724) 评论(0) 推荐(0) 编辑
摘要: 1、SDS 定义 在C语言中,字符串是以’\0’字符结尾(NULL结束符)的字符数组来存储的,通常表达为字符指针的形式(char *)。它不允许字节0出现在字符串中间,因此,它不能用来存储任意的二进制数据。 sds的类型定义 肯定有人感到困惑了,竟然sds就等同于char *? sds和传统的C语言 阅读全文
posted @ 2017-08-06 22:18 踏雪无痕SS 阅读(3724) 评论(1) 推荐(2) 编辑
摘要: 本文作者Tony Lee,转载自FreeBuf.COM ​​自从家里换了联通光纤后,联通就在我家宽带出口前搭了一个路由器,我家也彻底沦为192.168.1.0/24段的局域网了,带来的问题就是在外网无法访问家里的路由器。这对于刷了LEDE,有时候需要从外网直接管理使用路由器的我,觉得难受极了。周末有 阅读全文
posted @ 2017-08-06 00:39 踏雪无痕SS 阅读(2691) 评论(0) 推荐(0) 编辑
摘要: 最大感受,无论从设计还是源码,Redis都尽量做到简单,其中运用到的原理也通俗易懂。特别是源码,简洁易读,真正做到clean and clear, 这篇文章以unstable分支的源码为基准,先从大体上整理Redis的对象类型以及底层编码。 当我们在本文中提到Redis的“数据结构”,可能是在两个不 阅读全文
posted @ 2017-06-10 16:48 踏雪无痕SS 阅读(15284) 评论(1) 推荐(1) 编辑
摘要: 一、如何查看Redis性能 info命令输出的数据可以分为10个分类,分别是: server,clients,memory,persistence,stats,replication,cpu,commandstats,cluster,keyspace 为了快速定位并解决性能问题,这里选择5个关键性的 阅读全文
posted @ 2017-05-24 23:39 踏雪无痕SS 阅读(31747) 评论(0) 推荐(3) 编辑
摘要: 本文为转载文章,文章来自:王辉|十亿级视频播放技术优化揭密 QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自 2007年 3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向 阅读全文
posted @ 2017-05-13 22:00 踏雪无痕SS 阅读(1929) 评论(0) 推荐(0) 编辑
摘要: 一、Index Condition Pushdown(ICP) Index Condition Pushdown (ICP)是mysql使用索引从表中检索行数据的一种优化方式,从mysql5.6开始支持,mysql5.6之前,存储引擎会通过遍历索引定位基表中的行,然后返回给Server层,再去为这些 阅读全文
posted @ 2017-04-18 23:51 踏雪无痕SS 阅读(7837) 评论(4) 推荐(6) 编辑
摘要: 最近在数据库优化的时候,看到一些表在设计上使用了text或者blob的字段,单表的存储空间已经达到了近100G,这种情况再去改变和优化就非常难了 一、简介 为了清楚大字段对性能的影响,我们必须要知道innodb存储引擎的处理方式: 1、一些知识点 1.1 在InnoDB 1.0.x版本之前,Inno 阅读全文
posted @ 2017-04-16 18:33 踏雪无痕SS 阅读(18764) 评论(1) 推荐(4) 编辑
摘要: 一、syslog服务简介 rsyslog 是一个 syslogd 的多线程增强版。rsyslog负责写入日志, logrotate负责备份和删除旧日志, 以及更新日志文件 logger命令 将自定义的信息写入到本地日志系统需要用到:logger 命令 logger 是一个shell 命令接口,可以通 阅读全文
posted @ 2017-03-21 21:53 踏雪无痕SS 阅读(2062) 评论(0) 推荐(0) 编辑
摘要: 一直断断续续的看一些mysql特性,今天总结一下,以下是列表,网址 http://mariadb.org/ (也是类似的特性), http://mysql.com/ 最近在看关于mysql新特性的一些书 一. server参数默认值设置的变化 http://dev.mysql.com/doc/ref 阅读全文
posted @ 2017-03-19 21:51 踏雪无痕SS 阅读(737) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 18 下一页