dongtime - 博客园

redis 常见问题

摘要： Redis V5.0程序超时频率高是什么原因？ CDB新集群默认部署V5.0版本Redis，建议JAVA使用Jedis V3.3及以上版本，PHP使用phpredis V5.1及以上版本 Redission连接V5.0会频繁与Server端断开连接，请使用V4.0低版本Redis集群 Redis响应阅读全文

posted @ 2020-06-30 18:12 dongtime 阅读(200) 评论(0) 推荐(0)

使用Binlog日志恢复误删的MySQL数据

摘要： MySQL的binlog日志是什么？通常是用来干什么的？模拟一次误删数据的操作，并且使用binlog日志恢复误删的数据。这篇文章其实是想让大家放心，MySQL就算进行了误删操作，也基本都能够抢救回来。尤其是大公司内，数据可不是你想删就能删掉的，有权限/备份几层保障阻拦着你干坏事。正文 Binl 阅读全文

posted @ 2020-06-11 14:58 dongtime 阅读(325) 评论(0) 推荐(0)

python 操作redis

摘要： Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作，主要介绍RedisPy这个库的用法。 1. 准备工作在开始之前，请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出阅读全文

posted @ 2020-05-28 20:28 dongtime 阅读(324) 评论(0) 推荐(0)

大数据平台的搭建思路

摘要：做任何事情都要有目标，然后根据这个目标根据自身的条件和外部的情况制定一个思路，这个思路也可以理解为实现目标的路径。那么大数据的平台搭建也不例外。脚本工具化在数据收集，存储、分析的初期，通常来说程序员都是根据业务需求，通过一些脚本来完成数据收集，分析的工作。表面上是完成了一些数据操作的功能，同时也阅读全文

posted @ 2020-05-27 19:37 dongtime 阅读(5143) 评论(0) 推荐(0)

LEFT SEMI JOIN

摘要：介绍（左半连接）是 IN/EXISTS 子查询的一种更高效的实现。 Hive 当前没有实现 IN/EXISTS 子查询，所以可以用 LEFT SEMI JOIN 重写你的子查询语句。示例 SELECT A.KEY,A.VALUE FROM A WHERE A.KEY IN (SELECT B.K 阅读全文

posted @ 2019-07-18 11:16 dongtime 阅读(1790) 评论(0) 推荐(0)

HDFS小文件问题及解决方案

摘要： 1、概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namen 阅读全文

posted @ 2019-05-29 11:32 dongtime 阅读(6511) 评论(0) 推荐(0)

perl取文件大小

摘要： my @args = stat ($filename); my $size = $args[7]; stat()函数返回一个数组。下面是数组各元素的含义。 0 dev 设备号驱动器号（C：通常是2，D：通常是3，等等） 1 ino 索引节号总是0 2 mode 文件的方式无 3 nlink 链阅读全文

posted @ 2019-04-03 10:23 dongtime 阅读(1082) 评论(0) 推荐(0)

HIVE优化

摘要： 1.概述继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。 job 阅读全文

posted @ 2019-03-15 17:08 dongtime 阅读(149) 评论(0) 推荐(0)

Redis和MongoDB的对比

摘要：项目中用的是MongoDB，但是为什么用其实当时选型的时候也没有太多考虑，只是认为数据量比较大，所以采用MongoDB。最近又想起为什么用MongoDB，就查阅一下，汇总汇总：之前也用过redis，当时是用来存储一些热数据，量也不大，但是操作很频繁。现在项目中用的是MongoDB，目前是百万级的阅读全文

posted @ 2019-02-25 14:23 dongtime 阅读(3391) 评论(0) 推荐(0)

MongoDB语法与RMDB SQL对照

摘要： MongoDB语法 MySql语法 db.test.find({'name':'foobar'}) select from test where name='foobar' db.test.find() select from test db.test.find({'ID':10}).count() 阅读全文

posted @ 2019-02-25 14:22 dongtime 阅读(265) 评论(0) 推荐(0)