随笔分类 -  数据库

摘要:用Python的MySQLdb插入UTF-8编码的内容时经常会出问题,主要是Mysql数据库编码和python程序文档编码两个方面。本文旨在提供一个例子来解决Python插入UTF8中文数据的问题使用环境:Python 2.5 for WindowsMySQLdb 1.2.2 for Python 2.5MySQL 4.1.22源代码如下:#!/usr/bin/env python#coding=utf-8import MySQLdb#DB parameterstrHost = '192.168.6.184'strDB = 'test'strUser =  阅读全文
posted @ 2013-07-26 09:30 simon1024 阅读(837) 评论(0) 推荐(0)
摘要:1. order byset hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict;order by 和数据库中的Order by 功能一致,按照某一项 & 几项 排序输出。与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下 必须指定 limit 否则执行会报错。hive> select * from test order by id; FAILED: Error in semantic analysis: 1:28 In stri 阅读全文
posted @ 2013-05-28 15:52 simon1024 阅读(219) 评论(0) 推荐(0)
摘要:以下内容来自于mysql经验分享。一、分页sql的写法假设,一个公司产品有2000条记录,要分页取其中10个产品,假设访问公司索引需要50个IO,2条记录需要1个表数据IO在mysql中采用limit分页原理:一次性根据过滤条件取出所有字段进行排序返回 select * from t where thread_id = 771025 and deleted = 0 order by gmt_create asc limit 0, 10;数据访问开销=索引IO+索引全部记录结果对应的表数据IO该种写法越翻到后面执行效率越差,时间越长,尤其表数据量很大的时候或者可以更优化的,利用表的P... 阅读全文
posted @ 2013-05-26 17:12 simon1024 阅读(193) 评论(0) 推荐(0)
摘要:1. redis不是一个通用的数据解决方案,它只是擅长于处理某些特定的问题集合,而这些问题是我们经常关心的一类问题。2. redis是一个全内存的kv存储工具,它会定期将数据持久化到硬盘。然而它不仅仅是一个kv存储,它拥有五种数据结构,只是其中的一种是kv结构。3. 类似的,我们可以认为关系数据库是只拥有一种数据结构的存储工具,这种数据结构就是表,关系数据库用表这一种结构满足了各种的数据需求,即one-size-fits-all,而redis是用五种典型的数据结构处理特定类型的问题,这种设计使得redis简单而快速。4. redis用key标识一条数据,而用value存储key对应的数据,通常 阅读全文
posted @ 2013-05-25 17:12 simon1024 阅读(171) 评论(0) 推荐(0)
摘要:原文地址:http://blog.codinglabs.org/articles/theory-of-mysql-index.html 阅读全文
posted @ 2013-05-19 17:42 simon1024 阅读(129) 评论(0) 推荐(0)
摘要:但凡初次接触MongoDB的人,无不惊讶于它对内存的贪得无厌,至于个中缘由,我先讲讲Linux是如何管理内存的,再说说MongoDB是如何使用内存的,答案自然就清楚了。据说带着问题学习更有效,那就先看一个MongoDB服务器的top命令结果:shell>top-p$(pidofmongod)Mem:32872124ktotal,30065320kused,2806804kfree,245020kbuffersSwap:2097144ktotal,100kused,2097044kfree,26482048kcachedVIRTRESSHR%MEM1892g21g21g69.6这台Mong 阅读全文
posted @ 2013-05-19 12:20 simon1024 阅读(340) 评论(0) 推荐(0)