●数据库 - 随笔分类 - 程序优化

摘要：mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下，并确保导入用户拥有这个txt文件的... 阅读全文

posted @ 2017-07-16 11:39 程序优化阅读(2022) 评论(0) 推荐(0)

摘要：今天在腾讯云上搭的开发环境里的一台机器cpu load飚升老高，然后还能登陆上去，top后发现两个可疑进程、/root/目录下有修改过的文件、/opt目录被干掉了，后经分析，这台机器上有redis外网服务，/root目录下还有个READ_ME.txt, 内容如下：中... 阅读全文

posted @ 2017-06-06 16:03 程序优化阅读(638) 评论(0) 推荐(0)

摘要：Proxy式架构和客户端式架构的优劣 Proxy式架构客户端式架构优点 1，集中式管理监控和升级维护方便 2，解决连接数问题 1. 应用直连数据库性能高 2. 无需中间层集群，没有额外成本开销劣势 1，... 阅读全文

posted @ 2017-04-16 14:53 程序优化阅读(340) 评论(0) 推荐(0)

摘要：Redis 为什么用跳表而不用平衡树？本文是《Redis内部数据结构详解》系列的第六篇。在本文中，我们围绕一个Redis的内部数据结构——skiplist展开讨论。Redis里面使用skiplist是为了实现sorted set这种对外的数据结构。sorted set... 阅读全文

posted @ 2016-10-10 22:52 程序优化阅读(597) 评论(0) 推荐(0)

摘要：数据库做拆分的几种方式：1．按功能划分（垂直切分）将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。2．按表中某一字段值的范围划分（水平切分）当伴随着某一个表的数据量越来... 阅读全文

posted @ 2016-05-04 00:23 程序优化阅读(972) 评论(0) 推荐(0)

摘要：mysql数据库切分前言通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。这时候，我们就必须许找其他技术手段来解决这个瓶颈，那就是我们这一章所要... 阅读全文

posted @ 2016-04-06 10:52 程序优化阅读(426) 评论(0) 推荐(0)

摘要：今天在测试集群用的mysql上，遇到个权限的问题：SQLException : SQL state: 42000 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for ... 阅读全文

posted @ 2016-03-01 11:27 程序优化阅读(5621) 评论(0) 推荐(0)

分布式主键生成策略

摘要：在分布式高并发的情况下，分布式主键生成策略可参考mongodb的objectid实现。ObjectId是一种轻量的，不同的机器不同的进程都能用全局唯一的同种方法生成它，而不是采用传统的自增的主键策略，因为在多台服务器上同步自动增加主键既费力又费时。ObjectId是一... 阅读全文

posted @ 2016-02-17 13:25 程序优化阅读(814) 评论(0) 推荐(0)

摘要：如果mysql正在运行，/etc/init.d/mysqld stop启动mysql(无需输入密码)：bin/safe_mysqld –skip-grant-tables &在bin目录下执行mysql，此时无需输入密码即可进入# /usr/bin/mysql >us... 阅读全文

posted @ 2015-12-06 17:55 程序优化阅读(294) 评论(0) 推荐(0)

数据库事务隔离级别

摘要：一,事务的4个基本特征 Atomic（原子性）：事务中包含的操作被看做一个逻辑单元，这个逻辑单元中的操作要么全部成功，要么全部失败。 Consistency（一致性）：只有合法的数据可以被写入数据库，否则事务应该将其回滚到最初状态。 Isolation（隔离性... 阅读全文

posted @ 2015-11-14 10:54 程序优化阅读(203) 评论(0) 推荐(0)

摘要：mysql修改表、字段、库的字符集修改数据库字符集：ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...];把表默认的字符集和所有字符列（CHAR,VARCHAR,TEXT）改... 阅读全文

posted @ 2015-09-24 01:19 程序优化阅读(205) 评论(0) 推荐(0)

摘要：如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则在出现重复值的行执行UPDATE；如果不会导致唯一值列重复的问题，则插入新行。例如，如果列 a 为... 阅读全文

posted @ 2015-09-23 11:11 程序优化阅读(1291) 评论(0) 推荐(0)

摘要：为首次部署MongoDB做好准备：容量计划和监控作者Mat Keep ，译者孙镜涛如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题：最佳部署实践是什么？为了确保应用程序满足它所必须的服务层... 阅读全文

posted @ 2015-07-10 18:33 程序优化阅读(119) 评论(0) 推荐(0)

摘要：java链接MongoDB处理大量数据时经常碰到cursor not found 的异常,其实是超时所致Exception in thread "main" com.mongodb.MongoException$CursorNotFound: cursor not f... 阅读全文

posted @ 2015-06-11 15:35 程序优化阅读(595) 评论(0) 推荐(0)

摘要：异步通信对于BS(Browser-Server 浏览器)架构，很多情景下server的处理时间较长。如果浏览器发送请求后，保持跟server的连接，等待server响应，那么一方面会对用户的体验有负面影响；另一方面，很有可能会由于超时，提示用户服务请求失败。对于这种情... 阅读全文

posted @ 2015-03-09 16:54 程序优化阅读(455) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)