随笔分类 -  mysql

mysql数据迁移hbase问题
摘要:无法直接dump,写了java多线程程序做迁移问题1:Operation not allowed after ResultSet closed裸jdbc语句,一个线程跑7个表,只有第一个表时候出这个问题,方法改为static synchronized可以解决,但速度慢的不能忍受,最终在同事建议下,换用spring jdbctemplate,解决问题2:SELECT `token`, `count` FROM {TABLE_NAME} ORDER BY `token` DESC LIMIT ?, ? 到100w后速度不能忍受的慢问题场景为遍历数据库,可以记录上次的最大token,然后 where 阅读全文
posted @ 2012-06-16 20:04 架构师刀哥 阅读(562) 评论(0) 推荐(0)
mysql DUPLICATE KEY UPDATE 问题
摘要:DUPLICATE KEY UPDATE batch执行时出死锁错误背景知识一、 mysql insert 与 duplicate key:典型的插入语句:多条:INSERT INTO tablename (columnA, columnB, columnC)VALUES ('a', 1, 2), ('b', 7, 5)单条:INSERT INTO tablename SET columnA='a', columnB=1, columnC=2复制:INSERT [options1] [INTO] tablename [ (columnlist) 阅读全文
posted @ 2012-05-17 13:39 架构师刀哥 阅读(8628) 评论(0) 推荐(0)
mysql复制学习二 安装及首次复制配置
摘要:安装下载rpm版本 server安装rpm -ivh MySQL-server-5.5.24-1.linux2.6.i386.rpm出错1error: Failed dependencies:MySQL conflicts with mysql-5.0.77-4.el5_4.2.x86_64MySQL conflicts with mysql-5.0.77-4.el5_4.2.i386[root@vm10100030 ~]# rpm -e mysql-5.0.77-4.el5_4.2.x86_64 --nodeps[root@vm10100030 ~]# rpm -e mysql-5.0.77 阅读全文
posted @ 2012-05-15 10:15 架构师刀哥 阅读(250) 评论(0) 推荐(0)
mysql 高并发更新计数问题
摘要:问题:功能为链接的点击计数,其他两个计数更新 还有两个内容表的插入,只插入链接对应的id,分4个库,共128个表,mysql每天有5000万次插入和5000万次更新操作,压力负载过大,需要想方案,对计数更新做合并处理,或者加cache,一定时间后flush到磁盘DB。目前有batch处理程序,使用java.sql包原生类,但执行一段后就出现java.sql.BatchUpdateException: Deadlock found when trying to get lock; try restarting transaction 错误解决进行中,未完成。解决步骤show global sta 阅读全文
posted @ 2012-05-10 17:21 架构师刀哥 阅读(1124) 评论(0) 推荐(0)