导航

随笔分类 -  Database

SQL Server日志文件的相关处理(转帖)

摘要：交易日志（Transaction logs）是数据库结构中非常重要但又经常被忽略的部分。由于它并不像数据库中的schema那样活跃，因此很少有人关注交易日志。 交易日志是针对数据库改变所做的记录，它可以记录针对数据库的任何操作，并将记录结果保存在独立的文件中。对于任何每一个交易过程，交易日志都有非常全面的记录，根据这些记录可以将数据文件恢复成交易前的状态。从交易动作开始，交易日志就处于记录状态，... 阅读全文

posted @ 2005-11-21 10:05 ivanking 阅读(308) 评论(0) 推荐(0)

优化较大数据量的处理效率的收获（总结，疑问）

摘要：到此，优化算完成，看看现在的效率1、所有表清空，导入10万数据。。。。。 需时3分42秒2、再次导入20万条数据。。。。 需时6分34秒优化前是11万条记录是两小时以上速度勉强可以接受算是完成工作吧。。。。。总结一下主要的优化就两部分，一是避免在多次循环中做判断，二就是sql的优化都是些基本功的东西，惭愧。。。疑问：类似于DeleteFromdue_user_tempaWhereExists(Se... 阅读全文

posted @ 2005-08-08 17:01 ivanking 阅读(612) 评论(4) 推荐(0)

优化较大数据量的处理效率的收获（sql性能优化）

摘要：前面所说，在这里有三个表的约束，起初考虑用游标将临时表user_temp中的数据逐条遍历处理但是总听人说游标耗资源，而且数据量较多时应避免所以还是不采用（人云亦云。。。）CREATEORREPLACEProceduredue_ImportArrearsUser(p_policyIdInics001.user_push_times.policyid%Type,p_resultOutInteger--... 阅读全文

posted @ 2005-08-08 15:59 ivanking 阅读(1156) 评论(0) 推荐(0)

优化较大数据量的处理效率的收获（优化思路）

摘要：找到了瓶颈剩下就是如何解决的问题了1、如何加快从文本中提取信息的速度2、如何避免在多次循环中处理多次判断3、如何避免避免在循环中于数据库交互－－－－－－－－－－－－－－－－－－－－－－－－对于1，解决比较简单，可以一次性把文本中的数据读入一个字符串，然后处理格式化字符串例如用逗号分割账号 test1，test2，test3前面说过，数据在文本中，是逐行存放的所以我通过StreamReadersr=... 阅读全文

posted @ 2005-08-05 20:00 ivanking 阅读(561) 评论(0) 推荐(0)

优化较大数据量的处理效率的收获（寻找瓶颈）

摘要：周三拿到代码，没有看准备先运行测试一下性能手头上有一个电信发过来的文本文件，里面存着20几万条欠费用户数据（纳闷。。。为什么要用文本）数据是逐行存放，即一行一条记录web上实现的，就是通过导入这个文本，把用户数据导入一张表，然后根据这些数据，更新或插入另一张表这里导入过程中还有一些涉及多表的约束行判断ok，闲话少说，开始。。。。噩梦开始。。。。。。。。。。。。。。。。。。。从我开始导入开始，时间已... 阅读全文

posted @ 2005-08-05 19:38 ivanking 阅读(378) 评论(0) 推荐(0)

优化较大数据量的处理效率的收获（前言）

摘要：这些天都在处理一个电信欠费用户数据处理的问题其实问题本身并不算复杂，但是因为数据量比较大，几十万条记录而且是通过web处理，所以需要考虑性能方面的东西就比较多了原来同事的代码在处理小数据量时没有任何问题但是没有经过压力测试，所以当真正使用时，问题出现了处理20多万数据时，竟然需要运行2小时以上！！不可避免的web页未响应。而我的任务就是解决这个矛盾接手的时候，并没有觉得什么然而实际处理中，发现了很... 阅读全文

posted @ 2005-08-05 19:03 ivanking 阅读(351) 评论(0) 推荐(0)