摘要:最近失恋了,恶心的厉害。面容憔悴来上班, 有点晕。早日走出。前天实习下班跑了个导入程序,如果正常进行,起码要五六个小时。今天来发现才导入了几百万个,崩了。就是那样。 一看又是编码问题,忧伤啊。之前碰到过一次,没解决,最后为了快,用英文回避了。没想到该来的总要来啊。。。学了很久通信原理,信号系统什么的,对编码有一定了解,但对计算机编码还是一头雾水。What the hell .编码:参考http://penghuilove.blog.163.com/blog/static/5157279200851334815521/ http://www.cppblog.com/sunrise/archiv.
阅读全文
摘要:抛出问题:处理互联网大量数据,用SQL数据库还是noSql数据库比较好?今天实习上班,看到前天下班前一小时跑的每插入一条从一个39W的IP数据库查询属于哪个地区,再插入。总数据94W。太慢。性能分析,找出瓶颈:test 1: python+mysql (单条插入,不是块插入) insert 21039 条数据,耗时0:04:40.790000 join query 与一个表长39W的表join。耗时15min56.61sectest 2: python+mysql 块插入 每次够50条就插入。 s...
阅读全文
摘要:1.我用的软件为 mysql5.7 和一个开发的mysql query browser,很好用,但是,对于较大的数据,该browser很容易崩溃,no responding. 所以,这个时候,我常常选择mysql cmd。很nice。cmd中sql语句必须以;结尾。2.设备不能用,登不进去,往往要查看my.ini文件。然后从电脑上的services.msc中看一下mysql服务启动了没。3.多表查询,用inner join 其实和where差不多,都是笛卡尔乘积。两个表都特别大,查起来速度真的特别慢。自己实习时做的一个有关数据库的操作。电脑用cmd跑了将近12个小时才好。心得,在建表时,一定要
阅读全文
摘要:http://hi.baidu.com/ledzep2/item/37655535edb6f3312f0f816a
阅读全文