摘要: 对于大数据量的表格,尤其是百万行以上的数据表,一定要对其建立索引,否则查询速度极慢。(参考后面的测试结果)建立索引时需注意:MySQL的索引有两种:单列索引(即在某一列上建索引)、多列组合索引(即在多个列上建立同一个索引),不像SQL Server分聚集索引,非聚集索引。如何建立单列索引:格式:CR... 阅读全文
posted @ 2016-01-26 19:40 morein2008 阅读(1475) 评论(0) 推荐(0)
摘要: Python获取指定路径下的子目录和文件有两种方法: os.listdir(dir)和os.walk(dir),前者列出dir目录下的所有直接子目录和文件的名称(均不包含完整路径),如 >>> os.listdir(r'E:')['$RECYCLE.BIN', 'Download', 'test.t 阅读全文
posted @ 2016-01-25 13:19 morein2008 阅读(432) 评论(0) 推荐(0)
摘要: Python的字符串处理(包括整数等转换)、日期处理(加减、格式化为字符串、时间差)、文件读写、迭代器、类静态、成员方法构造器、多态、Type、异常处理、正则表达式Java同样。轨迹数据的分析:分时段(找出高峰期)、高峰期即各个时段哪里出租车最多,有多少?载客时一般去哪里,载客率、何时客人最多,何时... 阅读全文
posted @ 2016-01-22 21:03 morein2008 阅读(167) 评论(0) 推荐(0)
摘要: 本例用Python操纵MySQL,从指定文件读取数据,并对数据进行处理,处理之后批量插入MySQL。贴上代码:# -*- coding: gbk -*-import reimport MySQLdbimport timedef select(sqlselect): try: co... 阅读全文
posted @ 2016-01-22 20:47 morein2008 阅读(1487) 评论(0) 推荐(0)
摘要: 唠叨几句: 近期在做数据分析,需要对数据做可视化处理,也就是画图,一般是用Matlib来做,但Matlib安装文件太大,不太想直接用它,据说其代码运行效率也很低,在网上看到可以先用Java做数据处理,然后调用Matlib来画图,另外,还可以使用Matplotlib,它是用Python写的类似Matl 阅读全文
posted @ 2016-01-22 12:04 morein2008 阅读(11158) 评论(0) 推荐(0)
摘要: 要审核就不发 阅读全文
posted @ 2016-01-21 18:02 morein2008 阅读(144) 评论(0) 推荐(0)
摘要: Java和PyPy运行同一段代码,对比结果. Java代码: package javatest; import java.text.DecimalFormat; import java.util.Date; public class speedTest { public static void ma 阅读全文
posted @ 2016-01-20 20:36 morein2008 阅读(1683) 评论(0) 推荐(0)
摘要: 本例为Python配合BeautifulSoup读取网络图片,并保存在本地。 BeautifulSoup可代替正则表达式,更好地解析Html文本,获取其中的指定内容,如Tag、Property等 # -*- coding: gbk -*- import urllib import urllib2 f 阅读全文
posted @ 2016-01-20 20:11 morein2008 阅读(927) 评论(0) 推荐(0)
摘要: 本例用到了多线程、时间函数、网络流、文件读写、正则表达式(在读取html内容response时,最好不要用正则表达式来抓捕html文本内容里的特征,因为服务器返回的多个页面的文本内容不一定使用相同的模式),是一个综合性的实例。 阅读全文
posted @ 2016-01-20 19:53 morein2008 阅读(1840) 评论(0) 推荐(0)
摘要: # -*- coding: gbk -*- import re #将数字格式化为带三位数逗号的字符串 def formatNumber(number): numStr='%d'%number formatStr='' numStr=numStr[::-1] i=0 while i<len(numSt 阅读全文
posted @ 2016-01-20 19:29 morein2008 阅读(2809) 评论(0) 推荐(0)