12 2017 档案
摘要:今天对Insert进行了性能测试,结果反差很大,平时都是单条插入,虽然性能要求没有那么高,但是突然在项目中,人家给定时间内完成,这就尴尬了. 优化数据库,优化服务器,优化代码,反正通过各种优化提高数据的处理速度. 接下来对jdbc插入做一个测试,测试代码入如下: 通过上面10000条测试结果,发现效
阅读全文
摘要:引用链接:http://blog.csdn.net/dongzhumao86/article/details/8480499
阅读全文
摘要:通过程序要把1000万的数据插入到数据表中,刚开始每100条数据耗时50ms左右,但是越往后越慢,最慢到了十几秒的都有,真实好坑了. 于是在网上百度了一波,如何进行insert优化.倒是有了一点小小的优化,但是还是有些慢.具体操作如下: 1.关掉表和索引的nologged日志 2.禁用索引,启用,查
阅读全文
摘要:数据统计 作为一个数据科学家,数据统计不要求很精通,但是掌握数据统计的基本知识,能够运用数据统计的相关方法解决实际问题是必要的。从数据的分析的目的和思考方式来看,数据统计方法分为:描述统计和推断统计。从数据分析的方法论角度看,可分为两个层次:基本分析法和元分析法。 1概率分布 在统计学中,概率分布可
阅读全文
摘要:数据预处理 1数据质量 基本属性:正确性,完整性,一致性 2数据审计 运用一定的规律和评价方法,发现数据中存在的问题。如:缺失值,噪声值,不一致值,不完整值。 数据审计的三种类型:预定义审计,自定义审计,可视化审计 3数据清洗 3.1缺失数据清洗 三个活动:缺失识别,缺失分析,缺失处理 方法:较为简
阅读全文
摘要:相关基础概念 1数据 1.1数据模型 概念模型:用户视角—各种文档,业务流程图,er图等 逻辑模型:数据科学家视角—关系模型,层次模型,网状模型 key-value,key-document,key-column和图模型等,常用格式:关系表,csv,json,xml,rdf等 物理模型:机器视角--
阅读全文
摘要:/** * 求数组中的最大值 * * @param a */ public double maxElement(double a[]) { double max = a[0]; for (int i = 0; i max) { max = a[i]; ...
阅读全文
摘要:最近处理的一个数据表中的数据有大概6亿左右的数据,基本上都是一些基础信息,例如姓名,性别这种.如何读取处理这些数据的思路做一个简单的总结(oracle) 评估数据表 首先,数据表结构,每个字段的含义,类型;索引,主外键一定要清楚,以便后面对于数据进行分类处理. 数据分表处理 对于这种大表的读取,不能
阅读全文
摘要:一般情况下我们都是使用apt-get install进行软件安装,但是有时候也有可直接install的文件例如.deb. 接下来就记录一下.dep软件的安装与卸载 安装: 直接找到软件,双击就可以进行安装。 或者使用命令 但是有时候这个安装会出现软件版本啊,依赖包关系安装失败,会有数据残留。 所以就
阅读全文
摘要:导出命令 命令说明 pg_dump:是pg数据库中自带的备份命令,在bin目录下,所有要执行的话,必须在bin目录下进行执行. -h:指定主机地址,就是pg数据库所在服务器,这里指定的主机地址就是本地localhost -p:指定主机端口,就是pg数据库应用的端口,这里使用默认的端口,默认貌似可以不
阅读全文
摘要:Tomcat整体结构 由上图可知Tomcat的顶层容器是Server,而且一个Tomcat对应一个Server,一个server有多个service提供服务.service包含两个重要组件:Connector和Container.这个后面详细讲解.这个Server由谁来管理呢?当然是Catalina
阅读全文
摘要:1.首先我们先看看Servlet的类结构图,然后再分别介绍其中的接口方法 由上图可以看到,Servlet和ServletConfig都是顶层接口类,而GenericServlet实现了这两个顶层类,然后HttpServlet实现了GenericServlet类.所以要实现一个Servlet直接就可以
阅读全文

浙公网安备 33010602011771号