05 2017 档案

MyBatis增删改查
摘要：1.select 传参数方式 (#传参数据字符串类型，默认加引号，$不加引号传入的是原值) 占位符传值:#{0}，#{1} 用@Param注解传值：Dao方法里的参数前面加上@Param（"provinceId")，即@Param("provinceId") Integer provinceId，那 阅读全文
posted @ 2017-05-24 18:32 corolcorona 阅读(176) 评论(0) 推荐(0)
map的四种遍历方式
摘要：//第一种：普遍使用，二次取值 System.out.println("通过Map.keySet遍历key和value："); for (String key : map.keySet()) { System.out.println("key= "+ key + " and value= " + map.get(key)); } //第二种 System.out.... 阅读全文
posted @ 2017-05-23 21:14 corolcorona 阅读(118) 评论(0) 推荐(0)
springMVC的工作流程
摘要：1.SpringMVC的工作流程 (1) Http请求：客户端请求提交到DispatcherServlet（Spring提供的前端控制器，所有的请求都有经过它来统一分发）。 (2) 寻找处理器：由DispatcherServlet控制器请求调用HandlerMapping处理器映射器（能够完成客户请 阅读全文
posted @ 2017-05-19 13:40 corolcorona 阅读(212) 评论(0) 推荐(0)
java创建对象的方式
摘要：1.使用new关键字 2.对象的clone()方法 3.反序列化方法 4.运用反射方法 调用java.lang.Class或者java.lang.reflect.Constructor类的newInstance()实例方法 5.通过spring容器生成 阅读全文
posted @ 2017-05-18 17:37 corolcorona 阅读(158) 评论(0) 推荐(0)
sql优化
摘要：1.检查优化效果 查看执行时间和cpu占用时间 查看对I/0的操作情况 2.优化查询sql 2.1.细化查询字段 尽量不查询多余的列与行，不使用select * 2.2where 子句 尽量避免在 where 子句中使用!=，<>，in，not in，or，like操作符 很多时候用 exists 阅读全文
posted @ 2017-05-18 17:17 corolcorona 阅读(116) 评论(0) 推荐(0)
线程池
摘要：使用线程池的好处： 1.节省创建和销毁线程上所花的时间以及系统资源的开销，解决资源不足的问题。 2.可有效控制最大并发线程数，避免堵塞。 Java通过Executors提供四种线程池：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回 阅读全文
posted @ 2017-05-17 16:48 corolcorona 阅读(199) 评论(0) 推荐(0)
hadoop-3.0新特性
摘要：1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （ 阅读全文
posted @ 2017-05-08 11:09 corolcorona 阅读(2940) 评论(0) 推荐(0)
scrapy（二）内容获取
摘要：项目源码可以参考我的github:https://github.com/corolcorona/StacksSpider 1.明确需要获取的内容（标题，链接），然后把需要获取的内容写到items.py中，通过检查获取内容的html，可以看出我们要获取的内容标签 2.根据页面的html获取到我们需要的 阅读全文
posted @ 2017-05-03 16:24 corolcorona 阅读(229) 评论(0) 推荐(0)
scrapy（一）建立一个scrapy项目
摘要：本项目实现了获取stack overflow问题，使用python语言,scrapy框架，选取mongoDB作为持久化数据库，redis做为数据缓存 项目源码可以参考我的github:https://github.com/corolcorona/StacksSpider 1.创建一个scrapy项目 阅读全文
posted @ 2017-05-03 15:12 corolcorona 阅读(580) 评论(0) 推荐(0)
scrapy（三）使用mongoDB
摘要：1.使用mongoDB必须已经安装mongoDB和pymongo 可以通过命令sudo pip install pymongo安装pymongo 2.settings.py 需要配置MongoDB的IP地址、端口号、数据记录名称，可以实现方便的更换MongoDB的数据库信息。引用pipelines. 阅读全文
posted @ 2017-05-03 12:35 corolcorona 阅读(266) 评论(0) 推荐(0)
scrapy（四）使用redis
摘要：项目源码可以参考我的github:https://github.com/corolcorona/spider_scrapy 1.执行以下命令安装redis模块 2.settings.py （报错exceptions.ValueError: ("Failed to instantiate dupefi 阅读全文
posted @ 2017-05-03 12:35 corolcorona 阅读(1154) 评论(1) 推荐(0)