2017年8月11日
摘要:
挺不错的一个设计模式,先记下来以便以后哪里可以用到: 接口:数据处理管道的阀门(处理器): 对应实现类: 接口:数据处理管道: 对应实现类: 代码: public class DataPipelineImpl implements DataPipeline{ private List<DataVal
阅读全文
posted @ 2017-08-11 10:10
断剑重铸之时
阅读(598)
推荐(0)
2017年7月11日
摘要:
不bb,直接上代码: /** * 传输数据 * @param libraryId */ @RequestMapping(value = "/**transfer****", method = RequestMethod.GET) @ResponseBody public Object transfe
阅读全文
posted @ 2017-07-11 15:53
断剑重铸之时
阅读(623)
推荐(0)
摘要:
首先从国外一个网站爬取了免费的代理ip信息存到mongodb中;接着代码设置: 在爬虫客户端抽象类中添加属性: 设置代理的代码其实就以下几句: firefoxProfile.setPreference("network.proxy.type", 1); firefoxProfile.setPrefe
阅读全文
posted @ 2017-07-11 15:05
断剑重铸之时
阅读(628)
推荐(0)
2017年7月3日
摘要:
后台需要将用户信息数据导入到Excel表中提供给相关人员: 首先查询数据就不多说了; 导入Excel表直接亮代码(采用的是jxl的jar包提供的方法): public static File ImportToExcel(List<String> data,String title) { log.in
阅读全文
posted @ 2017-07-03 14:15
断剑重铸之时
阅读(158)
推荐(0)
2017年6月26日
摘要:
爬虫任务里发现有部分图片没有加载完成就进行文件流上传,导致有一些图片是空白,需要判断一下: 首选获取image标签元素: WebElement image = driver.findElement(By.cssSelector("div#media_container > img")); boole
阅读全文
posted @ 2017-06-26 14:17
断剑重铸之时
阅读(740)
推荐(0)
2017年6月20日
摘要:
之前爬取的网站中有部分需要验证码才能点击下载图片,所以查阅了一些破解验证码相关的资料; 思路:先将验证码图片下载到临时文件中,再用工具去破解,然后将破解的验证码通过selenium模拟输入到文本中再模拟点击完成; 附上代码: //模拟点击免费下载 driver.findElement(By.id("
阅读全文
posted @ 2017-06-20 17:51
断剑重铸之时
阅读(367)
推荐(0)
2017年6月7日
摘要:
需求:将本地上传的word文档解析并放入数据库中 代码: import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileNotFoundException;import java.io.IOException;
阅读全文
posted @ 2017-06-07 17:06
断剑重铸之时
阅读(1303)
推荐(0)
2017年5月26日
摘要:
这两周由于公司需要大量数据爬取进数据库给用户展示素材,在不停的做爬虫工作,现在总算基本完成就剩清理数据的工作; 公司有一个采集器管理后台的项目,可以直接把爬虫代码打包成jar导入进去设置定时参数即可; 关于Jsoup的一些命令使用示例: 解析html文档: public void testAddSB
阅读全文
posted @ 2017-05-26 18:02
断剑重铸之时
阅读(220)
推荐(0)
2017年5月4日
摘要:
之前公司项目的数据都是从mysql查询,后面需求变更;同时技术上相应的也要改变策略,决定将mongodb和mysql的数据通过es建立索引来查询; 对于还没有接触或者真正了解es的可以先看一下相关Lucene的原理,详情看: http://www.cnblogs.com/forfuture1978/
阅读全文
posted @ 2017-05-04 17:11
断剑重铸之时
阅读(543)
推荐(0)
2017年4月25日
摘要:
public static ArrayList<File> getListFiles(Object obj) { File directory = null; if (obj instanceof File) { directory = (File) obj; } else { directory
阅读全文
posted @ 2017-04-25 17:38
断剑重铸之时
阅读(279)
推荐(0)