随笔分类 -  大数据

上一页 1 2
使用HttpClient下载文件出现的206问题
摘要：写爬虫的时候需要下载视频 遇到206问题 下载报错前的代码 try { HttpResponse resp = httpclient.execute(httpget); if (HttpStatus.SC_OK == resp.getStatusLine().getStatusCode()) { H 阅读全文
posted @ 2020-05-13 17:01 官萧何 阅读(1278) 评论(0) 推荐(0)
Java爬虫：下载视频并压缩保存
摘要：1.windows环境下 2.使用ffmpeg 第一步：下载ffmpeg 解压到服务器本地（自己百度下载地址） 第二步：配置执行文件到环境变量（配置java环境变量差不多） 第三步：在java环境调用执行文件对视频文件进行压缩保存。 代码： 压缩方法： public static void ffmp 阅读全文
posted @ 2020-05-08 09:32 官萧何 阅读(1214) 评论(1) 推荐(0)
java文本日期处理工具类
摘要：日期处理工具 package com.mybatis.plus.utils; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.*; import java.util.regex.Match 阅读全文
posted @ 2020-04-27 15:34 官萧何 阅读(258) 评论(0) 推荐(0)
查询出ES库所有数据
摘要：1.打开kibana 修改索引属性 PUT bwbdindex/_settings{ "index":{ "max_result_window":500000000 }} ok一次性5亿条数据都能拿出来 不过这么多数据 得传多久？ 阅读全文
posted @ 2020-03-20 10:30 官萧何 阅读(7975) 评论(0) 推荐(2)
配置ES IK分词器自定义字典
摘要：1.编辑IKAnalyzer.cfg.xml文件 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <co 阅读全文
posted @ 2020-02-26 11:27 官萧何 阅读(3526) 评论(0) 推荐(0)
SpringBoot迁移数据库数据到ES+操纵ES进行高级检索源码
摘要：实现类源码 package com.txj.bwbd.es.esService.impl; import cn.hutool.core.bean.BeanUtil; import cn.hutool.core.bean.copier.CopyOptions; import com.alibaba.f 阅读全文
posted @ 2020-02-06 10:04 官萧何 阅读(715) 评论(0) 推荐(0)
springBoot整合ES操作这一篇就够了
摘要：详细ES操作转载网址：https://www.cnblogs.com/keatsCoder/p/11341835.html 源码地址：https://github.com/guanxiaohe2017/electricSearch.git 阅读全文
posted @ 2020-01-31 10:27 官萧何 阅读(6144) 评论(0) 推荐(0)
windows 环境下搭建electricSearch+kibana
摘要：1.ES7.3.2 + kibana + ik-smart 百度网盘下载地址：https://pan.baidu.com/s/1eCKTYoosXl8NfX37EwjyWA 提取码：ibcf 上面提取码错误请用下面 2021-05-15修改 链接: https://pan.baidu.com/s/1 阅读全文
posted @ 2020-01-29 10:13 官萧何 阅读(404) 评论(2) 推荐(0)

上一页 1 2