一步一脚印

摘要： NiFi是一个易于使用，功能强大且可靠的系统来处理和分发数据。 本文讲述如何用NiFi将Http的Json数据传到Druid。国外的一篇文章讲到如何用NiFi将推文传到Druid， "https://community.hortonworks.com/articles/177561/streamin 阅读全文

摘要： 1、场景 1.1、依赖版本 avatica core 1.11.0 druid 0.12.0 1.2、问题重现： 使用Avatica JDBC查询语句： 到Druid变成： 。 2、解决过程 思路：检查请求发送前request body 检查收到请求后解析的文本 2.1、初步怀疑请求编码所致 初步怀 阅读全文

摘要： Druid.io的SQL功能虽然在试验阶段，但是也支持了大部分的功能，而且还可以通过 Avatica JDBC查看请求的json，有助于我们理解Druid.io的语法。Druid.io有个比较坑的是，如果没有启用SQL功能，你怎么访问也是没有data返回的，但也不会提示你错误。 1、修改配置文件 为 阅读全文

摘要： 一直想试试docker，但是docker高度依赖Linux内核，Windows7的机子用起来比较麻烦，由于某些契机还是用了起来。Windows想用docker的话，需要借助虚拟机，Windows7不像Windows10自带Hyper虚拟机，所以要用docker只有Docker Toolbox这个选择 阅读全文

摘要： 通常开发好的Scrapy爬虫部署到服务器上，要不使用nohup命令，要不使用scrapyd。如果使用nohup命令的话，爬虫挂掉了，你可能还不知道，你还得上服务器上查或者做额外的邮件通知操作。如果使用scrapyd，就是部署爬虫的时候有点复杂，功能少了点，其他还好。 SpiderKeeper是一款管 阅读全文

摘要： 背景 Scrapy爬虫的确是好使好用，去过scrapinghub的官网浏览一下，更是赞叹可视化爬虫的犀利。scrapinghub有一系列的产品，开源了大部分项目，Portia负责可视化爬虫的编辑，SpiderCloud负责云端爬虫的部署，Scrapy是实现他们底层的技术。国内的可视化爬虫技术也有不少 阅读全文

摘要： 1、背景 根据官网一步步地生成项目，他喵的启动后居然是一个空白页面，这怎么玩啊？还有这种操作的吗？跟说好的不一样啊！关于JHipster资料，国内少的可怜，几乎都是同一样的东西，纯介绍的文章，只好上stackoverflow上查了。 2、相似的情况 在 "stackoverflow" 找到了一个相似 阅读全文

摘要： 通常我们使用Java提供的HttpURLConnection或者Apache的HttpClient获取的网页源代码都是直观可见的，其代码的内容和通过浏览器右键网页 点击查看网页源代码的内容一致。 但是现在越来越多的网站使用Js来动态生成内容来提高相应速度，而HttpClient只是返回后端相应的re 阅读全文

摘要： 1、场景 在用websocket做一个简单的数据导入页面同步显示后台进度功能的时候，浏览器出现连接不上的错误： 网上有很种导致404的情况，但是都没有用，我在这里记录一下我的情况。 2、解决过程 spring websocket.xml的配置： 查看打印的INFO级别日志，根据spring的启动信息 阅读全文

摘要： spring boot默认使用spring security，spring security自然不用说是一个强大的安全框架，但是用惯了shiro，一时半会用不来spring security，所以要在spring boot中自己整合shiro。说到整合shiro，网上也是有不少教程的，但是网上的教程 阅读全文