摘要：
最近工作中需求定时爬取不同城市每天的温度。其实就是通过编程的方法去抓取不同网站网页进行分析筛选的过程。.NET提供了很多类去访问并获得远程网页的数据，比如WebClient类和HttpWebRequest类。这些类对于利用HTTP去访问远端的网页并且下载下来是很有用的，但在对于所下载下来的HTML的 阅读全文
posted @ 2017-03-13 23:15 天戈朱 阅读(4323) 评论(1) 推荐(0)
摘要：
机器学习相关的文章太多，选取一篇本人认为最赞的，copy文章中部分经典供自己学习，摘抄至 http://www.cnblogs.com/subconscious/p/4107357.html#first 示例入门 传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因 阅读全文
posted @ 2017-02-28 18:27 天戈朱 阅读(810) 评论(0) 推荐(0)
摘要：
curl是一个非常实用的、用来与服务器之间传输数据的工具；支持的协议包括 (DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, 阅读全文
posted @ 2017-02-26 06:50 天戈朱 阅读(1052) 评论(0) 推荐(0)
摘要：
ES cluster 提供了针对不同模块的参数设置，可通过修改集群上各个节点的elasticsearch.yml文件，也可在集群运行时通过api接口来更新（https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster- 阅读全文
posted @ 2017-02-26 06:49 天戈朱 阅读(2702) 评论(0) 推荐(1)
摘要：
目录： ES安全事件回顾 ES集群安全建议 安全访问配置 license更新 ES安全事件回顾 下面是白帽汇监测到针对全球使用广泛的全文索引引擎Elasticsearch的勒索事件: 2017年1月12日上午10时，白帽汇发现第一波勒索者，分析统计，发现共有10264台服务器已经遭受攻击，并且还一直 阅读全文
posted @ 2017-02-23 21:37 天戈朱 阅读(1887) 评论(0) 推荐(0)
摘要：
Azure VM的磁盘空间远远不能满足ES集群存储需求（还需除掉VM的临时盘），同时也未找着ES配置 block blob storage 存储的组件，因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程。 目录： LVM基本术语 Azure Storage 介绍 ES cluster 阅读全文
posted @ 2017-02-23 20:14 天戈朱 阅读(445) 评论(0) 推荐(0)
摘要：
目录： 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见： HDP2.4安装(二)：Centos7配置 修改network： 修改hosts: 配置ssh ： 配置ntp服务 配置selinux 安装java jdk 文件数与虚拟内存配置 命令：vim 阅读全文
posted @ 2017-02-22 22:10 天戈朱 阅读(568) 评论(0) 推荐(0)
摘要：
本章记录在ES集群之前的环境准备工作，主要包含的内容如下： 目录： 创建linux虚拟机 启用root用户 创建linux虚拟机 首先创建一个云服务 按向导创建云服务名称，如下 创建虚拟机， 第二步：选择"基本“类型，输入用户名和密码 选择上一步创建的云服务 选择”确认“进行安装 启用Root用户 阅读全文
posted @ 2017-02-22 21:55 天戈朱 阅读(384) 评论(0) 推荐(0)
摘要：
待尝试研究的可视化组件及产品： 开源组件 商业组件 开源组件 zeppelin Caravel D3.js Flare talend(ETL) pentaho spagoBI NanoCubs Dygraphs Saiku airpal Chart.js chartist.js ECharts Fn 阅读全文
posted @ 2017-02-14 23:49 天戈朱 阅读(2212) 评论(1) 推荐(0)
浙公网安备 33010602011771号