mrliqifeng

摘要：一、集群现状集群组件说明：目前集群中安装了若干大数据相关组件，包括HDFS、Hbase、Hive等存储相关组件与Flume、Spa... 阅读全文

posted @ 2020-05-25 20:10 mrliqifeng 阅读(74) 评论(0) 推荐(0)

摘要：问题描述 Linux上传本地文件到HDFS中时，出现“No such file or directory” 但是你发现当前文件夹下... 阅读全文

posted @ 2020-05-09 16:34 mrliqifeng 阅读(1) 评论(0) 推荐(0)

摘要：以下步骤亲测有效无误！！！！！一、基础环境准备 1）软件清单 Centos7(64位)服务器3台，地址如下： jdk1.8... 阅读全文

posted @ 2020-01-06 17:24 mrliqifeng 阅读(106) 评论(0) 推荐(0)

摘要：本篇文章中的数据，全都自己模拟，如有雷同，纯属巧合以下为可视化的效果图： ... 阅读全文

posted @ 2019-12-02 17:22 mrliqifeng 阅读(27) 评论(0) 推荐(0)

摘要：最近需要做一个网络流量的实时可视化，决定采用Kafka+WebSocket的方式实现。一、WebSocket简介 WebSo... 阅读全文

posted @ 2019-11-22 15:32 mrliqifeng 阅读(151) 评论(0) 推荐(0)

摘要：目录：一、爬虫识别方法二、常见反爬虫策略三、针对反爬策略攻击者可能会采取的措施四、方案选型一、爬虫识别方法 1、http日志... 阅读全文

posted @ 2019-09-23 11:42 mrliqifeng 阅读(132) 评论(0) 推荐(0)

摘要：以下步骤亲测有效无误！！！！！一、基础环境准备 1）软件清单 Centos7(64位)服务器3台，地址如下： jdk1.8... 阅读全文

posted @ 2019-07-03 13:01 mrliqifeng 阅读(14) 评论(0) 推荐(0)

摘要：在某次使用sparksql中的union合并两个DataFrame时，发现总是报类型不匹配的错误，但是检查后发现两个DataFr... 阅读全文

posted @ 2019-05-27 10:16 mrliqifeng 阅读(71) 评论(0) 推荐(0)

摘要：因为最近在学习与使用Spark，所以对一些基础概念与术语做一些梳理。用来加深映像同时方便后续复习 spark是一个基于内存的分... 阅读全文

posted @ 2019-05-26 21:50 mrliqifeng 阅读(25) 评论(0) 推荐(0)

摘要：最近在搞一些Xpath网页规则的编写，发现网上的Xpath测试工具很多，但都是基于静态页面的。暂时还没有发现基于动态页面的Xpa... 阅读全文

posted @ 2019-03-15 20:23 mrliqifeng 阅读(29) 评论(0) 推荐(0)