12 2020 档案

利用X-Forwarded-For伪造客户端IP漏洞成因及防范(转)
摘要：问题背景 在Web应用开发中，经常会需要获取客户端IP地址。一个典型的例子就是投票系统，为了防止刷票，需要限制每个IP地址只能投票一次。 如何获取客户端IP 在Java中，获取客户端IP最直接的方式就是使用request.getRemoteAddr()。这种方式能获取到连接服务器的客户端IP，在中间 阅读全文
posted @ 2020-12-30 11:28 Spirited-away 阅读(557) 评论(0) 推荐(1)
java集合ArrayList中clear方法内存释放分析
摘要：最近在看ArrayList源码的时候看到了ArrayList的clear方法，源码如下： public void clear() { modCount++; // clear to let GC do its work for (int i = 0; i < size; i++) elementDa 阅读全文
posted @ 2020-12-30 11:22 Spirited-away 阅读(1940) 评论(0) 推荐(0)
线程安全的ConcurrentHashMap ，采用非线程安全方式使用，利用java8 map新方法解决！
摘要：一、问题描述： 1、示例代码 【错误代码】 public static ThreadSource getThreadSource() { String threadName = Thread.currentThread().getName(); ThreadSource threadSource = 阅读全文
posted @ 2020-12-26 11:00 Spirited-away 阅读(152) 评论(0) 推荐(0)
Java API 本地读取HDFS指定目录下的所有文件失败及任务提交到集群失败问题分析
摘要：背景：要读取hdfs上指定路径分区下的所有文件内容（5个文件），并对数据内容进行处理整合成单个文件 正确遍历读取hdfs中指定路径下的数据文件样例代码如下： private List<RIRInfo> getIanaDataFromHdfs(String ianaDataHdfsPath) { Li 阅读全文
posted @ 2020-12-16 15:09 Spirited-away 阅读(327) 评论(0) 推荐(0)
项目开发过程中使用java8新特性问题汇总
摘要：1、编译器说 Lambda 表达式中的变量必须是 final 的，我偏不信 问题描述：variable used in lambda expression should be final or effectively final 转：https://zhuanlan.zhihu.com/p/1083 阅读全文
posted @ 2020-12-14 11:42 Spirited-away 阅读(93) 评论(0) 推荐(0)
Hive与Mysql之间的藕断丝连
摘要：背景：最近做的一个项目需求需要把生产环境服务器上指定目录下数据推送到hdfs上，然后通过hive去查询，但在安装hive之前需要先安装mysql，原因是啥呢？先了解下他们之间的关系。 一、什么是Hive Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL（数据仓库技 阅读全文
posted @ 2020-12-12 14:40 Spirited-away 阅读(360) 评论(0) 推荐(0)
spark浅析，不断更新！
摘要：1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 阅读全文
posted @ 2020-12-11 20:08 Spirited-away 阅读(114) 评论(0) 推荐(0)
Windows平台spark任务submit
摘要：一、本地代码编译 mvn clean install -DskipTests 二、构建spark提交脚本 样例如下：ip_spark.bat @echo offset param=%1set PROJECT_DIR="D:\gitlab\CP_WiseCloudLocationService_Wis 阅读全文
posted @ 2020-12-11 18:51 Spirited-away 阅读(556) 评论(0) 推荐(0)
Hive数据库和表创建，数据导入，数据查询
摘要：一：数据库创建 创建命令： hive> CREATE DATABASE IF NOT EXISTS higeo; 二：表创建 样例如下： # @DESC hive内表, 创建IP库分段详细内容表 hive> # @DESC hive内表, 创建IP省份城市映射表CREATE TABLE IF NOT 阅读全文
posted @ 2020-12-11 17:29 Spirited-away 阅读(333) 评论(0) 推荐(0)
Windows平台Hadoop、Hive环境搭建
摘要：Hadoop搭建 安装配置 参考：https://www.jianshu.com/p/faf038923093 开源镜像仓库下载： http://mirrors.tools.huawei.com/apache/hadoop/common/ 目前实际使用的版本：hadoop-2.9.2，下面配置是2. 阅读全文
posted @ 2020-12-11 16:07 Spirited-away 阅读(467) 评论(0) 推荐(0)
mysql8 安装配置,避免踩坑
摘要：第一步 进入MySQL官网下载，或直接点击下载，MySQL社区服务器8.0.22系列，如下图所示： 第二步 进入下载完成后解压到除c盘以外的盘，如下图所示： 第三步 解压后的目录并没有的my.ini文件，没关系可以自行创建在安装根目录下添加的my.ini（新建文本文件，将文件类型改为的.ini） ， 阅读全文
posted @ 2020-12-11 11:28 Spirited-away 阅读(167) 评论(0) 推荐(0)