随笔分类 -  java

Maven exclusions(排除依赖)
摘要：在写pom的时候，我们写的一个依赖往往会依赖于其他的包，而这些包可能是过时的不安全的，因此需要排除并重新引用安全的版本，先在依赖这个项目的pom中去除想排除的依赖，再添加指定版本的依赖。 pom的依赖关系可以在idea查看，打开pom.xml。右键点击Diagram，即可显示完整的依赖关系图，包括p 阅读全文
posted @ 2019-09-19 21:57 喵喵帕斯 阅读(35201) 评论(0) 推荐(1)
hadoop学习day3 mapreduce笔记
摘要：1.对于要处理的文件集合会根据设定大小将文件分块，每个文件分成多块，不是把所有文件合并再根据大小分块，每个文件的最后一块都可能比设定的大小要小 块大小128m a.txt 120m 1个块 b.txt 500m 4个块 reducetask的并行度 1.reducetask并行度就是将原来的一个大任 阅读全文
posted @ 2019-02-27 10:43 喵喵帕斯 阅读(182) 评论(0) 推荐(0)
hadoop学习day2开发笔记
摘要：1、将hdfs客户端开发所需的jar导入工程（jar包可在hadoop安装包中找到common/hdfs） 2、写代码 要对hdfs中的文件进行操作，代码中首先需要获得一个hdfs的客户端对象 Configuration conf = new Configuration(); FileSystem 阅读全文
posted @ 2019-01-14 09:21 喵喵帕斯 阅读(170) 评论(0) 推荐(0)
hadoop学习day1环境配置笔记（非完整流程）
摘要：hdfs的工作机制： 1、客户把一个文件存入hdfs，其实hdfs会把这个文件切块后，分散存储在N台linux机器系统中（负责存储文件块的角色：data node）<准确来说：切块的行为是由客户端决定的> 2、一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及 阅读全文
posted @ 2019-01-14 09:00 喵喵帕斯 阅读(224) 评论(0) 推荐(0)
java中的左移 右移
摘要：java移位运算符：<<（左移）、>>（带符号右移）和>>>（无符号右移）。 1、 左移运算符 左移运算符<<使指定值的所有位都左移规定的次数。 1）它的通用格式如下所示： value << num num 指定要移位值value 移动的位数。 左移的规则只记住一点：丢弃最高位，0补最低位 如果移动 阅读全文
posted @ 2018-09-05 09:52 喵喵帕斯 阅读(2712) 评论(0) 推荐(0)
JAVA问题整理
摘要：1.什么是线程安全性？ 当多个线程访问某个类时，不管运行时环境采用何种调度方式或者这些线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。正确性：某个类的行为与其规范相一致。（我理解的规范就是我们在编写类时，能预知的状态结果） 竞态条 阅读全文
posted @ 2018-08-09 10:03 喵喵帕斯 阅读(275) 评论(0) 推荐(0)
Maven Assembly打包提示[WARNING] transitive dependencies if any will not be available
摘要：maven assembly打包出现错误 [WARNING] The POM for com.flink.xxr:0.0.1-SNAPSHOT is invalid, transitive dependencies (if any) will not be available, enable deb 阅读全文
posted @ 2018-03-26 17:22 喵喵帕斯 阅读(4412) 评论(1) 推荐(0)
将Maven项目打包成可执行 jar文件(引用第三方jar)
摘要：使用maven assembly插件完成打包 修改pom： 在要打包的项目目录打开cmd，执行 在项目的target文件夹下可以看到 with dependiencies就是包含外部引用包的可执行jar文件 阅读全文
posted @ 2018-03-06 14:33 喵喵帕斯 阅读(422) 评论(0) 推荐(0)