摘要: [TOC] IO介绍 1. 以程序为中心:输入流,输出流 2. 核心: 5个类,3个接口 | 类 | 说明 | | | | | File | 文件类 | | InputStream | 字节输入流 | | OutputStream | 字节输出流 | | Reader | 字符输入流 | | Wri 阅读全文
posted @ 2019-09-12 20:30 guoqiangliu 阅读(98) 评论(0) 推荐(0)
摘要: ```java package com.guoqiang; import java.util.ArrayList; import java.util.Collection; import java.util.Collections; import java.util.List; / 测试 Colle 阅读全文
posted @ 2019-09-12 20:28 guoqiangliu 阅读(126) 评论(0) 推荐(0)
摘要: 数组本身就是一种容器,可以在其中放置对象和基本数据类型 数组的优势:简单的线性序列,可以快速的访问数组元素,效率高。 数组的劣势:不够灵活,容量要事先定义好,不能随着需求的变化而扩容。 1. 概念 2. 泛型 泛型是JDK1.5以后增加的,它可以帮助我们建立 类型安全 的集合。 泛型的本质就是 “数 阅读全文
posted @ 2019-09-08 19:09 guoqiangliu 阅读(307) 评论(0) 推荐(0)
摘要: 当程序出现错误,程序可以安全退出。 1. 异常的概念 Java采用面向对象的方式来处理异常,处理过程(每个异常都是一个对象): 1. 抛出异常:在执行一个方法时,如果遇到异常,则这个方法生成代表该异常的一个对象,停止当前执行,将异常对象抛出给JRE 2. 捕获异常:JRE得到该异常后,寻找相关的代码 阅读全文
posted @ 2019-09-08 18:58 guoqiangliu 阅读(193) 评论(0) 推荐(0)
摘要: 1. 副本摆放机制 机架感知策略: 由于处于不同的机架的两个节点在通信的时候需要通过交换机,而同一机架上的节点之间的通信网络带宽更高,效率更高,读写成本更低。 通常情况下,HDFS默认的副本系数为3: 副本1:本rack的一个节点上 副本2:另外一个rack的节点上 副本3:与2相同的rack的另外 阅读全文
posted @ 2019-09-08 01:50 guoqiangliu 阅读(105) 评论(0) 推荐(0)
摘要: NOTE 本博客后续均使用自顶向下的动态规划 一、Matrix DP 题目给一个矩阵(或被cut掉一部分的矩阵),具有坐标的概念,可以考虑为Matrix DP问题 state: f[x][y] :表示从起点走到 坐标(x, y) ....... function: 研究走到(x, y) 这个点之前的 阅读全文
posted @ 2019-09-07 23:08 guoqiangliu 阅读(82) 评论(0) 推荐(0)
摘要: 动态规划是一种解决问题的指导思想。 一、例题 120. Triangle Given a triangle, find the minimum path sum from top to bottom. Each step you may move to adjacent numbers on the 阅读全文
posted @ 2019-09-07 18:05 guoqiangliu 阅读(336) 评论(0) 推荐(0)
摘要: ```java package com.bigdata.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable; i... 阅读全文
posted @ 2019-09-07 01:34 guoqiangliu 阅读(219) 评论(0) 推荐(0)
摘要: 一、开发环境搭建 1. 选择IDEA,JAVA,使用Maven来管理项目 2. 修改om.xml配置文件,加入Hadoop依赖包 二、使用Java API 操作HDFS文件系统 1. 关键点: 1. new 一个Configuration 2. 获取FileSystem 3. HDFS API操作 阅读全文
posted @ 2019-09-06 10:27 guoqiangliu 阅读(157) 评论(0) 推荐(0)
摘要: 一、环境 1. 本机Mac,设置服务器ip的名称。 增加服务器ip 和 名称的映射关系: 120.xx.xxx.145 hadoop000 方便记忆 利用ssh登陆服务器: 2. Linux上,设置服务器内网ip和服务器名称的映射 「使用阿里云,搭建Hadoop时候应该用内网ip」 同样在/etc/ 阅读全文
posted @ 2019-09-05 23:04 guoqiangliu 阅读(182) 评论(0) 推荐(0)