SZUhg

摘要： mapreduce是一个运算框架，让多台机器进行并行进行运算， 他把所有的计算都分为两个阶段，一个是map阶段，一个是reduce阶段 map阶段：读取hdfs中的文件，分给多个机器上的maptask，分文件的时候是按照文件的大小分的 比如每个maptask都会处理128M的文件大小，然后有个500 阅读全文

摘要： 首先要在windows下解压一个windows版本的hadoop 然后在配置他的环境变量，同时要把hadoop的share目录下的hadoop下的相关jar包拷贝到esclipe 然后Build Path 下面上代码 练习：从一个文件里面不断地采集日志上传到hdfs里面 1.流程介绍 启动一个定时任 阅读全文

摘要： hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 阅读全文

摘要： 首先是工具介绍 Jsoup jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 HttpClient HTTP 协议可能是现在 Internet 上使用得最多、 阅读全文

摘要： 由JVM来负责Java程序在该系统中的运行，不同的操作系统需要安装不同的JVM，这样Java程序只需要跟JVM打交道，底层的操作由JVM去执行。 JRE（Java Runtime Environment）即Java运行时环境，主要负责运行Java程序。 JDK（Java Development Ki 阅读全文

摘要： 1.创建线程的三种方式 使用Thread 使用Runnable 使用Callable接口创建的线程会获得一个返回值并且可以声明异常。 优点： 可以获取返回值 可以抛出异常 线程池 线程池是初始化一个多线程应用程序过程中创建一个线程集合，然后在需要执行新的任务时直接去这个线程集合中获取，而不是创建一个 阅读全文

摘要： Io流 按照分类 有两种分类 流向方向： 有输入流和输出流 按照操作类型有：字节流和字符流 按照流向方向 一些练习 利用BufferedInputStream 和 BufferedOutputStream 实现将一个文件copy到另一个文件 文件的加密 将一个字节异或一个数字实现 在传输时进行文件的 阅读全文

摘要： 排序的目的是什么？便于查找！ 如何衡量排序算法的好坏？ 时间效率排序速度（比较次数与移动次数） 空间效率占内存辅助空间的大小 稳定性A和B的关键字相等，排序后A、B的先后次序保持不变，则称这种排序算法是稳定的。 按待排序记录所在位置，分为两类内部排序待排序记录存放在内存，排序过程不需访问外存便能完成 阅读全文

摘要： 最近看了哔哩哔哩的python的学习，直接看代码吧，以后会更新 先来个基础的 加了个按钮，点击按钮就可以出现hello 这次添加一个图片,文字在坐，图片在右边 图片和文字在一起 图片和文字加按钮，按下按钮文字变换 阅读全文

摘要： 最好有点c++基础来看，，每天都更新一篇吧 这一篇是一些基础东西 1.运算符 特别的 a / b：为浮点数，a // b 为整数，丢弃小数部分 a**b 为a的b次方 还有 c // = a,c ** = a; python 中没有 &&， ||， ！ 分别为 如 if(a and b) ,if(a 阅读全文