随笔分类 -  hadoop笔记

1
spark运行脚本两种方式
该文被密码保护。
posted @ 2019-01-14 18:09 白开水加糖 阅读(1) 评论(0) 推荐(0)
电影个性化推荐的脚本
该文被密码保护。
posted @ 2018-07-23 15:39 白开水加糖 阅读(1) 评论(0) 推荐(0)
CDH 版本子节点启动问题
摘要：今天下午整整为了启动一个节点瞎忙活一下午，惨痛的教训还是记录下来吧，毕竟付出了代价。事情原委，一个同事在一台机器上占用了大量内存训练CTR点击率模型，而这台机器上部署了分布式Hadoop的一个datanode,一开始报警我没太在意，突然同事告诉我他上不去这台机器了，我心里咯噔一下，完蛋，估计hado 阅读全文
posted @ 2017-09-08 19:12 白开水加糖 阅读(2060) 评论(0) 推荐(0)
Hadoop优先级调度
摘要：当同时在集群中运行多个作业时，默认情况下，Hadoop将提交的作业放入一个FIFO,一个作业结束后，Hadoop就启动下一个作业。 当一个运行时间长但是优先级较低的作业先于运行时间短而优先级较高的作业提交时，优先级高的作业会长时间排队等待。 为了解决这个问题，Hadoop定义了5种不同的作业优先级， 阅读全文
posted @ 2016-09-19 19:29 白开水加糖 阅读(1041) 评论(0) 推荐(0)
Hadoop查看目录文件大小的脚本
摘要：hadoop fs -du / | awk '{ sum=$1 ;dir2=$3 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf 阅读全文
posted @ 2016-08-19 15:20 白开水加糖 阅读(3861) 评论(0) 推荐(0)
hadoop 读取文件的两种方式
摘要：1.操作javaAPI方式 2.操作org.apache.hadoop.fs.FileSystem方式 阅读全文
posted @ 2016-08-15 15:00 白开水加糖 阅读(1310) 评论(0) 推荐(0)
hadoop参数配置
摘要：Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-default.xml yarn-default.xml Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-defau 阅读全文
posted @ 2016-05-29 23:40 白开水加糖 阅读(14645) 评论(0) 推荐(0)
How to solve java.net.SocketTimeoutException:60000millis problem in HDFS
摘要：Many HDFS users encounter the following error when DFSClient ready file from a certain Data Node. "Java.net.SocketTimeoutException: 60000millis timeou 阅读全文
posted @ 2016-05-29 23:35 白开水加糖 阅读(3098) 评论(0) 推荐(0)
hadoop中，combine、partition、shuffle作用分别是什么？
摘要：combine和partition都是函数，中间的步骤应该只有shuffle！combine分为map端和reduce端，作用是把同一个key的键值对合并在一起，可以自定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成一个新的<key2,valu 阅读全文
posted @ 2016-05-29 08:14 白开水加糖 阅读(6406) 评论(0) 推荐(1)
Mapreduce参数调节
摘要：http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/ 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdf 阅读全文
posted @ 2016-05-27 22:44 白开水加糖 阅读(2238) 评论(0) 推荐(0)
Zookeeper理解
摘要：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些... 阅读全文
posted @ 2015-11-06 10:51 白开水加糖 阅读(250) 评论(0) 推荐(0)
hive学习之WordCount单词统计
摘要：看hive目录下就可以了，程序在hdfs里创建一个hive的大文件夹，相当于数据库吧。上面就是一个完整的利用hive来做单词统计，其中的优劣也能看出一点。 阅读全文
posted @ 2015-07-15 10:35 白开水加糖 阅读(479) 评论(0) 推荐(0)
pig、hive以及hbase的作用
摘要：PigPig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包含两个部分：Pig Interface,Pig Latin。Pig可以非常方便的处理HDFS和HBase的数据，和Hive一样,Pig可以非常高效的处理其需要做的，通过直接操作Pig查询可以节 省大量的劳动和时间。当你想在你的数据上... 阅读全文
posted @ 2015-07-15 09:35 白开水加糖 阅读(2115) 评论(0) 推荐(0)
zookeeper入门知识
摘要：ZooKeeper 是什么？ ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop)、蜜蜂(Hive)、小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei等项目中都采用到了 Zookeeper。ZooKeeper... 阅读全文
posted @ 2015-07-14 22:00 白开水加糖 阅读(291) 评论(0) 推荐(0)
hadoop文件系统浅析
摘要：1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文... 阅读全文
posted @ 2015-07-14 21:06 白开水加糖 阅读(552) 评论(0) 推荐(0)
Hive基础学习
摘要：Hive 学习记录Hive介绍：Hive 是起源于Facebook，使得Hadoop进行SQL查询成为可能，进而使得非程序员也可以进进行对其使用；它是一种数据仓库工具，将结构化的数据文件 映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。其优点是学习... 阅读全文
posted @ 2015-07-14 21:03 白开水加糖 阅读(246) 评论(0) 推荐(0)
mapreduce框架详解
摘要：Mapreduce初析 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。 我们要学习的就是这个计算模型的运行规则。在... 阅读全文
posted @ 2015-07-14 14:18 白开水加糖 阅读(465) 评论(0) 推荐(0)
基于hadoop的图书推荐
摘要：根据在炼数成金上的学习，将部分代码总结一下在需要的时候可以多加温习。首先根据原理作简要分析.一般推荐系统使用的协同过滤推荐模型：分别是基于ItemCF的推荐模型或者是基于UserCF的推荐模型；首先分析一下基于用户的推荐系统模型:基于用户的协同过滤，通过不同用户对物品的评分来评测用户之间的相似性，基... 阅读全文
posted @ 2015-07-06 09:28 白开水加糖 阅读(4267) 评论(0) 推荐(0)
mahout与nosql的两幅经典图形
摘要： 阅读全文
posted @ 2015-07-02 13:56 白开水加糖 阅读(152) 评论(0) 推荐(0)
MapReduce初级案例
摘要：1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。... 阅读全文
posted @ 2015-06-26 19:44 白开水加糖 阅读(1231) 评论(0) 推荐(0)

1