文章分类 -  大数据运用

1 2 下一页
kafka创建主题报错： replication factor: 3 larger than available brokers: 0
该文被密码保护。
posted @ 2018-09-11 10:26 马鞍山 阅读(2) 评论(0) 推荐(0)
MapReduce中join操作
该文被密码保护。
posted @ 2018-09-07 20:27 马鞍山 阅读(1) 评论(0) 推荐(0)
flume监控目录进行日志采集上传到hafs上hive建表映射数据
该文被密码保护。
posted @ 2018-09-04 15:45 马鞍山 阅读(2) 评论(0) 推荐(0)
flume采集数据到kafka
该文被密码保护。
posted @ 2018-08-29 15:31 马鞍山 阅读(2) 评论(0) 推荐(0)
Windows上运行Mapreduce提示无法初始化集群
摘要：D:\JAVA\bin\java.exe "-javaagent:D:\IDEA\IntelliJ IDEA 2018.1.6\lib\idea_rt.jar=51962:D:\IDEA\IntelliJ IDEA 2018.1.6\bin" -Dfile.encoding=UTF-8 -class 阅读全文
posted @ 2018-07-29 22:35 马鞍山 阅读(395) 评论(0) 推荐(0)
UDF解析json
该文被密码保护。
posted @ 2018-07-28 20:33 马鞍山 阅读(1) 评论(0) 推荐(0)
Text文件通过MapReduce转为orc格式
该文被密码保护。
posted @ 2018-07-27 23:47 马鞍山 阅读(1) 评论(0) 推荐(0)
nginx时间处理UDF
该文被密码保护。
posted @ 2018-07-27 11:04 马鞍山 阅读(0) 评论(0) 推荐(0)
Oozie中允许hive程序xml配置
摘要：job.propeties 文件 nameNode=hdfs://hadoop-senior.iIT.com:8020jobTracker=hadoop-senior.iIT.com:8032queueName=defaultoozieAppsRoot=user/IT/oozie-appsoozie 阅读全文
posted @ 2018-07-21 21:22 马鞍山 阅读(533) 评论(0) 推荐(0)
oozie中mapreduce程序的workflow.xml文件配置新版本
摘要：job.properties 文件配置详解： 阅读全文
posted @ 2018-07-21 20:27 马鞍山 阅读(720) 评论(0) 推荐(0)
Oozie安装一大坑，连接不到mysql错误提示
该文被密码保护。
posted @ 2018-07-20 10:22 马鞍山 阅读(0) 评论(0) 推荐(0)
TemplateMapReduce
该文被密码保护。
posted @ 2018-07-19 11:32 马鞍山 阅读(2) 评论(0) 推荐(0)
WC完整版
该文被密码保护。
posted @ 2018-07-18 22:06 马鞍山 阅读(5) 评论(0) 推荐(0)
HBASE表操作
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.filter.*; import org.apache.hadoop.hbase.regions... 阅读全文
posted @ 2018-07-17 21:42 马鞍山 阅读(361) 评论(0) 推荐(0)
HBASE数据库API操作
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import static org.apache.hadoo 阅读全文
posted @ 2018-07-15 15:20 马鞍山 阅读(318) 评论(0) 推荐(0)
数据清洗格式
摘要：public class Format { public static void main(String[] args) { DecimalFormat format = new DecimalFormat(); format.applyPattern("###,###,###.00"); System.out.println(format.format(1234... 阅读全文
posted @ 2018-07-14 10:17 马鞍山 阅读(262) 评论(0) 推荐(0)
HIVE的UDF
摘要：开启本地hive运行界面 需要配置本地mysql用户hive 创建本地hive数据库在mysql中，增加hive用户的权限 eclipse中导入hive的jar包 开始写UDF函数 开始运行： --加载自定义函数create temporary function toto as 'com.it.Lo 阅读全文
posted @ 2018-07-11 11:12 马鞍山 阅读(115) 评论(0) 推荐(0)
Windows操作HDFS文件上传下载查看
该文被密码保护。
posted @ 2018-07-06 09:07 马鞍山 阅读(1) 评论(0) 推荐(0)
二次排序
该文被密码保护。
posted @ 2018-07-03 23:23 马鞍山 阅读(0) 评论(0) 推荐(0)
TOP算法
该文被密码保护。
posted @ 2018-07-03 20:18 马鞍山 阅读(1) 评论(0) 推荐(0)

1 2 下一页