摘要：
https://aws.amazon.com/cn/blogs/aws/the-floodgates-are-open-increased-network-bandwidth-for-ec2-instances/# by Jeff Barr | on 26 JAN 2018 | in Amazon 阅读全文
posted @ 2020-10-27 23:00
Michael云擎
阅读(165)
评论(0)
推荐(0)
摘要：
https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/instance-optimize-cpu.html 在实例启动期间禁用多线程技术 (AWS CLI) 使用 run-instances AWS CLI 命令，并将 --cpu-opt 阅读全文
posted @ 2020-08-31 12:18
Michael云擎
阅读(790)
评论(0)
推荐(0)
摘要：
先进入“chrome://flags/#tab-groups”设定页面，将“Tab Groups”选为“Enable”状态。 再进入“chrome://flags/#tab-groups-collapse”设定页面，将“Tab Groups Collapse”选为“Enable”状态。 最后，重新启 阅读全文
posted @ 2020-08-28 22:35
Michael云擎
阅读(706)
评论(0)
推荐(0)
摘要：
1、概述 1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。 2、算法 阅读全文
posted @ 2020-06-11 11:45
Michael云擎
阅读(1348)
评论(0)
推荐(0)
摘要：
这两个类所在目录： hadoop-examples-0.20.2-cdh3u6.jar 中： 代码： TeraGen.java： /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributo 阅读全文
posted @ 2020-06-11 11:41
Michael云擎
阅读(415)
评论(0)
推荐(0)
摘要：
1.关于S3，S3N和S3A的区别与联系（wiki:https://wiki.apache.org/hadoop/AmazonS3） S3 Native FileSystem (URI scheme: s3n) A native filesystem for reading and writing 阅读全文
posted @ 2020-06-10 22:56
Michael云擎
阅读(2686)
评论(0)
推荐(0)
摘要：
将spark解析的结果保存到S3 这个和保存到本地的区别在于，你需要配置aws的key和密码，以及它的region，代码如下 package com.alo7.spark import java.util.Properties import test07.DWReadS3LogToKafka_Tpu 阅读全文
posted @ 2020-06-10 22:44
Michael云擎
阅读(221)
评论(0)
推荐(0)
摘要：
经 EMRFS S3 优化的提交程序的要求 https://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-spark-committer-reqs.html 满足以下条件时，将使用经 EMRFS S3 优化的提交程序： 您可以运行使用 S 阅读全文
posted @ 2020-06-10 22:35
Michael云擎
阅读(265)
评论(0)
推荐(0)
摘要：
聊这个问题的原因是，本周在测试环境遇到了一例从Spark往S3写数据失败的情况，花了些时间来搞清楚个中缘由，这里整理出来与大家分享，期望能对同道中人有所帮助。 背景 在笔者的数据系统中，每天会定时启动一个Spark批处理程序，对前一天的流处理结果进行合并、整理，然后写入AWS S3，从而提供尽可能快 阅读全文
posted @ 2020-06-10 22:34
Michael云擎
阅读(1068)
评论(0)
推荐(0)
浙公网安备 33010602011771号