摘要：https://blog.csdn.net/weixin_37353303/article/details/84313473jupyter-notebook 以yarn模式运行的出现的问题及解决方法 之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。在做之前找了书和博客来看，总是有各种
阅读全文
随笔分类 - hadoop，大数据
摘要：问题导读1.Combiner的作用是什么？2.作业级别参数如何调优？3.任务及管理员级别有哪些可以调优？Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序，如果可以设
阅读全文
摘要：茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 版权声明：闻道有先后，术业有专攻。 https://blog.csdn.net/wlk_328909605/article/details/8222
阅读全文
摘要：Python实现MapReduce 下面使用mapreduce模式实现了一个简单的统计日志中单词出现次数的程序: 一个python实现的mapreduce程序 2017年05月13日 21:42:12 阅读数：814 标签： mapreducepython 更多 个人分类： hadoopmapred
阅读全文
摘要：干货 | Flink及主流流框架比较 干货 | Flink及主流流框架比较 IT刊 百家号17-05-2220:16 IT刊 百家号17-05-2220:16 IT刊 百家号17-05-2220:16 引言 随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品 - Apa
阅读全文
摘要：一篇文看懂Hadoop：风雨十年，未来何去何从 一篇文看懂Hadoop：风雨十年，未来何去何从 我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇
阅读全文
摘要：# Hadoop 家族技能图谱- Hadoop- Zookeeper- Avro- Chukwa- Ambari- Whirr- Bigtop- HCatalog- Hue- HBase- Pig- Sqoop- Cassandra- Hama- Flume- Giraph- Oozie- Crun
阅读全文
摘要：一共81个，开源大数据处理工具汇总 一共81个，开源大数据处理工具汇总 查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘＝监控 原文出处： 36大数据：一共81个，开源大数据处理工具汇总（上）
阅读全文
摘要：1. Hadoop It would be impossible to talk about open source data analytics without mentioning Hadoop. This Apache Foundation project has become nearly
阅读全文
摘要：2017年大数据的十大发展趋势 2017年大数据的十大发展趋势 2017年大数据的十大发展趋势 佛瑞斯特研究公司（Forrester）的研究人员发现，2016年，近40％的公司正在实施和扩展大数据技术应用，另有30％的公司计划在未来12个月内采用大数据技术。2016年NewVantage Partn
阅读全文
摘要：阿里云大数据三次技术突围：Greenplum、Hadoop和“飞天” 阿里云大数据三次技术突围：Greenplum、Hadoop和“飞天” 对于企业来说，到底什么是云计算？相信很多企业都有这样的困惑，让我们一起回到这个原始的起点探讨究竟什么是云计算？云计算对于企业而言到底意味什么？ 云计算的三条发展
阅读全文
摘要：赋给hadoop用户hadoop-1.2.1读写权限 [root@master usr]# chown -R hadoop121:hadoop121 hadoop-1.2.1/ 折腾了两个小时，终于把hadoop的6个进程全部启动起来了。（其中jps不是任务，其他5个是，分别是NameNode,Se
阅读全文
摘要：牛津博士王宁：大数据和量化金融 牛津博士王宁：大数据和量化金融 牛津博士王宁：大数据和量化金融 本讲座选自2015年8月27日在2015中国国际大数据大会主题论坛五──牛津大学NIE金融大数据实验室、数据科学高级研究员、博士王宁所做的题为《大数据和量化金融，从机器交易、高频交易到大数据交易》的演讲。
阅读全文
摘要：牛津王宁：大数据和量化金融—从机器交易 高频交易到大数据交易 牛津王宁：大数据和量化金融—从机器交易 高频交易到大数据交易 很高兴来到这里，我是第二次参加这种会议了，我这次是以第二个身份来的，就是牛津大学NIE金融大数据实验室，代表实验室过来，今天主要分享一下我们实验室做的关于量化金融的思考跟案例。
阅读全文
摘要：牛津大学NIE金融大数据实验室王宁：数据治理的现状和实践 牛津大学NIE金融大数据实验室王宁：数据治理的现状和实践 我是牛津互联网研究院的研究员，是英国开放互联网的一个主要的研究机构和相关政策制订的一个机构。今天主要给大家介绍一下英国数据治理的一些现状和实践。Data.gov.uk就是相当于英国的电
阅读全文
摘要：Google Protocol Buffer 的使用和原理(转) 简介 什么是 Google Protocol Buffer？ 假如您在网上搜索，应该会得到类似这样的文字介绍： Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目
阅读全文
摘要：Mac部署hadoop3(伪分布式) 环境信息 操作系统：macOS Mojave 10.14.6 JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home) hadoop：3.2.1 免
阅读全文
摘要：Hadoop 图形化用户界面 Hue 大数据可视化工具 Nanocubes 企业大数据平台 RedHadoop 大数据查询引擎 PrestoDB Hadoop集群监控工具 HTools 安全大数据分析框架 OpenSOC 分布式数据仓库系统 Apache Tajo 数据管道服务 Suro 开源大数据
阅读全文
摘要：你是否需要大量的数据来检验你的APP性能？最简单的方法是从网上免费数据存储库下载数据样本。但这种方法最大的缺点是数据很少有独特的内容并且不一定能达到预期的结果。以下是70多家可以获得免费大数据存储库的网站。 Wikipedia:Database ：向感兴趣的用户提供所有可用的内容的免费副本。可以得到
阅读全文
摘要：Java语言基础 算法基础、常用数据结构、企业编程规范。 掌握常见的数据结构和实用算法；培养良好的企业级编程习惯。 Java面向对象 面向对象特性：封装、继承、多态等，面向对象程序设计，基础设计模式等。 掌握面向对象的基本原则以及在编程实践中的意义；掌握Java面向对象编程基本实现原理。 JDK核心
阅读全文
浙公网安备 33010602011771号