随笔分类 -  bigdata

大数据相关
C++使用RdKafka
摘要：转：https://blog.csdn.net/wanghualin033/article/details/81586004 Kafka是一个推送的消息框架，支持java、python、c/c++等待。本次与Kafka接触了一段时间，做个分享，主要是代码中的接口，与使用方法。 Kafka使用topi 阅读全文

posted @ 2023-03-31 21:30 Netsharp 阅读(670) 评论(0) 推荐(0)

scala基础：scala 泛型中的符号
摘要：转：https://blog.csdn.net/weixin_44641024/article/details/102588999 参：https://www.cnblogs.com/jacksu-tencent/p/4979666.html 泛型中的符号 |符号|作用| |-|-| [T <: U 阅读全文

posted @ 2023-03-24 09:42 Netsharp 阅读(65) 评论(0) 推荐(0)

MapReduce Terasort算法分析
摘要：转：https://blog.csdn.net/Trend_H/article/details/95625381 1.概述 1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209 阅读全文

posted @ 2023-03-22 08:45 Netsharp 阅读(254) 评论(0) 推荐(0)

安装与运行open mpi
摘要：open mpi官网地址：https://www.open-mpi.org/ open mpi文档地址：https://docs.open-mpi.org/ 微软也实现了MPI，叫Microsoft MPI，文档非常全面可以参考 1. apt-get安装 首先安装MPI。在Ubuntu 22.04中 阅读全文

posted @ 2023-03-21 21:36 Netsharp 阅读(6040) 评论(0) 推荐(0)

Spark核心原理
摘要：1. 概要介绍 1.1 master节点和work节点 master和worker是物理节点 spark集群有一个master节点和多个worker节点。Standalone模式下可以通过zookeeper对master做靠可用配置，当master宕机了之后重新选举一个master。 master节 阅读全文

posted @ 2023-02-03 09:39 Netsharp 阅读(268) 评论(0) 推荐(0)

[Flink] 从 RabbitMQ 读取并计算后输出到 MySQL
摘要：实现的需求是从 RabbitMQ 读取 JSON 格式的消息，处理结果输出到 MySQL。主要参考了 这篇博客 和 Apache Flink 中文文档 。 编程语言： Scala 2.12.10构建工具： sbt 1.3.0IDE：IntelliJ IDEA Community 2019.1 开发环 阅读全文

posted @ 2021-11-18 14:55 Netsharp 阅读(959) 评论(0) 推荐(0)

SPARK安装一：Windows下VirtualBox安装CentOS
摘要：SPARK安装准备，Windows下VirtualBox安装CentOS 阅读全文

posted @ 2018-10-12 22:47 Netsharp 阅读(488) 评论(0) 推荐(0)

SPARK安装三：SPARK集群部署
摘要：SPARK集群部署 阅读全文

posted @ 2018-10-12 22:44 Netsharp 阅读(284) 评论(0) 推荐(0)

SPARK安装二：HADOOP集群部署
摘要：hadoop集群安装 阅读全文

posted @ 2018-10-12 22:04 Netsharp 阅读(443) 评论(0) 推荐(0)

导航