随笔分类 -  BigData

raspberry pi 4b (ubuntu 20.04) 安装 kafka, kafka-manager
摘要：--link必须要有，否则不好用 sudo docker run -d \--name kafka -p 9092:9092 \--link zookeeper:zookeeper \-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.85:909 阅读全文
posted @ 2021-05-08 13:01 北极熊129 阅读(227) 评论(0) 推荐(0)
remote access mongodb in docker
摘要：想着买的云主机闲着，就装个mongo练练手吧。 云主机 ip: 111.229.x.x 客户端用的是nosqlboost for mongodb，笔记本上。 1. 拉mongodb image # docker pull mongo 2. 启动 # docker run -d -p 27017:27 阅读全文
posted @ 2020-08-27 13:30 北极熊129 阅读(176) 评论(0) 推荐(0)
Spark RDD函数：
摘要：1. ++ and union: 阅读全文
posted @ 2018-08-23 00:43 北极熊129 阅读(97) 评论(0) 推荐(0)
MapReduce TOP n
摘要：1.pom.xml 2. java文件 3. 从eclipse export一个jar: topn.jar, 上传到 hadoop: /opt/hadoop-2.9.0/files 4. 准备三个文件，放入hdfs: /user/root/topn/input, 每行四个数字，原来的例子第四个字段是 阅读全文
posted @ 2018-08-03 17:59 北极熊129 阅读(336) 评论(0) 推荐(0)
Kafka Streams Example
摘要：kakfa官网上的几个例子： 环境： kafka集群， eclipse(win10) pom.xml 一. Pipe 这个例子的功能就是从streams-plaintext-input输入文本, 然后我们写的代码将输入的文本转到streams-pipe-output. streams-plainte 阅读全文
posted @ 2018-03-28 01:17 北极熊129 阅读(431) 评论(0) 推荐(0)
搭建kafka集群
摘要：前言： 按照kafka的文档，搭建一个三个host的集群。当然和kafka的文档还是有区别的： 1). 未使用kafka自带的zookeeper 2). kafka文档是一个host的三个进程， 这里是使用三个host(vm)，每个host运行一个kafka 准备： 三个vm，分别为node1, n 阅读全文
posted @ 2018-03-18 00:25 北极熊129 阅读(236) 评论(0) 推荐(0)
hbase (local mode) remote access
摘要：如果初学hbase，没必要弄一个集群，hbase的local mode够用了。 这里写一个简单的教程。适用于初学hbase，想要用代码访问hbase的童鞋们。 目录： 0. 准备 1). 开发环境 2). 修改主机名 3). centos里安装jdk 1. 安装hbase (local mode) 阅读全文
posted @ 2018-01-11 22:53 北极熊129 阅读(483) 评论(0) 推荐(0)