随笔分类 - 大数据(Ubuntu 16.04 Server)
关于大数据的配置
摘要：kafka基本概念 1.kafka(MQ)、producer、customer理解图。
阅读全文
摘要：Flink+Kafka整合实例 1.使用工具Intellig IDEA新建一个maven项目，为项目命名为kafka01。 2.我的pom.xml文件配置如下。 3.在项目的目录/src/main/java在创建两个Java类，分别命名为KafkaDemo和CustomWatermarkEmitte
阅读全文
摘要：Flink基本概念 1.The history of Flink？ 2.What is Flink？ Apache Flink是一个开源的分布式、高性能、高可用、准确的流处理框架，主要由Java代码实现，支持实时流(stream)处理和批(batch)处理，批数据只是流数据的一个极限的特例。原生支持
阅读全文
摘要：Ubuntu16.04下配置ssh免密登录 环境准备：新建两台虚拟机，而且两台虚拟机上都装有Ubuntu16.04的系统，使两台虚拟机之间保持互通状态。分别为两台虚拟机命名为A,B。假设我们要使A虚拟机免密登录B虚拟机。 1.在A虚拟机的普通用户的终端下输入如下命令: 然后一直按回车到结束。这时在/
阅读全文
摘要：link实例之Wordcount详细步骤 1.我的IDE是IntelliJ IDEA.在官网上https://www.jetbrains.com/idea/下载最新版2018.2的IDEA，如下图。破解可以再http://idea.lanyus.com/上获取破解码进行破解，如下图。 2.当IDE准
阅读全文
摘要：Zookeeper+Kafka的单节点配置 环境描述：Ubuntu16.04 server系统，在系统上搭建Java环境，jdk的版本为1.8或更高，我的服务器IP地址为192.168.0.106。 1. 使用命令在根目录下的opt目录下创建data目录。 2. 在Apache官网http://ww
阅读全文
摘要：Flink的部署 环境准备：windows7系统，本地连接。如果打开更改适配器设置后没有本地连接，可以通过驱动精灵等软件安装网卡驱动。为了使部署在虚拟机上的服务器可以与物理机进行连通，必须使物理机的网卡和虚拟机上服务器的网卡在同一个网段上，在此我们规定一个网段192.168.0.*为标准，我的物理机
阅读全文
摘要：1.创建三台虚拟机分别在虚拟机上安装Ubuntu16.04Server版的系统。 2.首先选择配置好第一台虚拟机，使用命令vim /etc/hosts对该文件进行修改 3.将zookeeper-3.4.10.tar.gz包解压在指定的目录下（我的是在/usr/local/java/），并将解压后的包
阅读全文
摘要：1.首先新建一个虚拟机并在该虚拟机上安装Ubuntu16.04系统。为这台虚拟机起名为Ubuntu3。 2.对Ubuntu3进行克隆，为新克隆生成的虚拟机起名为Ubuntu2。(这时我们会发现Ubuntu2可以ping通Ubuntu3，但是反过来Ubuntu3无法ping通Ubuntu2。这是因为克
阅读全文
摘要：1.从ftp://ftp.gnu.org/gnu/下载flex、bison、GNU M4、libpcap安装包，具体的链接分别如下： flex下载：http://flex.sourceforge.net/或者https://github.com/westes/flex/releases bison下
阅读全文
摘要：1.输入命令: sudo apt-get install gcc libc6-dev 2.创建文件hello.c使用命令: touch hello.c 3.在hello.c中写入: #include <stdio.h> int main() { printf("hello world!\n"); r
阅读全文
摘要：1.在官网上下载对应Linux版本的jdk 2.在终端输入命令将下载好的jdk解压并且转移到指定的路径如：首先执行 tar -zxvf jdk-8u181-linux-x64.tar.gz 然后执行 mv ./jdk1.8.0_181 /usr/local/java (提前创建好目录/usr/loc
阅读全文
摘要：需要在Linux上安装openssh-server 1.在Ubuntu系统的终端下输入命令：sudo apt install openssh-server 2.在Xshell中输入指定连接的主机IP，输入对应的账号和密码。 3.可以愉快的进行远程连接了！
阅读全文
浙公网安备 33010602011771号