摘要:
需要利用kafka发送txt或log文件,有两种方式:1.自己写程序;2.利用kafka自带脚本。 package kafka.producer; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.
阅读全文
posted @ 2018-08-23 17:13
ldsweely
阅读(3138)
推荐(0)
摘要:
一、Windows下网卡,共享上网模式 二、虚拟机VMnet8的网卡模 三、Linux 下配置网卡 命令: vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置如下: TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=n
阅读全文
posted @ 2018-08-17 17:57
ldsweely
阅读(203)
推荐(0)
摘要:
#!/bin/bash#set java envexport JAVA_HOME=/wocloud/java/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libe
阅读全文
posted @ 2018-08-17 11:09
ldsweely
阅读(346)
推荐(0)
摘要:
一、常见JavaWeb服务器 1、WebLogic:是BEA公司的产品、WebSphereAS:是IBM公司的产品、JBossAS:红帽公司的产品,可以自行了解 2、Tomcat服务器:Sun公司在推出的小型Servlet/JSP调试工具的基础上发展起来的一个优秀的Servlet容器,Tomcat本
阅读全文
posted @ 2018-08-15 09:08
ldsweely
阅读(198)
推荐(0)
摘要:
-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdf
阅读全文
posted @ 2018-08-06 09:17
ldsweely
阅读(1661)
推荐(0)
摘要:
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形
阅读全文
posted @ 2018-08-03 11:02
ldsweely
阅读(168)
推荐(0)
摘要:
一、HADOOP集群搭建 1、集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有
阅读全文
posted @ 2018-08-03 10:19
ldsweely
阅读(209)
推荐(0)
摘要:
1. HADOOP背景介绍 1.1 什么是HADOOP 1.2 HADOOP产生背景 ——分布式文件系统(GFS),可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。 1.3 HADOOP在大数据、云计算中的位置和关系 1.4 国内外HADOOP应用案
阅读全文
posted @ 2018-08-03 10:01
ldsweely
阅读(258)
推荐(0)
摘要:
Spring Boot 案例 首先我们先准备一个 Spring Boot 使用 Mysql 的小场景,我们做这样一个示例,使用 Spring Boot 做一个 Web 应用,提供一个按照 IP 地址统计访问次数的方法,每次请求时将统计数据存入 Mysql 并展示到页面中。 配置信息 依赖包 <dep
阅读全文
posted @ 2018-08-01 17:17
ldsweely
阅读(215)
推荐(0)
摘要:
Docker-Compose 是 Docker 的一种编排服务,是一个用于在 Docker 上定义并运行复杂应用的工具,可以让用户在集群中部署分布式应用。 前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模
阅读全文
posted @ 2018-08-01 16:54
ldsweely
阅读(273)
推荐(0)