摘要:项目并发量(线程) 1、线程数(Web服务)=>单tomcat:250>数量>150 集tomcat:>500 2、线程数(系统进程)=>Window:2000/linux:1000 注:线程数提高(根据硬件扩展) 3、秒查询率 QPS:Query Per Second 垂扩:单机 水扩:集群 水扩
阅读全文
摘要:1、pom.xml <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop-hbase</artifactId> <version>2.5.0.RELEASE</version>
阅读全文
摘要:一、Hadoop安装 1)、启动 2)、创建hdfs目录 $ hadoop fs -mkdir /tmp $ hadoop fs -mkdir /user/ $ hadoop fs -mkdir /user/hive/ $ hadoop fs -mkdir /user/hive/warehouse
阅读全文
摘要:1、先部署好 Hadoop 参考:idea+Hadoop 增删改查20220614 2、配置hbase 3、启动hbase 4、进入hbase shell 5、进入hbase shell 创建testtable 6、idea 表testtable 新增行记录 row1 1)、pom.xml 2)、H
阅读全文
摘要:主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。 主从结构分类: 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式: 1、主节点 从节点 2、master slav
阅读全文
摘要:Hadoop学习之路(二)Hadoop发展背景 摘要:Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2. 2
阅读全文
摘要:1、window hadoop 安装 2、hadoop 配置 注dfs.permissions.enabled =false 权限放开 3、hadoop 启动 4、Idea+hadoop 1)、pom.xml <dependency> <groupId>org.apache.logging.log4
阅读全文