08 2022 档案

hadoop资源配置与队列设置以及YARN三种资源调度器解析
摘要：yarn集群资源设置资源（1）yarn.nodemanager.resource.memory-mb 配置nodemanager节点的可用物理内存，默认是8192（MB） ，如这台服务器有16G 可以考虑分配12G给nodemanager，留下4g给系统内存或者其他程序。 （2）yarn.nodem 阅读全文
posted @ 2022-08-31 15:45 小明同学slm 阅读(5541) 评论(0) 推荐(0)
hadoop小结
摘要：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台 主要有以下功能： Hadoop Common：基础型功能 Hadoop Distributed File System (HDFS™)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。负责存放数据 Hadoop YARN：作业调度 阅读全文
posted @ 2022-08-31 15:28 小明同学slm 阅读(64) 评论(0) 推荐(0)
hadoop2.7.6学习
摘要：Hadoop2.7.6学习 Hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigT 阅读全文
posted @ 2022-08-31 15:28 小明同学slm 阅读(276) 评论(0) 推荐(0)
Hadoop HA搭建
摘要：在搭建高可用集群是需要用到zookeeper因此我们要先搭建zookeeper zookeeper搭建（搭建过程相对简单，但是要细心！！） 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz 2、配置环境变量 vim /etc/profile expo 阅读全文
posted @ 2022-08-23 21:39 小明同学slm 阅读(123) 评论(0) 推荐(0)
Hadoop集群搭建
摘要：Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8 java - 阅读全文
posted @ 2022-08-21 21:34 小明同学slm 阅读(187) 评论(0) 推荐(0)
Redis学习
摘要：在学习Redis前需要了解NoSQL，因为Redis属于NoSQL中的键值(Key-Value)存储数据库。 NoSQL(Not Only SQL )，意即不仅仅是SQL, 泛指非关系型的数据库。Nosql这个技术门类,早期就有人提出,发展至2009年趋势越发高涨。随着互联网网站的兴起，传统的关系数 阅读全文
posted @ 2022-08-21 21:26 小明同学slm 阅读(176) 评论(2) 推荐(0)
linux重要指令及知识点
摘要：Linux目录结构 bin 存放二进制可执行文件(ls,cat,mkdir等) boot 存放用于系统引导时使用的各种文件 dev 存放设备文件 etc 存放系统配置文件 home 存放所有用户文件的根目录 lib 存放跟文件系统中的程序运行所需要的共享库及内核模块 proc 虚拟文件系统，存放当前 阅读全文
posted @ 2022-08-16 10:25 小明同学slm 阅读(110) 评论(0) 推荐(0)
spring boot初学
摘要：Spring Boot 2.5.0和2.6.3版本实战 现有SSM开发存在问题 大量maven冗余配置 每次构建项目都要书写大量相同配置极大浪费了项目开发时间 每次整合第三方技术都需要编写相关配置文件 项目测试每次都需要部署到tomcat 注意:这就是早期的SSM或者SSH开发存在问题,是不是很麻烦 阅读全文
posted @ 2022-08-14 20:38 小明同学slm 阅读(534) 评论(0) 推荐(0)
JDBC小结
摘要：JDBC简介 JDBC 全称为Java DataBase Connectivity（Java语言连接数据库） JDBC是SUN公司制定的一套接口(interface)。 接口都有调用者和实现者。 面向接口调用、面向接口写实现类，这都属于面向接口编程 JDBC之所以要面向接口编程，是因为解耦合：降低程 阅读全文
posted @ 2022-08-10 19:53 小明同学slm 阅读(54) 评论(0) 推荐(0)
git重要指令
摘要：常用命令 命令备注 git status 查看仓库的改变情况，会有相关的提示操作出现 git add 直接添加所有改动的文件 git commit -m "note" 确认生成本地的版本，note是 版本特点说明 git push 将改动上传到github，若没有指定分支，则需要使用git push 阅读全文
posted @ 2022-08-10 19:00 小明同学slm 阅读(75) 评论(0) 推荐(0)
maven 和git安装使用
摘要：Maven学习 今天我们就来学习一下maven，怎么说呢，maven更像是一种管理的工具，实现的原理是使用插件。 举个例子，比如说，一个公司需要做一个项目，这个项目又分成了很多的模块，每个模块又分成了许多的业务等等，这些需要许许多多的小组进行进行，最后再进行整合。 那么，就有一个很大的问题，IT技术 阅读全文
posted @ 2022-08-10 14:49 小明同学slm 阅读(996) 评论(0) 推荐(0)
Mysql学习总结
摘要：Mysql小结 数据库概念 定义 数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 数据库是长期储存在计算机内、有组织的、可共享的数据集合。 分类： 非结构化数据，半结构化数据， 结构化数据 SQL(Structured Query Language)结 阅读全文
posted @ 2022-08-10 14:22 小明同学slm 阅读(77) 评论(0) 推荐(0)
mysql学习资料
摘要：Mysql学习（一） 数加科技整理 一、原理定义概念 定义 数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 数据库是长期储存在计算机内、有组织的、可共享的数据集合。 分类： 非结构化数据： 数据相对来讲没有固定的特点，这种数据非常不便于检索 但是生活中 阅读全文
posted @ 2022-08-10 14:21 小明同学slm 阅读(39) 评论(0) 推荐(0)
shell任务相关设置
摘要：shell中系统任务设置 1、系统启动流程 启动计算机的硬件(BIOS) 读取时间 选择对应的启动模式(USB HDD EFI） 如果是Linux系统，回去找/boot目录.引导这个系统启动 计算机系统开始启动,读取初始化配置文件 vim /etc/inittab 启动时控制着计算机的运行级别 ru 阅读全文
posted @ 2022-08-03 10:11 小明同学slm 阅读(95) 评论(0) 推荐(0)
shell编程
摘要：Shell编程 1.1 Shell名词解释 • Kernel Linux内核主要是为了和硬件打交道 • Shell 命令器(command interpreter) Shell是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言， 又是一种程序设计语言. Shell是指 阅读全文
posted @ 2022-08-03 10:11 小明同学slm 阅读(95) 评论(0) 推荐(0)