04 2022 档案
摘要：一、进程查看命令 ps：进程状态pstree：进程树状结构top：看进程状态 1、 ps命令ps -eLf | more L：展示线程数 2、pstree：查看进程树 3 top 命令 up xx分钟：总运行小时数 load average: 0.1(1分钟采样) 0.5(5分钟采样) 0.6(15
阅读全文
摘要：一、软件包管理器rpm格式: yum包管理器（centos,redhat)deb格式: apt包管理器 (Debian,Ubuntu) 二、rpm包格式rpm格式 （软件名称、软件版本、系统版本、平台）例如 vim-common-7.4.10-5.el7.x86_64.rpm软件名称 vim-com
阅读全文
摘要：1、配置网卡 ifconfig 问题1：第一块网卡名称 etho网卡名称受biosdevname和net.iframes两个参数影响 网卡名称 biosdevname net.iframes etho 0 0 ens33 0 1 em1 1 1 问题2：如何修改为etho？ vim /etc/def
阅读全文
摘要：1、万能帮助命令 man, help(第2选择） 2、ls -l 显示文件夹下所有文件或目录 ls -lt 按照时间排序 ls -lh 按MB显示 ls -R 树状显示 3、文件夹操作 （创建、修改、删除、复制） mkdir a b c d 当前目录下一次性创建多个 mkdir -p a/b/c/d
阅读全文
摘要：一、日百W级别订单系统丢单原因分析 1、订单查询核心逻辑：不使用读写分离方式，避免从库同步延迟造异常问题；不使用缓存，避免缓存同步延迟问题 2、订单补偿不要粗暴使用消息队列方式，避免中间件异常导致的订单丢失问题； 3、接受消息时一定要有重试机制 二、日W级订单系统架构 主要职责：创建订单和支付完成修
阅读全文
摘要：1、什么是安全？ 安全包括机密性（Confidentiality）、完整性（Integrity）、可用性（Availability），简称CIA三元组 机密性（不可见）：确保数据只被授权的主体访问，不被任何未授权的主体访问 完整性（不可改）：确保数据只被授权的主体进行授权的修改 可用性（可读）：确保
阅读全文
摘要：1. kafka介绍 1.1. 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka
阅读全文
摘要：一、组件选型360评估 评估维度 组件A 组件B 是否开源（软件采购成本） 开源 不开源，支付5w/年 免费版本是否支持集群HA无单点要求 支持 支持 可维护性（方案是否成熟） 高，业界成熟解决方案，开箱即用 低，不稳定 =》复杂度 中 低 =》社区活跃度 github 5星 github 4星 =
阅读全文
摘要：会发现ens33中没有ip地址，因此xshell无法与该虚拟机进行远程连接。经过分析，我采用的连接方式为桥接模式，打开任务管理器发现VMware DHCP Service已经停止运行，右击运行即可解决该问题
阅读全文
摘要：一、HBase介绍 1）HBase分布式、多版本、面向列的开源数据库 2）利用Hadoop HDFS作为文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统 3）利用Hadoop MapReduce来处理Hbase中的海量数据 4）利用Zoopkeeper
阅读全文
摘要：一、Zookeeper原理与脚本启动 1、zkServer命令 ./zkServer.sh start ./zkServer.sh status 检查是否启动zk：jps 查看是否有QorumPeerMain 2、zkCli.sh命令 help：查看所有命令 create /itcast 8000$
阅读全文
摘要：用于解决通用配置问题，客户端无需每次重启，直接监听Zookeeper的Znode值变更，动态修改用程序的配置信息。 一、服务端 1、创建Znode目录和节点 package Zookeeper; import org.apache.zookeeper.*; import org.junit.Test
阅读全文
摘要：ssh-keygen -t rsa cd /root/.ssh cp id_rsa.pub authorized_keys 或 ssh-copy-id localhost 其他登陆原理待补充
阅读全文
摘要：一、分区 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字 1.4在
阅读全文
摘要：一、MapReduce过程 二、原理 三、wordCount public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configurati
阅读全文
摘要：一、导入依赖包 在File->Project Structure->Modules->Dependencies下导入Hadoop->share文件下的相应jar包，包括： common下的：hadoop-common-3.2.1.jar、 hadoop-nfs-3.2.1.jar以及所有lib下的j
阅读全文
摘要：一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用 二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secre
阅读全文
摘要：一、hadoop开源生态介绍 1、云计算与大数据 Iaas:基础设施即服务,通过互联网获得服务，例如亚马逊AWS,openStack Paas:平台即服务,把服务器平台作为一种服务，例如虚拟开发平台，默认安装开发环境,hadoop Saas:软件即服务，例如office365,大量app 2、大数据
阅读全文
摘要：#！/bin/bash next_tips() #$0代表当前文件名 $1第一个参数 $2 第2个参数 .... { echo " $1 " } next_tips "global or local varialbe test" #变量赋值左右两边不能有空格 var_test() { # local
阅读全文
摘要：一、MySQL建表 CREATE TABLE `t_xxxxx` ( `Fid` bigint(255) NOT NULL AUTO_INCREMENT COMMENT '编号', `Fbuss_id` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8m
阅读全文
摘要：任何时候，一个人都不应该做自己情绪的奴隶，不应该使一切行动都受制于自己的情绪，而应该反过来控制情绪。其实，每个人都有自己的情绪，都有感到愤怒，感到沮丧，甚至感到厌倦的时刻。但当一个人处在低谷时，要戒掉情绪。
阅读全文
摘要：事前：2P挖掘法（为什么要做这个事情，痛点是什么？） 知道经常被问和理解事情必要性之后，我们就来准备怎么才能清晰回答这些问题，要想应对自如，就是提前问自己；方法论是：“2P挖掘法”， 即，至少找出个痛点或者两个论据来支持你做这件事的必要性， 这个两个痛点不是拍脑袋或凭感觉，最好要有严格的数据说明；
阅读全文
摘要：MECC原则 1、 事前、中、后 例如：安全事前角色和功能权限控制，事中记载操作日志，事后审计日志 2、 正向、逆向 例如：迁移程序每步骤必须可逆 3、 成功、失败 例如：失败需要返回业务错误码，必要时支持最大次数重试机制，失败超时重试需保证幂等 4、 正常、异常 例如：程序异常，数据库事务回滚 5
阅读全文
摘要：1、分类树立目标 2、定义每类目标有多少个知识点 3、每个知识点难易程度排行 4、碎片化学习知识 5、28原则，提炼文章精华2的部分，写学习笔记 WHY: 这个知识点能解决什么问题，有什么场景可以使用它，有什么优劣势？ WHAT: 这个知识点核心组成部分有哪些？ HOW: 每步是怎么做的？ 6、学会
阅读全文
浙公网安备 33010602011771号