西北偏北UP

摘要： 前言 top命令分为汇总区和任务明细区 汇总区 运行时间和当前登录到系统的用户 当前时间是15:39:37. 系统已经运行了90天，15个小时，26分钟。当前有两个活跃用户 内存使用 上下两行以kb形式展示物理内存和swap内存的总计，空闲(free), 已使用(total)的情况 其中buff/c 阅读全文

摘要： sed命令整体可以干嘛 总体而言，sed命令可以对文本进行查找、删除、插入、替换等操作。它跟vim或者vi命令最大的去区别是，后者只能通过人工交互的方式，对文本进行处理。而很多时候，我们希望脚本自动化的进行文本处理，那么sed无疑是我们的好帮手 命令简介 sed OPTIONS [SCRIPT] [ 阅读全文

摘要： yarn的基本概念 yarn由两部分组成: ResourceManager 负责整个集群资源的管理和分配 NodeManager 管理很多容器，容器中运行着正真的分布式计算程序，比如flink，或者spark。NodeManager需要向ResourceManager上报自己的任务运行情况，同时向R 阅读全文

摘要： 前言 纪录片《行星》主要讲太阳系的所有行星其形成演化历史，相比于类宇宙通史的《宇宙时空指南》来说，《行星》更为专注。看完即能让人感叹人类的渺小，又能感叹人类的伟大 渺小在于，地球跟太阳比起来，就像一粒沙，遑论人类，而放眼整个银河系，甚至宇宙，太阳系都无异于尘埃。人类迄今为止发射的最快探测器，新视野号 阅读全文

摘要： 前言 最近读了几本区块链相关的书，其中一本是《区块链：技术驱动金融》。毋庸置疑，以比特币为首的区块链技术，已经在事实上取得了一定程度的成功。这篇博文抛开细节技术实现，记录自己对区块链技术的粗浅认识。 比特币是什么 比特币使用的是区块链技术。比特币只是区块链技术上的一种具体实现 区块链从其名字直观来看 阅读全文

摘要： 前言 本文档基于hive 3.1.2编写 hive的基础知识 基本架构 整个hive由hiveserver2和hive 客户端组成 hive客户端有三种，beeline 、使用jdbc链接hiveserver、或使用hive CLI(这个已经过时，hive官方已经不推荐，推荐beeline) hiv 阅读全文

摘要： 需求背景 团队有集成测试的需求，集成测试需要依赖一些中间件，比如mysql，rabbitmq。每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求。 为了不互相影响，可以选择在研发本地搭建自己的依赖环境，我们希望这些环境搭建要容易、快速，且方便清理。 使用docker进行环境搭建 而do 阅读全文

摘要： 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。 前置条件 我所在的集群有三台服务其，对应的host分别为master,slave1,slave2。hadoop服务的安装分部为 机器h 阅读全文

摘要： Hadoop-yarn的安装配置，错误处理 阅读全文

摘要： hadoop相关笔记 阅读全文