随笔分类 - linux
1
摘要：云服务器 挖矿病毒crypto scan 针对docker2375监听以及redis弱密码的漏洞被挖矿 解决方案 搜索进程(htop) 看cpu占用最高的进程(通常是ddns crypto 以及scan等),顺着找到相关文件所在,基于docker以及redis漏洞的病毒名称为crypto以及scan
阅读全文
摘要：hiveserver2的启动与datagrip连接hiveserver2 hiveserver2的配置 {HIVE_HOME}\conf\hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesh
阅读全文
摘要：Docker 时区修改 mysql等官方镜像的时区并不在中国，因此使用docker进行mysql等镜像部署的时候调用系统时间函数会输出错误时间，所以需要对时区进行修改 date -R #查看时区 cd /usr/share/zoneinfo ls ./Asia -hl #查看时区的软连接指向 cp
阅读全文
摘要：Docker Container应用部分shell操作要求进程停止问题 问题描述 docker容器中，比如neo4j的neo4j-dump导出以及恢复数据库方法要求停用neo4j进程，但是docker容器中是没有办法停止主程序进程的，停止进程会造成容器down，而没办法进行其他操作。这个操作是与容器
阅读全文
摘要：Spark源码 RDD部分各类算子以及接口 Spark Version:3.1.1 需要事先说明的是，本文仅为个人阅读源码过程中的积累，其中案例有的来自官方有的来自网络，并非全部由我自己编写，这篇博客也主要用于自己翻阅为主 Spark-RDD filepath：spark-3.1.1\core\sr
阅读全文
摘要：Docker使用 安装Docker sudo wget -qO- https://get.docker.com/ | sh sudo service docker start#启动docker服务 创建 docker run -itd --name <dockername> ubuntu:18.10
阅读全文
摘要：linux 百G级别文件 命令行快速删除文件末尾几行 采用dd指令 格式为 dd of=<filename> seek=1 bs=$(($(stat -c%s <filename>)-$(tail <deleterows> <filename>|wc -c))) 处填入要操作的文件名 处填入要删除的
阅读全文
摘要：spark启动失败纠错 说明 hadoop集群是用ambari搭建的，照理来说不会出现配置错误的问题 错误出现在使用spark-shell指令启动的时候 按网上说的看了很多，错误原因无非网络，配置失误，内存不够等等，也做过一些修改的尝试，均失败 最后发现自己眼瞎，第五行就写着perimission
阅读全文
摘要：Zerotier_MOON配置 Z moon是什么，对于zerotier来说有什么作用 zerotier用于搭建虚拟局域网，但是其根服务器在国外，使用人数又多，因此通常压力巨大。 moon（月球）其名字本身就比较好地反映了其作用，用于搭建一个国内的“卫星”作为中转服务器，作为根节点速度慢，不稳定的一
阅读全文
摘要：ZeroTier搭建虚拟局域网 解决内网穿透问题 下载ZeroTier Linux: curl -s https://install.zerotier.com/ | sudo bash Windows: 去官网下载安装包后安装即可 注册账号并创建网络 前去官网创建账号之后点开network，点击创建
阅读全文
摘要：python hive Permission denied 问题 具体错误栈就不列了，错误信息中出现org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, 基本就能确
阅读全文
摘要：Linux Python 换源 for Linux sudo mkdir ~/.pip vim ~/.pip/pip.conf 在pip.conf文件中输入以下内容即可： [global] index-url = http://pypi.douban.com/simple [install] use
阅读全文
摘要：Redis集群部署 1. 本文集群结构 一共三个节点，每个节点启动两个redis-server作为主备进程，以6379为主，6380为备，主要使用redis5.0.5版本 ps:以下2、3、4、5步骤均需要在每台节点上配置 2. 安装redis cd /usr/local/ sudo mkdir r
阅读全文
摘要：Mysql Error SQL ERROR 2013 注意区分ssh与数据库账号与密码，不要混淆填错 填写正确还是有问题则检查my.cnf文件中是否有 bind-address = 127.0.0.1 如有，请注释。 SQL ERROR 1130 问题原因在于刚安装的mysql默认情况下root用户
阅读全文
摘要：hdfs fsimage和editlog fsimage，namenode的元数据镜像文件，保存在磁盘 editlog，namenode操作日志 fstime，最近一次的checkpoint时间 metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息 datanode上存储文
阅读全文
摘要：sbt换源 两种方法不一定都能用 方法一 Linux系统，则进入Bash执行如下命令： cd ~ mkdir .sbt cd .sbt 然后创建 repositories 文件内容如下，并将文件拷贝到 .sbt 目录下 [repositories] local huaweicloud-maven:
阅读全文
摘要：Linux终端将进程挂于后台的方法 如果希望终端关闭后，程序继续在后台运行 可以使用如下命令 nohup orderthere & 之后会提示一些信息，回车即可，此外，在使用nohup命令后，会自动将终端日志信息输出于当前目录下的nohup.out文件中。 命令中的&解释： 将该符号放置于启动参数后
阅读全文
摘要：首先去购买服务器，本人选择的是阿里云，学生党在优惠下能够以一百左右的价格买到一年的基础云服务器，还是很香的。 远程连接可以使用xshell软件，上传下载软件除了直接使用xftp还可以在cmd中使用scp命令进行文件传输。 正式开始安装 先安装screen，因为后续切换yum源后会只能安装国内镜像网站
阅读全文
摘要：首先打开/etc/my.cnf(默认安装情况下为此路径) vim /etc/my.cnf 如果无法找到该文件，可以试着使用以下指令 find / -name my.cnf 在[mysqld]下方（注意一定是要在此文本段内 不能放在下一个[xxx]后） 单独添加一行skip-grant-tables，
阅读全文
摘要：ambari-server安装流程 1.还原系统 使用ultralso以及ubuntu18.04镜像文件制作启动盘 从此处打开，选择需要用到的镜像文件 点击启动，写入硬盘映像 写入方式选择HDD+或者HDD 便捷启动->写入新的驱动器引导扇区->syslinux 制作完u盘后插到
阅读全文
1
浙公网安备 33010602011771号