文章分类 - Linux
摘要：Linux 是开源的 Linux 遵循 GNU 通用公共许可证（GPL），任何个人和机构都可以自由地使用 Linux 的所有底层源代码，也可以自由地修改和再发布。 由于 Linux 是自由软件，任何人都可以创建一个符合自己需求的 Linux 发行版。 目前主流的 Linux 版本有： Debian（
阅读全文
摘要：Shell 介紹 本书来源：开源书籍：Shell 编程范例 (by 泰晓科技) Shell 编程范例 v 0.2 不同于传统 Shell 书籍，本书并未花大篇幅去介绍 Shell 语法，而是以面向“对象” 的方式引入大量的实例介绍 Shell 日常操作，“对象” 涵盖数值、逻辑值、字符串、文件、进程
阅读全文
摘要：vim 删除文件中所有内容的方法 (：代表要切换到命令模式输入：之后的命令) (1) :%d 不管光标在哪里，删除所有 (2) gg dG gg的意思是光标切换到第一行
阅读全文
摘要：Shell编程中会经常遇到字符串处理（如截取） 今天在写shell脚本的时候看到前辈的代码中有 ..... get_col(){ local s=$1 local col_num=$2 local col_str=$3 let "col_num--" local ss=${s#*${col_str}
阅读全文
摘要：sed -i 修改脚本内容 今天工作中遇到需要将上线的表进行初始化刷一遍全量数据的问题 但是sql脚本已经上线了，不能手动修改了（没权限）^.^ 所以今天学了一个新命令可以让有权限的同事帮我执行一下，然后等我跑批刷数据之后再恢复过来 sed -i '80s/^/--/' /home/etl/app/
阅读全文
摘要：shell 脚本 中的 函数 #!/bin/bash # 指定了shell脚本解释器的路径，而且这个指定路径只能放在文件的第一行。第一行写错或者不写时，系统会有一个默认的解释器进行解释。 db_cr_hub1_ip="`get_database_info mysql.cr_hub1.ip`" db_
阅读全文
摘要：Linux常用高级命令 命令 命令解释 top 查看内存 df -h 查看磁盘的存储情况 du -h 查看目录的存储情况 iotop 查看磁盘IO读写(yum install iotop安装） iotop -o 直接查看比较高的磁盘读写程序 netstat -tunlp | grep 端口号 查看端
阅读全文
摘要：HDFS 中 -test 的用法（判断后面路径的属性） hadoop fs -test -[参数] <path> 参数： -d ：后面路径为目录，返回0 -e ：后面路径存在，返回0 -f ：后面路径为文件，返回0 -s ：若path大小大于0字节，返回0 -z ：若path大小为0字节，返回0，否
阅读全文
摘要：伪分布式集群 Linux 查看历史命令 history Linux查看进程运行的状态 top 也能查看集群资源 为了节省计算机的资源，我们将之前分布式的集群，改为伪分布式 伪分布式：即在一个节点上做分布式，可以节省资源 拍摄快照 在改伪分布式之前可以给我们的集群拍个快照，方便之后如果想要用回分布式集
阅读全文
摘要：Python 爬虫 什么是爬虫？ 首先我们要了解，对于一个网站是有一个链接的。我们访问一个网站除了使用浏览器之外，还可以在 Linux 中使用 curl 命令访问 # 例如：访问百度 curl https://www.baidu.com/ 会返回一个HTML的文件（网页的源码） HTML -- 超文
阅读全文
摘要：Linux top 持续监听进程运行状态 查看内存 top 命令的基本格式如下： [root@localhost ~]#top [选项] 选项： -d 秒数：指定 top 命令每隔几秒更新。默认是 3 秒； -b：使用批处理模式输出。一般和"-n"选项合用，用于把 top 命令重定向到文件中； -n
阅读全文
摘要：Hive 在 Linux 的 Shell 中的使用 第一种： hive -e "后面直接加一条SQL" hive -e "select * from test1.students limit 10" 第二种： hive -f hql文件路径 将HQL写在一个文件里，再使用 -f 参数指定该文件 编辑
阅读全文
摘要：nohup 和 & -- 后台运行 nohup 不挂断地运行命令 & 是指在后台运行 --例如 nohup 命令 & --表示不挂断的后台运行命令 processon.com -- 免费在线流程图思维导图 Markdown 基本语法 | Markdown 官方教程 Markdown语法大全(超级版)
阅读全文
摘要：通过rz实现Xftp的功能 yum install lrzsz 安装完毕之后就可以直接拖文件进Linux了 如何查看该进程是什么进程 ps -aux | grep 进程号 Hive的架构图 Hive的8道小练习 #写在hive中的SQL最好都要带上limit，因为是大数据嘛 #如果有分组，那么sel
阅读全文
摘要：原理的简单描述 根据非对称加密原理，要使主机A可以免密登录至主机B，那么需要将主机A的公钥放在主机B上，在登录时，主机A用自己的私钥加密登录信息，主机B用保存的A的公钥解锁成功后即可认为是合法登录。 步骤 本地 -- A 远程 -- B 配置步骤 # 1、生成主机A的公私秘钥 ssh-keygen
阅读全文
摘要：为什么读、写、执行的权限数字表示是4、2、1 Linux中查看磁盘的使用情况 df -h 修改文件的所属用户 chown 用户名:组名 文件名 chown = change own 添加用户到用户组 usermod -a -G 组名 用户名
阅读全文
摘要：Linux虚拟机中DNS最好是自己的网关地址 114.114.114.114 8.8.8.8 这两个也可以，但是在虚拟机中把DNS设置成自己的网关地址最好 因为这样你对网络发起请求的时候，它会转换到我们Windows上面，所以只要Windows能通，Linux虚拟机就能通 vim /etc/sysc
阅读全文
摘要：第一、在解决问题之前，我们首先来了解下面几个知识点： 1. date命令： #date 显示系统时间 2.hwclock命令 (即hardwareclock系统硬件时间) #hwclock 显示硬件时间 #hwclock -w 将系统时间写入到系统硬件当中 3.ntpdate ntpdate 是一个
阅读全文
摘要：apt（Advanced Packaging Tool）是一个在 Debian 和 Ubuntu 中的 Shell 前端软件包管理器。 apt 命令提供了查找、安装、升级、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。 apt 命令执行需要超级管理员权限(root)。 apt 语法 a
阅读全文
浙公网安备 33010602011771号