随笔分类 -  Linux命令

摘要：一、添加启动脚本 二、启动服务 参考：https://blog.csdn.net/qq562029186/article/details/67639676 https://blog.csdn.net/jiafu1115/article/details/54629749/ 阅读全文

摘要：#!/bin/bash p=$(hadoop fs -ls /tgl/data |awk '{print $8}') #要将$a分割开，先存储旧的分隔符 OLD_IFS="$IFS" #设置分隔符 IFS=" " #如下会自动分隔 arr=($p) #恢复原来的分隔符 IFS="$OLD_IFS" #遍历数组 for p in ${arr[@]} do echo -ne "$p\t... 阅读全文

摘要：while true; do server=`ps -aux | grep tomcat | grep -v grep` if [ ! "$server" ]; then echo "Tomcat挂了" | mail -s "Tomcat" xxxx@qq.com ... 阅读全文

只有注册用户登录后才能阅读该文。

摘要：Spark提交程序报错，无法创建新的线程 原因是因为这台公用机器上跑的进程太多了，需要修改Linux参数，允许用户最大进程数 查看允许用户最大进程数配置 修改允许用户最大进程数配置 在文件后面追加一句，并使配置立即生效，设置太大也不好，Java内存不够用[囧] 阅读全文

摘要：需求：用Spark给Kafka写数据，模拟线上环境。 需要先创建topic 后台启动Zookeeper 后台启动Kafka Spark往Kafka写数据 查看Kafka输出 阅读全文

摘要：需求：检测Linux上Tomcat是否允许，挂了的话给运维发送邮件通知 实现：编写脚本一直检测Tomcat进程是否存活，否则给运维发送邮件，脚本设置开机时自动启动 1、Linux发送邮件 添加如下配置 from：对方收到邮件时显示的发件人 smtp：指定第三方发邮件的smtp服务器地址 set sm 阅读全文

摘要：功能：主动验证给定的域名、IP对是否真正的关联 思路： 1、一开始通过修改hosts文件，把待验证的域名、IP对添加到文件里，然后用wget尝试访问，再恢复hosts文件重新验证下一对 2、后来了解到curl命令可以带参数的形式指定访问域名的解析IP，于是改用curl验证。但是要在防火墙上关闭DNS 阅读全文

摘要：【需求】 用一个脚本A定时扫描另外一个脚本B，如果挂了则重新启动脚本B 被守护的脚本B：count_predict_file.sh 守护的脚本A：daemon_count_predict_file.sh 后台启动守护脚本 ./daemon_count_predict_file.sh & 参考：htt 阅读全文

摘要：按理说运行下面一句就可以安装了 但是对于我的redhat7.2+python2.7.5，报了下面的错误 _posixsubprocess.c:3:20: 致命错误：Python.h：没有那个文件或目录 于是需要先安装python-devel 阅读全文

摘要：前面说过pscp不支持多线程，所以在此特地实现了一个 程序分三个部分： 1、初始化各种参数，涉及getopt函数的使用 2、重新定义scp，实现传递IP然后远程拷贝 3、启动多线程调用scp，涉及多线程的启动和等待线程结束 测试结果： ps:对于读取带选项参数和Python多线程参考了以下两篇博客 阅读全文

摘要：首先说明一下pip在线安装程序会发生什么 例如： 运行pip install numpy 1、pip会先下载与自己机器匹配的wheel安装包 我的是numpy-1.12.1-cp27-cp27mu-manylinux1_x86_64.whl 2、pip会运行如下命令来安装wheel安装包 pip i 阅读全文

摘要：最近写Python需要用到numpy包 运行pip install numpy就会自动安装 一、因此需要先安装pip 1、如果安装的是Python>=2.7.9或者Python>=3.4，那么Python已经集成了pip，只是需要在线更新一下pip pip is already installed 阅读全文

摘要：很有可能是网关和域名服务器没有设置 1、设置网关 netstat -rn #查看网关配置情况 上面路由表配置应该是任何目的地址都先发送给10.0.6.252，不是我实际的网关 route add default gw 192.168.10.1 #根据实际网关IP填写 2、设置域名服务器 vi /et 阅读全文

摘要：linux默认是安装了yum软件的，但是由于激活认证的原因让redhat无法直接进行yum安装一些软件 如果我们需要在redhat下直接yum安装软件，我们只用把yum的源修改成CentOS的就好了，这样就能使用yum直接安装我们需要的软件了 1、查看机器版本和位数 [hadoop@master t 阅读全文

摘要：1、从文件尾到文件头一页一页的显示内容 tac xxx.log |more //tac命令与cat命令相反，从文件尾开始读文件 2、shell下科学计算工具bc echo "scale=5; 1/32"|bc //scale用于指定计算结果的精度 3、shell变量赋值 line1=`wc -l x 阅读全文

摘要：1、pscp 用于将本地文件复制到远程主机 pscp -h xxx.host 本地文件 远程目录 //xxx.host是所有目的IP的文件，一个IP一行 2、pssh 在远程机器上执行命令 pssh -h xxx.host python myPython.py //先把myPython.py上传到远 阅读全文

摘要：用Python打开指定目录下所有文件，统计文件里特定的字段信息。 这里是先进入2017-02-25到2017-03-03目录，然后进入特定IP段目录下，最后打开文件进行统计 其中用到了别人的库，用于判断IP是否属于国内IP python JDStatistic.py JDName 10.* 阅读全文

摘要：awk能够处理类似csv这种按行格式的数据，对每一行record按照-F指定的分隔符切割，然后处理。默认支持空格和\t分隔符 1、统计文件里某一列数据等于某个值的个数 2、拼接$1参数指定文件夹下的文件到一个大文件 3、awk打印行号和整行信息 4、awk匹配字符串 5、循环——对输出结果排序，中间 阅读全文

摘要：Java项目打包在CMD或者Linux下运行 1、在CMD下运行 在eclipse中将项目export成jar包，然后用压缩软件解压 解压后，在CMD中进入项目根目录下，运行程序： Oracle2Redis-jar>java -cp .\lib\*; oracle.xxx.xx.cn.ReadOra 阅读全文