架构艺术 - 博客园

2020年9月22日

摘要：一． bash [ ] 单双括号基本要素： [ ] 两个符号左右都要有空格分隔内部操作符与操作变量之间要空格：如 [ “a” = “b” ] 字符串比较中，> < 需要写成\> \< 进行转义 [ ] 中字符串或者${}变量尽量使用"" 双引号扩住，避免值未定义引用而出错的好办法 [ ] 中可以使阅读全文

posted @ 2020-09-22 15:33 架构艺术阅读(1739) 评论(0) 推荐(0)

Linux中rz和sz命令用法详解

摘要： rz，sz是Linux/Unix同Windows进行ZModem文件传输的命令行工具。优点就是不用再开一个sftp工具登录上去上传下载文件。sz：将选定的文件发送（send）到本地机器rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到Linux服务器安装命令： yum install l 阅读全文

posted @ 2020-09-22 15:16 架构艺术阅读(508) 评论(0) 推荐(0)

vim 去掉自动注释和自动回车

摘要：开启了自动注释和自动缩进对粘帖代码不方便关闭自动注释:set fo-=r 关闭自动缩进（这个对C/C++代码好像无效）:set noautoindent关闭C语言缩进 :set nocindent 再 Shift + Insert 恢复 :set fo=r :set autoindent:set 阅读全文

posted @ 2020-09-22 15:09 架构艺术阅读(381) 评论(0) 推荐(0)

ping判断局域网ip使用情况

摘要： ping命令，判断局域网ip使用情况 for ((i=1; i<=254; i++)); do ping -q -n -c 10 -W 1 -i 0.5 -w 1 10.202.180.$i | grep -n1 -v '100\% packet loss';done 阅读全文

posted @ 2020-09-22 15:07 架构艺术阅读(282) 评论(0) 推荐(0)

shell判断有效日期

摘要： shell判断有效日期 #!/bin/bash TODAY="20180106" DIR_TARGET="/home/appdeploy/tianjin/test/sigma" function valid_date { tt=`date -d "$1"` return $? } cd $DIR_T 阅读全文

posted @ 2020-09-22 15:05 架构艺术阅读(460) 评论(0) 推荐(0)

2020年9月14日

Sqoop一些常用命令及参数

摘要： Sqoop一些常用命令及参数 5.1、常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。序号命令类说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 cod 阅读全文

posted @ 2020-09-14 15:36 架构艺术阅读(2617) 评论(0) 推荐(0)

Sqoop案例-脚本打包

摘要：脚本打包使用opt格式的文件打包sqoop命令，然后执行 1) 创建一个.opt文件 $ mkdir opt $ touch opt/job_HDFS2RDBMS.opt 2) 编写sqoop脚本 $ vi opt/job_HDFS2RDBMS.opt export --connect jdbc: 阅读全文

posted @ 2020-09-14 15:34 架构艺术阅读(196) 评论(0) 推荐(0)

Sqoop案例-导出：HIVE/HDFS到RDBMS

摘要： HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 阅读全文

posted @ 2020-09-14 15:33 架构艺术阅读(179) 评论(0) 推荐(0)

Sqoop案例-导入：RDBMS到Hive

摘要： $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 1 \ --hive-impo 阅读全文

posted @ 2020-09-14 15:29 架构艺术阅读(142) 评论(0) 推荐(0)

Sqoop案例-导入：RDBMS到HDFS

摘要： Sqoop的简单使用案例 4.1.1、RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql> create database company; mysql> create table comp 阅读全文

posted @ 2020-09-14 15:27 架构艺术阅读(207) 评论(0) 推荐(0)