摘要: linux awk命令详解(转) 原文链接 : http://blog.chinaunix.net/uid-23302288-id-3785105.html awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对 阅读全文
posted @ 2021-09-03 16:38 趴嘞怪 阅读(426) 评论(0) 推荐(0) 编辑
摘要: Linux date命令的用法(转) 1、命令:date 2、命令功能:date 可以用来显示或设定系统的日期与时间。 3、命令参数 -d<字符串>:显示字符串所指的日期与时间。字符串前后必须加上双引号; -s<字符串>:根据字符串来设置日期与时间。字符串前后必须加上双引号; -u:显示GMT; - 阅读全文
posted @ 2021-08-17 09:35 趴嘞怪 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 最近经常oracle数据库或mysql数据库的大量数据导入工作,所以利用python编写了简单小巧人一个快速导入的工具.话不多说直接上代码. 1、配置文件 ################生产配置################[sync] #original:1-ORACLE|2-MYSQL|3- 阅读全文
posted @ 2021-08-12 18:13 趴嘞怪 阅读(721) 评论(0) 推荐(0) 编辑
摘要: ``在Phoenix建立索引报如下错误 <p>Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to org.apache.hado 阅读全文
posted @ 2021-08-10 19:10 趴嘞怪 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 代码如下 #!/usr/bin/env python import sys sys.path.append('/home/spark/opt/hive-1.2.1/lib/py') from hive_service import ThriftHive from hive_service.ttype 阅读全文
posted @ 2021-07-23 17:39 趴嘞怪 阅读(303) 评论(1) 推荐(0) 编辑
摘要: 1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区的时间格式 阅读全文
posted @ 2021-07-09 13:55 趴嘞怪 阅读(6571) 评论(0) 推荐(0) 编辑
摘要: 脚本解释:一共需要传4个参数,oracle表用户、oracle表名、需要入库的文件、文件分割符 注意:需要在脚本所在路径下创建5个文件夹,scrip、bad、ctl、log、temp #!/bin/sh#AUTHOR:趴嘞怪#CREATEDATE:2020/08/21#illustration:直接 阅读全文
posted @ 2021-07-06 19:06 趴嘞怪 阅读(1050) 评论(0) 推荐(0) 编辑
摘要: 类 型 命令 作用 标准输出重定向 命令 > 文件 以覆盖的方式, 把命令的正确输出输出到指定的文件或设备当中。 标准输出重定向 命令 >> 文件 以追加的方式, 把命令的正确输出输出到指定的文件或设备当中。标准错误输出重定向 标准错误输出重定向 错误命令 2>文件 以覆盖的方式, 把命令的错误输出 阅读全文
posted @ 2021-07-05 11:07 趴嘞怪 阅读(201) 评论(0) 推荐(0) 编辑
摘要: import pymysql #导入 pymysql #打开数据库连接 db= pymysql.connect(host="localhost",user="root", password="123456",db="test",port=3307) # 使用cursor()方法获取操作游标 cur 阅读全文
posted @ 2021-07-02 14:49 趴嘞怪 阅读(39) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bashsource /etc/profilesource ~/.bash_profile set -o nounsetset -o errexit #Author: gupx#Time: 2021-07-02 13:00:00#Name: test.sh#Description: s 阅读全文
posted @ 2021-07-02 14:37 趴嘞怪 阅读(858) 评论(0) 推荐(0) 编辑