随笔分类 - Hadoop
摘要：在做shell批处理程序时候，经常会涉及到字符串相关操作。有很多命令语句，如：awk,sed都可以做字符串各种操作。其实shell内置一系列操作符号，可以达到类似效果，大家知道，使用内部操作符会省略启动外部程序等时间，因此速度会非常的快 工作中字符串操作举例 filename='/home/admi
阅读全文
摘要：使用function 来获取 #!/bin/bash function read_dir(){ today=`date +%Y-%m-%d` for file in `ls $1` do if [ -d $1"/"$file ] ;then read_dir $1"/"$file elif [ -f
阅读全文
摘要：导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 一、RDBMS到HDFS 1) 确定Mysql服务开启正常2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot
阅读全文
摘要：常用命令列举 这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。 命令&参数详解 首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。 导入>import 命令&参数：import 将关系型数据库中的数据导入到HDFS（包括Hi
阅读全文
摘要：Sqoop简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以
阅读全文
摘要：1 #!bin/bash 2 3 kettleConfigHome=/home/vmuser/linbo/kettleDemo/job/config 4 apiInfos=/home/vmuser/linbo/kettleDemo/job/data/apiInfo 5 pfile=/home/vmu
阅读全文
摘要：作业（Job）由一个个步骤组成，转换只是作业的其中一个步骤。 Kettle的控件分为2种：作业（Job）和转换（Transform）。 对于作业和转换，重点记住以下3点： 作业是步骤流，转换是数据流。这是作业和转换最大的区别; 作业的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才会执行；而转换
阅读全文
摘要：先说问题 ： 使用date_parse('2020-11-30 18:00:34','%Y-%m-%d %H:%i:%s') 将字符串‘2020-11-30 18:00:34’ 转为 timestamp类型后进行比较 结果返回false ； 话不多说直接上图： 结果： 解决方法：
阅读全文
摘要：https://prestodb.io/docs/current/functions/datetime.html
阅读全文
摘要：http://hbase.apache.org/book.html#hbase.shell.noninteractive http://abloz.com/hbase/book.html#scripting
阅读全文
摘要：Apache Hadoop Project Dist POM > Apache Hadoop 3.2.1 > HDFS Users Guide : https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUs
阅读全文
摘要：https://wiki.pentaho.com/display/EAI/Spoon+User+Guide
阅读全文
摘要：Sqoop User Guide (v1.4.5) http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html
阅读全文
摘要：presto 官方文档 ：https://prestodb.io/docs/current/ 8. Functions and Operators 8.1. Logical Operators 8.2. Comparison Functions and Operators 8.3. Conditio
阅读全文
摘要：时代背景： 随着互联网技术的高速发展，企业对计算机系统的计算、存储能力要求越来越高，最简单的证明就是出现了一些诸如：高并发，海量存储这样的词汇。在这样的背景下，单纯依靠少量高性能主机来完成计算任务已经不能满足企业的需求，企业的IT架构逐步从集中式向分布式过渡，所谓的分布式是指：把一个计算任务分解成若
阅读全文
摘要：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF Type Conversion Functions The following type conversion functions are supported in
阅读全文
摘要：Directory Overview Keywords, Non-reserved Keywords and Reserved Keywords Create/Drop/Alter/Use Database Create/Drop/Truncate Table Alter Table/Partiti
阅读全文
摘要：hive>hive -help hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S] -i 从文件初始化HQL -e 从命令行执行指定的HQL -f 执行HQL脚本 -v 输出执行的HQL语句到控制
阅读全文
摘要：本文转自：https://blog.csdn.net/column/details/14334.html 前言 Hadoop是什么？ 用百科上的话说：“Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速
阅读全文
浙公网安备 33010602011771号