摘要：
通常有这样备份的需求，将远程服务器的代码或者数据打包压缩然后下载到本地路径 实现方式 1. 需要对远程服务器实现无密码访问，通过配置公钥实现； 2. 使用ssh执行命令然后转向到本地的方法一步完成打包和下载，可参考如下的代码。 ` 其中exclude用于在打包过程中剔除日志文件 阅读全文
posted @ 2018-09-13 13:57
camash
阅读(2241)
评论(0)
推荐(0)
2018年9月13日
2018年9月3日
摘要：
前面一篇文章使用TeamViewer实现了内网的Linux登录，但是后面在配置账号的时候遇到了账号绑定的错误，错误信息如下： 遂考虑其它的实现方式，后面找到了 "ngrok" 功能类似于反向代理。 安装方式如下 下载软件 直接解压即可使用 在网站上使用邮箱注册账号，完成之后在https://dash 阅读全文
posted @ 2018-09-03 09:36
camash
阅读(2)
评论(0)
推荐(0)
2018年8月31日
摘要：
由于要通过要远程登录到内网的电脑（一台笔记本），用于在紧急情况下处理服务器故障。刚开始准备使用ssh端口转发，无奈vps转发速度太慢。 后面考虑使用TeamViewer远程控制Windows桌面，但是操作太过卡顿。 今天心血来潮，网上搜了一下Linux命令行下安装TeamViewer，没想到还真的有 阅读全文
posted @ 2018-08-31 22:17
camash
阅读(8009)
评论(0)
推荐(0)
2018年7月16日
摘要：
kettle在本地执行向远程hdfs执行转换时，会出现以下错误： ToHDFS.0 ERROR (version 7.1.0.0 12, build 1 from 2017 05 16 17.18.02 by buildguy) : Couldn't open file hdfs://hadoop: 阅读全文
posted @ 2018-07-16 13:52
camash
阅读(2052)
评论(0)
推荐(0)
2018年5月16日
摘要：
一道数据库面试题 课程表A : aid，表示每个课程的ID 学生表B : bid，表示每个学生的ID 教师表C : cid，表示每个教师的ID 课程 学生表D : aid, bid，表示某个学生选了某个课程 课程 教师表E : aid, cid，表示某个老师教了某个课程 二元组(x,y)，表示被x个 阅读全文
posted @ 2018-05-16 21:27
camash
阅读(182)
评论(0)
推荐(0)
2017年5月18日
摘要：
将C语言的下划线分割快速替换为Java的驼峰方式。 命令如下 "参考文档" 阅读全文
posted @ 2017-05-18 13:21
camash
阅读(1270)
评论(0)
推荐(0)
2017年4月20日
摘要：
在Windows上安装 从官方网站下载需要的二进制包 比如我下载的是flink-1.2.0-bin-hadoop2-scala_2.10.tgz，解压后进入bin目录 可以执行bat文件，也可以使用cygwin执行sh文件 然后可以在浏览器中输入http://localhost:8081打开管理页面 阅读全文
posted @ 2017-04-20 09:39
camash
阅读(17554)
评论(1)
推荐(1)
2017年3月27日
摘要：
书本第二章的一些知识点，在cloudera quickstart vm 5.8.0 0上进行操作。 配置文件 配置在/etc/hive/conf/hive site.xml文件里面，采用mysql作为metastore。"hive.metastore.warehouse.dir"这个属性没有在文件中 阅读全文
posted @ 2017-03-27 21:18
camash
阅读(242)
评论(0)
推荐(0)
2017年2月22日
摘要：
继上一篇 "文章" 介绍如何使用Pig处理HDFS上的数据，本文将介绍使用Apache Hive进行数据查询和处理。 Apache Hive简介 首先Hive是一款数据仓库软件 使用HiveQL来结构化和查询存放的数据 执行环境：MapReduce, Tez, Spark 数据存放：HDFS, HB 阅读全文
posted @ 2017-02-22 23:36
camash
阅读(1117)
评论(1)
推荐(0)
摘要：
Apache Pig是一个高级过程语言，可以调用MapReduce查询大规模的半结构化数据集。 样例执行的环境为cloudera的单节点虚拟机 读取结构数据中的指定列 在hdfs上放置一个文件 启动Apache Pig 使用Pig Latin进行数据提取 其中dump的作用是将内容转存到屏幕。 将结 阅读全文
posted @ 2017-02-22 14:11
camash
阅读(678)
评论(0)
推荐(0)
浙公网安备 33010602011771号