camash

文档公式编辑神器-Snip

摘要：最近在重新学习统计学的一些基础知识，整理笔记的时候需要输入一些数学公式。从学校毕业之后，就没有在文档中插入过公式了。按照以前的经验，我把输入公式的方式分成两类。所见即所得的方式，常见的就是微软word中的公式编辑器。所想即所得的方式，按照LaTeX语法描述公式，使用工具将语句解析公式。第一种方阅读全文

posted @ 2019-05-19 12:10 camash 阅读(1291) 评论(0) 推荐(1)

hive -e执行出现「cannot recognize input near '<EOF>' in select clause」问题

摘要：问题现象写了一个简单的shell脚本调用hive执行组装的sql，在执行时总是报错误，单独在hive提示符下却能正常执行。执行时打印的错误日志：解决方案修改为`hive e "${sql}"` 原因分析若没有使用双引号进行包括，则"hive e"会认为后面的sql内容解析为多个参数造阅读全文

posted @ 2019-04-24 11:58 camash 阅读(14701) 评论(0) 推荐(0)

hive从本地导入数据时出现「Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask」错误

摘要：现象通过load data local导入本地文件时报无法导入的错误相关操作第一次导入时时成功的，后来发现源文件行数有问题，重新复制了一个文本文件到本地导入目录，后续再导入时就出现了上述问题。解决办法查询hive日志获得更详细的信息，日志的常见位置为/tmp/${user}/hive.lo 阅读全文

posted @ 2019-02-19 11:02 camash 阅读(17193) 评论(0) 推荐(0)

K-Means算法的Python实现

摘要：算法简介 K Means是一种常用的聚类算法。聚类在机器学习分类中属于无监督学习，在数据集没有标注的情况下，便于对数据进行分群。而K Means中的K即指将数据集分成K个子集合。 K Means演示从以下的动画、视频和计算过程可以较为直观了解算法的计算过程。动画展示视频展示 "https:// 阅读全文

posted @ 2019-01-28 16:36 camash 阅读(31260) 评论(3) 推荐(4)

kettle并行运行时出现「Unknown error in KarafBlueprintWatcher」

摘要：背景：在使用kettle 6进行大量数据并行抽取时，偶尔会出现「Unknown error in KarafBlueprintWatcher」的错误，详细的报错信息可以查看下面的代码块。查看kettle版本处理方式： 1 修改karaf配置具体原因参考 "官方论坛文章" 另有 "链接" 说明这阅读全文

posted @ 2019-01-16 11:03 camash 阅读(4681) 评论(0) 推荐(0)

从hivesql结果中读取数值到shell变量的方法

摘要：为了检查hive表中的数据，并统计展现，需要将查出的结果传入到shell变量，然后统一输出到文本。最后使用了以下两个方法：方法一方法二目前，我们建议使用方法一的脚本，方法二脚本若不能保证查询结果为一行，则会产生报错。阅读全文

posted @ 2018-12-06 16:15 camash 阅读(1390) 评论(0) 推荐(0)

解决centos7上system tools - setting无法打开的问题

摘要：今天在centos7上安装中文输入法时，遇到system tools setting无法打开的问题。最后定位时libwbclient这个包无法查找到的原因。问题显示如下：可以使用以下方式安装或者重新安装这个包，然后就可以顺利打开setting窗口了。阅读全文

posted @ 2018-11-12 22:05 camash 阅读(2025) 评论(0) 推荐(1)

处理文件中的" M-BM- "特殊符号

摘要：有时为了方便，会在Excel中进行代码拼装，比如说是建表SQL语句，但是在复制的代码过程中可能会带入不可见字符，造成代码无法运行。本次代码中就需要了不可见的" M BM " 问题现象 hive 执行报错代码段单纯看无异样使用查看就发现问题所在了解决方案参考 "此文" 使用sed进行替阅读全文

posted @ 2018-10-23 20:58 camash 阅读(1480) 评论(1) 推荐(2)

sparksql错误报No such file or director

摘要：今天在非hadoop用户使用sparksql处理这个句型遇到以下的错误。修复方式：将操作系统上的/tmp/hadoop hadoop的可写权限赋给nonhadoop用户，安全的方法是将用户加到相应的组，测试环境可以直接使用权限配置。阅读全文

posted @ 2018-10-17 22:06 camash 阅读(922) 评论(0) 推荐(0)

使用sed在匹配行之后增加一行数据

摘要：需求：在原来大量的shell文件中，给出了错误信息打印，现在要求打印错误后直接退出脚本。使用sed实现。效果如下：阅读全文

posted @ 2018-10-16 12:28 camash 阅读(9254) 评论(2) 推荐(0)

公告

导航