11 2018 档案

Go语言学习 总结一
摘要：1，定义main， package main 一个可独立执行的程序，（类似main方法） 2，import “fmt” fmt 实现格式化IO(输入/输出) （类似system.out.print() ） 3, func main(){} 启动程序要执行的main函数，（如果有init（）函数则会限制性该函数） 注意 { 不能单独一行 4，/**/注释 fmt.Println("... 阅读全文
posted @ 2018-11-29 16:29 Bread_Wang 阅读(203) 评论(0) 推荐(0)
SQL用法总全
摘要：https://www.yiibai.com/sql 比较全面 事务就是对数据库执行的工作单元。事务是完成逻辑顺序的工作，无论是在手动方式由用户或者自动地通过某种数据库程序的序列的单元。 事务是一个或多个数据库更改传输。例如，如果创建一个记录或更新记录或删除记录在表上，那么在这个表上可进行事务。重要 阅读全文
posted @ 2018-11-27 16:36 Bread_Wang 阅读(258) 评论(0) 推荐(0)
总结sql用法及基础语法 第一章 三范式
摘要：第一范式(1NF)设置了一个有组织的数据库非常基本的规则： 定义所需要的数据项，因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有重复的组。 确保有一个主键。 PRIMARY KEY (ID) 定义所需要的数据项，因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有 阅读全文
posted @ 2018-11-27 15:56 Bread_Wang 阅读(297) 评论(0) 推荐(0)
Flume定时启动任务 防止挂掉
摘要：一，查看Flume条数：ps -ef|grep java|grep flume|wc -l ==》15 检查进程：给sh脚本添加权限，chmod 777 xx.sh 阅读全文
posted @ 2018-11-15 15:31 Bread_Wang 阅读(1447) 评论(0) 推荐(0)
Linux 定时清除日志 Log
摘要：一、原因 写这篇的原因是项目中log没有定时清除，服务器上项目是用脚本启动，log文件只会在启动时生成一次，这时，由于项目在不断运行中，导致log越来越大。如果删除log文件，还得把项目停掉在启动，这样显然是不行的，而如果直接删掉log文件的话，后续的操作不会输出，也没有日志文件生成，这时就只能通过 阅读全文
posted @ 2018-11-15 15:27 Bread_Wang 阅读(2673) 评论(0) 推荐(1)
SparkStreaming任务保持运行，定时任务监控进程，保证不挂掉
摘要：cron任务：每隔1分钟启动脚本，检查进程是否运行。crontab -e 检查进程，如果进程挂掉，重新启动Spark任务：给sh脚本添加权限，chmod 777 xx.sh 阅读全文
posted @ 2018-11-14 12:13 Bread_Wang 阅读(2337) 评论(0) 推荐(0)
nohup和&后台运行，进程查看及终止 详解
摘要：nohup 和重定向 功能一样，可用于定时启动 1.nohup 用途：不挂断地运行命令。 语法：nohup Command [ Arg … ] [　& ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件 阅读全文
posted @ 2018-11-14 12:02 Bread_Wang 阅读(363) 评论(0) 推荐(0)
Linux 定时任务
摘要：https://www.cnblogs.com/mingforyou/p/3930636.html 阅读全文
posted @ 2018-11-13 15:37 Bread_Wang 阅读(137) 评论(0) 推荐(0)
技巧
摘要：1,ArryBuffer生成表sql 2,执行sh脚本 后台运行 sh t.sh & 3，定时任务： 1，本方法，在脚本tt.sh中while死循环 执行 2，crontab -e 阅读全文
posted @ 2018-11-13 15:22 Bread_Wang 阅读(281) 评论(0) 推荐(0)
后台运行spark-submit命令的方法
摘要：nohip spark-submit testSpark.jar > ~/testLog.out & 2，第二种方法 ，linux 重定向 1>&2 2>&1 （可用于多方面） 重定向输出2，重定向输出1 （推荐） 1 2 spark-submit testSpark.jar >> testLog. 阅读全文
posted @ 2018-11-13 14:13 Bread_Wang 阅读(4888) 评论(0) 推荐(0)
监控文件生成数据存入数据库
摘要：操作一份实时监控文件流程，用到多个组件，缺点，如果当掉，监控的文件夹下进来文件，再启动不能执行，优化：可再写个脚本来把监控的文件夹下的文件移出，再放入， 代码开始： import java.io.File import cold_test.monitorutil.FileListener import cold_test.tools.NowDate import org.apache.co... 阅读全文
posted @ 2018-11-13 13:42 Bread_Wang 阅读(576) 评论(0) 推荐(0)
GC错误
摘要：如果出现GC错误，可设置客户端 set mapreduce.map.java.opts 设置一下 R的GC错误，在顶端设置这个参数 options(java.parameters = "-Xmx1024m") 阅读全文
posted @ 2018-11-08 14:55 Bread_Wang 阅读(265) 评论(0) 推荐(0)
自定义udf添加一列
摘要：//创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() for (i { val winno:Int = dict(ss11) winno }) map (k -> v) map类型传进来一个k,获取v 如果这个k本身的值，与一个表中的值相等，就可以获得这个map的v ... 阅读全文
posted @ 2018-11-08 14:52 Bread_Wang 阅读(206) 评论(0) 推荐(0)
spark执行命令 监控执行命令
摘要：#!/bin/bash #/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console 2>&1 & #sleep 1 #/usr... 阅读全文
posted @ 2018-11-08 14:48 Bread_Wang 阅读(696) 评论(0) 推荐(0)
R链接hive/oracle/mysql
摘要：Linux：R连接hive用的Rhive 1，重要 1，sudo R CMD javareconf 2，sudo R 3, 1+1 是否为2 3.1，>install.packages("rJava") >install.packages("Rserve") >install.packages("RUnit") 4，sudo R CM... 阅读全文
posted @ 2018-11-08 14:37 Bread_Wang 阅读(465) 评论(0) 推荐(0)
docker 操作命令
摘要：sudo docker images 查看所有原有docker sudo docker ps 查看已启动的docker sudo docker start 3003 （stop , docker ps - a (all)） sudo docker run -it -d --name 3003 tom 阅读全文
posted @ 2018-11-08 14:33 Bread_Wang 阅读(134) 评论(0) 推荐(0)