博客园 - Bread_Wang
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=49946
2019-03-26T10:30:03Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
feed.cnblogs.com
https://www.cnblogs.com/Bread-Wang/p/10602141.html
oracle安装心得 - Bread_Wang
1,windows安装oracle,不用安装客户端,直接安装P/LSQL就可以, 2,两台电脑之间连 1,ping IP 2, 监听程序开启 3,sqlplus /nolog conn sys as sysdba startup (这一步一定要成功) 4,解析不出12541.。。 一定是环境变量错了
2019-03-26T10:30:00Z
2019-03-26T10:30:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】1,windows安装oracle,不用安装客户端,直接安装P/LSQL就可以, 2,两台电脑之间连 1,ping IP 2, 监听程序开启 3,sqlplus /nolog conn sys as sysdba startup (这一步一定要成功) 4,解析不出12541.。。 一定是环境变量错了 <a href="https://www.cnblogs.com/Bread-Wang/p/10602141.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10179076.html
python 集合总结 - Bread_Wang
集合无序不重复
2018-12-26T06:45:00Z
2018-12-26T06:45:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】集合无序不重复 <a href="https://www.cnblogs.com/Bread-Wang/p/10179076.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10150188.html
scala 读取文件加下的指定文件 - Bread_Wang
1,获取指定类型文件 2,创建文件 指定文件夹,获取文件夹下的类型文件,再导入数据
2018-12-20T08:31:00Z
2018-12-20T08:31:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】1,获取指定类型文件 2,创建文件 指定文件夹,获取文件夹下的类型文件,再导入数据 <a href="https://www.cnblogs.com/Bread-Wang/p/10150188.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10078254.html
将CSV文件导入到hive数据库 - Bread_Wang
将csv文件导入hive后出现了所有的字段只显示在新建的表的第一个字段中,后面的字段全是null. 出现这种的原因是hive以行分隔数据,需要修改为按逗号' , ‘ 进行分隔读取, 具体操作如下, 首先在hive中创建自己的table, 并且设置以逗号分隔。 create table IP(ip v
2018-12-06T10:00:00Z
2018-12-06T10:00:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】将csv文件导入hive后出现了所有的字段只显示在新建的表的第一个字段中,后面的字段全是null. 出现这种的原因是hive以行分隔数据,需要修改为按逗号' , ‘ 进行分隔读取, 具体操作如下, 首先在hive中创建自己的table, 并且设置以逗号分隔。 create table IP(ip v <a href="https://www.cnblogs.com/Bread-Wang/p/10078254.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10078209.html
链接SQLServer数据库 导出csv文件 - Bread_Wang
依赖::::<dependency> <groupId>com.microsoft.sqlserver</groupId> <artifactId>mssql-jdbc</artifactId> <version>6.4.0.jre8</version> </dependency> <depende
2018-12-06T09:55:00Z
2018-12-06T09:55:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】依赖::::<dependency> <groupId>com.microsoft.sqlserver</groupId> <artifactId>mssql-jdbc</artifactId> <version>6.4.0.jre8</version> </dependency> <depende <a href="https://www.cnblogs.com/Bread-Wang/p/10078209.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10039213.html
Go语言学习 总结一 - Bread_Wang
1,定义main, package main 一个可独立执行的程序,(类似main方法) 2,import “fmt” fmt 实现格式化IO(输入/输出) (类似system.out.print() ) 3, func main(){} 启动程序要执行的main函数,(如果有init()函数则会限制性该函数) 注意 { 不能单独一行 4,/**/注释 fmt.Println("...
2018-11-29T08:29:00Z
2018-11-29T08:29:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】1,定义main, package main 一个可独立执行的程序,(类似main方法) 2,import “fmt” fmt 实现格式化IO(输入/输出) (类似system.out.print() ) 3, func main(){} 启动程序要执行的main函数,(如果有init()函数则会限制性该函数) 注意 { 不能单独一行 4,/**/注释 fmt.Println("... <a href="https://www.cnblogs.com/Bread-Wang/p/10039213.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10027216.html
SQL用法总全 - Bread_Wang
https://www.yiibai.com/sql 比较全面 事务就是对数据库执行的工作单元。事务是完成逻辑顺序的工作,无论是在手动方式由用户或者自动地通过某种数据库程序的序列的单元。 事务是一个或多个数据库更改传输。例如,如果创建一个记录或更新记录或删除记录在表上,那么在这个表上可进行事务。重要
2018-11-27T08:36:00Z
2018-11-27T08:36:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】https://www.yiibai.com/sql 比较全面 事务就是对数据库执行的工作单元。事务是完成逻辑顺序的工作,无论是在手动方式由用户或者自动地通过某种数据库程序的序列的单元。 事务是一个或多个数据库更改传输。例如,如果创建一个记录或更新记录或删除记录在表上,那么在这个表上可进行事务。重要 <a href="https://www.cnblogs.com/Bread-Wang/p/10027216.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/10026860.html
总结sql用法及基础语法 第一章 三范式 - Bread_Wang
第一范式(1NF)设置了一个有组织的数据库非常基本的规则: 定义所需要的数据项,因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有重复的组。 确保有一个主键。 PRIMARY KEY (ID) 定义所需要的数据项,因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有
2018-11-27T07:56:00Z
2018-11-27T07:56:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】第一范式(1NF)设置了一个有组织的数据库非常基本的规则: 定义所需要的数据项,因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有重复的组。 确保有一个主键。 PRIMARY KEY (ID) 定义所需要的数据项,因为它们成为在表中的列。放在一个表中的相关的数据项。 确保有数据没有 <a href="https://www.cnblogs.com/Bread-Wang/p/10026860.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9963828.html
Flume定时启动任务 防止挂掉 - Bread_Wang
一,查看Flume条数:ps -ef|grep java|grep flume|wc -l ==》15 检查进程:给sh脚本添加权限,chmod 777 xx.sh
2018-11-15T07:31:00Z
2018-11-15T07:31:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】一,查看Flume条数:ps -ef|grep java|grep flume|wc -l ==》15 检查进程:给sh脚本添加权限,chmod 777 xx.sh <a href="https://www.cnblogs.com/Bread-Wang/p/9963828.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9963780.html
Linux 定时清除日志 Log - Bread_Wang
一、原因 写这篇的原因是项目中log没有定时清除,服务器上项目是用脚本启动,log文件只会在启动时生成一次,这时,由于项目在不断运行中,导致log越来越大。如果删除log文件,还得把项目停掉在启动,这样显然是不行的,而如果直接删掉log文件的话,后续的操作不会输出,也没有日志文件生成,这时就只能通过
2018-11-15T07:27:00Z
2018-11-15T07:27:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】一、原因 写这篇的原因是项目中log没有定时清除,服务器上项目是用脚本启动,log文件只会在启动时生成一次,这时,由于项目在不断运行中,导致log越来越大。如果删除log文件,还得把项目停掉在启动,这样显然是不行的,而如果直接删掉log文件的话,后续的操作不会输出,也没有日志文件生成,这时就只能通过 <a href="https://www.cnblogs.com/Bread-Wang/p/9963780.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9957294.html
SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉 - Bread_Wang
cron任务:每隔1分钟启动脚本,检查进程是否运行。crontab -e 检查进程,如果进程挂掉,重新启动Spark任务:给sh脚本添加权限,chmod 777 xx.sh
2018-11-14T04:13:00Z
2018-11-14T04:13:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】cron任务:每隔1分钟启动脚本,检查进程是否运行。crontab -e 检查进程,如果进程挂掉,重新启动Spark任务:给sh脚本添加权限,chmod 777 xx.sh <a href="https://www.cnblogs.com/Bread-Wang/p/9957294.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9957263.html
nohup和&后台运行,进程查看及终止 详解 - Bread_Wang
nohup 和重定向 功能一样,可用于定时启动 1.nohup 用途:不挂断地运行命令。 语法:nohup Command [ Arg … ] [ & ] 无论是否将 nohup 命令的输出重定向到终端,输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件
2018-11-14T04:02:00Z
2018-11-14T04:02:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】nohup 和重定向 功能一样,可用于定时启动 1.nohup 用途:不挂断地运行命令。 语法:nohup Command [ Arg … ] [ & ] 无论是否将 nohup 命令的输出重定向到终端,输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件 <a href="https://www.cnblogs.com/Bread-Wang/p/9957263.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9952512.html
Linux 定时任务 - Bread_Wang
https://www.cnblogs.com/mingforyou/p/3930636.html
2018-11-13T07:37:00Z
2018-11-13T07:37:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】https://www.cnblogs.com/mingforyou/p/3930636.html <a href="https://www.cnblogs.com/Bread-Wang/p/9952512.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9952409.html
技巧 - Bread_Wang
1,ArryBuffer生成表sql 2,执行sh脚本 后台运行 sh t.sh & 3,定时任务: 1,本方法,在脚本tt.sh中while死循环 执行 2,crontab -e
2018-11-13T07:22:00Z
2018-11-13T07:22:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】1,ArryBuffer生成表sql 2,执行sh脚本 后台运行 sh t.sh & 3,定时任务: 1,本方法,在脚本tt.sh中while死循环 执行 2,crontab -e <a href="https://www.cnblogs.com/Bread-Wang/p/9952409.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9951903.html
后台运行spark-submit命令的方法 - Bread_Wang
nohip spark-submit testSpark.jar > ~/testLog.out & 2,第二种方法 ,linux 重定向 1>&2 2>&1 (可用于多方面) 重定向输出2,重定向输出1 (推荐) 1 2 spark-submit testSpark.jar >> testLog.
2018-11-13T06:13:00Z
2018-11-13T06:13:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】nohip spark-submit testSpark.jar > ~/testLog.out & 2,第二种方法 ,linux 重定向 1>&2 2>&1 (可用于多方面) 重定向输出2,重定向输出1 (推荐) 1 2 spark-submit testSpark.jar >> testLog. <a href="https://www.cnblogs.com/Bread-Wang/p/9951903.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9951745.html
监控文件生成数据存入数据库 - Bread_Wang
操作一份实时监控文件流程,用到多个组件,缺点,如果当掉,监控的文件夹下进来文件,再启动不能执行,优化:可再写个脚本来把监控的文件夹下的文件移出,再放入, 代码开始: import java.io.File import cold_test.monitorutil.FileListener import cold_test.tools.NowDate import org.apache.co...
2018-11-13T05:42:00Z
2018-11-13T05:42:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】操作一份实时监控文件流程,用到多个组件,缺点,如果当掉,监控的文件夹下进来文件,再启动不能执行,优化:可再写个脚本来把监控的文件夹下的文件移出,再放入, 代码开始: import java.io.File import cold_test.monitorutil.FileListener import cold_test.tools.NowDate import org.apache.co... <a href="https://www.cnblogs.com/Bread-Wang/p/9951745.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9929080.html
GC错误 - Bread_Wang
如果出现GC错误,可设置客户端 set mapreduce.map.java.opts 设置一下 R的GC错误,在顶端设置这个参数 options(java.parameters = "-Xmx1024m")
2018-11-08T06:55:00Z
2018-11-08T06:55:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】如果出现GC错误,可设置客户端 set mapreduce.map.java.opts 设置一下 R的GC错误,在顶端设置这个参数 options(java.parameters = "-Xmx1024m") <a href="https://www.cnblogs.com/Bread-Wang/p/9929080.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9929065.html
自定义udf添加一列 - Bread_Wang
//创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() for (i { val winno:Int = dict(ss11) winno }) map (k -> v) map类型传进来一个k,获取v 如果这个k本身的值,与一个表中的值相等,就可以获得这个map的v ...
2018-11-08T06:52:00Z
2018-11-08T06:52:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】//创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() for (i { val winno:Int = dict(ss11) winno }) map (k -> v) map类型传进来一个k,获取v 如果这个k本身的值,与一个表中的值相等,就可以获得这个map的v ... <a href="https://www.cnblogs.com/Bread-Wang/p/9929065.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9929034.html
spark执行命令 监控执行命令 - Bread_Wang
#!/bin/bash #/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console 2>&1 & #sleep 1 #/usr...
2018-11-08T06:48:00Z
2018-11-08T06:48:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】#!/bin/bash #/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console 2>&1 & #sleep 1 #/usr... <a href="https://www.cnblogs.com/Bread-Wang/p/9929034.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/Bread-Wang/p/9928937.html
R链接hive/oracle/mysql - Bread_Wang
Linux:R连接hive用的Rhive 1,重要 1,sudo R CMD javareconf 2,sudo R 3, 1+1 是否为2 3.1,>install.packages("rJava") >install.packages("Rserve") >install.packages("RUnit") 4,sudo R CM...
2018-11-08T06:37:00Z
2018-11-08T06:37:00Z
Bread_Wang
https://www.cnblogs.com/Bread-Wang/
【摘要】Linux:R连接hive用的Rhive 1,重要 1,sudo R CMD javareconf 2,sudo R 3, 1+1 是否为2 3.1,>install.packages("rJava") >install.packages("Rserve") >install.packages("RUnit") 4,sudo R CM... <a href="https://www.cnblogs.com/Bread-Wang/p/9928937.html" target="_blank">阅读全文</a>