博客园 - hongma
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=92840
2018-12-10T03:02:57Z
hongma
https://www.cnblogs.com/qiuhong10/
feed.cnblogs.com
https://www.cnblogs.com/qiuhong10/p/9590826.html
kafka安装 - hongma
tar -zxvf /root/soft/kafka_2.11-1.1.1.tgz -C /app/ #broker.id=0 每台服务器的broker.id都不能相同 #hostnamehost.name=1.2.3.251 #在log.retention.hours=168 下面新增下面三项me
2018-09-05T02:54:00Z
2018-09-05T02:54:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】tar -zxvf /root/soft/kafka_2.11-1.1.1.tgz -C /app/ #broker.id=0 每台服务器的broker.id都不能相同 #hostnamehost.name=1.2.3.251 #在log.retention.hours=168 下面新增下面三项me <a href="https://www.cnblogs.com/qiuhong10/p/9590826.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/9558351.html
zookeeper 安装 - hongma
tar -zxvf /root/soft/zookeeper-3.4.13.tar.gz -C /app/ vim /etc/profile# zookeeperexport ZK_HOME=/app/zookeeper-3.4.13export PATH=$ZK_HOME/bin:$PATH cd
2018-08-30T01:54:00Z
2018-08-30T01:54:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】tar -zxvf /root/soft/zookeeper-3.4.13.tar.gz -C /app/ vim /etc/profile# zookeeperexport ZK_HOME=/app/zookeeper-3.4.13export PATH=$ZK_HOME/bin:$PATH cd <a href="https://www.cnblogs.com/qiuhong10/p/9558351.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/9299144.html
oracle 导入导出 - hongma
sqlloader: conn naaa/ps1234@connstrset echo onset term offset line 1000 pages 0set feedback offset heading offset trimspool on spool D:\Azhuqiuhong\ex
2018-07-12T05:59:00Z
2018-07-12T05:59:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】sqlloader: conn naaa/ps1234@connstrset echo onset term offset line 1000 pages 0set feedback offset heading offset trimspool on spool D:\Azhuqiuhong\ex <a href="https://www.cnblogs.com/qiuhong10/p/9299144.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/9179287.html
机器学习总结 - hongma
2018-06-13T10:39:00Z
2018-06-13T10:39:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】 <a href="https://www.cnblogs.com/qiuhong10/p/9179287.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8805375.html
restful - hongma
http://www.ruanyifeng.com/blog/2011/09/restful.html?bsh_bid=1717507328 我们总结一下什么是RESTful架构: (1)每一个URI代表一种资源; (2)客户端和服务器之间,传递这种资源的某种表现层; (3)客户端通过四个HTTP动
2018-04-12T01:52:00Z
2018-04-12T01:52:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】http://www.ruanyifeng.com/blog/2011/09/restful.html?bsh_bid=1717507328 我们总结一下什么是RESTful架构: (1)每一个URI代表一种资源; (2)客户端和服务器之间,传递这种资源的某种表现层; (3)客户端通过四个HTTP动 <a href="https://www.cnblogs.com/qiuhong10/p/8805375.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8479094.html
spark深入:配置文件与日志 - hongma
一、第一部分 1、spark2.1与hadoop2.7.3集成,spark on yarn模式下,需要对hadoop的配置文件yarn-site.xml增加内容,如下: 2、spark的conf/spark-defaults.conf配置 如果你是运行在yarn之上的话,就要告诉yarn,你spar
2018-02-27T07:24:00Z
2018-02-27T07:24:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】一、第一部分 1、spark2.1与hadoop2.7.3集成,spark on yarn模式下,需要对hadoop的配置文件yarn-site.xml增加内容,如下: 2、spark的conf/spark-defaults.conf配置 如果你是运行在yarn之上的话,就要告诉yarn,你spar <a href="https://www.cnblogs.com/qiuhong10/p/8479094.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8476635.html
Spark多种运行模式 - hongma
1,测试或实验性质的本地运行模式 (单机) 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。 如果是loca
2018-02-26T15:13:00Z
2018-02-26T15:13:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】1,测试或实验性质的本地运行模式 (单机) 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。 如果是loca <a href="https://www.cnblogs.com/qiuhong10/p/8476635.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8468970.html
Spark 序列化问题 - hongma
在Spark应用开发中,很容易出现如下报错: 该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 1、Java序列化含义? 2、Spark代码为什么需要序列化? 3、如何解决Spark序列化问题? 1、Jav
2018-02-25T03:42:00Z
2018-02-25T03:42:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】在Spark应用开发中,很容易出现如下报错: 该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 1、Java序列化含义? 2、Spark代码为什么需要序列化? 3、如何解决Spark序列化问题? 1、Jav <a href="https://www.cnblogs.com/qiuhong10/p/8468970.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8417848.html
[转]关于PreparedStatement.addBatch()方法 - hongma
Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用. 1.建立链接,(打电话拨号 ) Connection connection =getConnection(); 2.不自动 Commit (瓜子
2018-02-05T07:36:00Z
2018-02-05T07:36:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用. 1.建立链接,(打电话拨号 ) Connection connection =getConnection(); 2.不自动 Commit (瓜子 <a href="https://www.cnblogs.com/qiuhong10/p/8417848.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8399187.html
scala helloworld - hongma
在这里对Scala实现与Java实现的几个不同之处做个介绍。 第一是Scala对HelloWorld的修饰符使用的是object。其实Scala中也有class关键字,那么object关键字和class关键字有什么区别那?简单来说object关键字定义了一个匿名类,并且创建了该匿名类的单个实例(采用
2018-02-01T07:19:00Z
2018-02-01T07:19:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】在这里对Scala实现与Java实现的几个不同之处做个介绍。 第一是Scala对HelloWorld的修饰符使用的是object。其实Scala中也有class关键字,那么object关键字和class关键字有什么区别那?简单来说object关键字定义了一个匿名类,并且创建了该匿名类的单个实例(采用 <a href="https://www.cnblogs.com/qiuhong10/p/8399187.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8322190.html
java IO操作:FileInputStream,FileOutputStream,FileReader,FileWriter实例 - hongma
FileInputStream <span style="font-family:Verdana;">import java.io.File; import java.io.FileInputStream; import java.io.InputStream; public class TestF
2018-01-20T14:26:00Z
2018-01-20T14:26:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】FileInputStream <span style="font-family:Verdana;">import java.io.File; import java.io.FileInputStream; import java.io.InputStream; public class TestF <a href="https://www.cnblogs.com/qiuhong10/p/8322190.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8322158.html
replace与replaceAll的区别 - hongma
这两者有些人很容易搞混,因此我在这里详细讲述下。 replace的参数是char和CharSequence,即可以支持字符的替换,也支持字符串的替换(CharSequence即字符串序列的意思,说白了也就是字符串); replaceAll的参数是regex,即基于规则表达式的替换,比如:可以通过re
2018-01-20T14:11:00Z
2018-01-20T14:11:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】这两者有些人很容易搞混,因此我在这里详细讲述下。 replace的参数是char和CharSequence,即可以支持字符的替换,也支持字符串的替换(CharSequence即字符串序列的意思,说白了也就是字符串); replaceAll的参数是regex,即基于规则表达式的替换,比如:可以通过re <a href="https://www.cnblogs.com/qiuhong10/p/8322158.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8322156.html
String,StringBuffer与StringBuilder - hongma
String 字符串常量StringBuffer 字符串变量(线程安全)StringBuilder 字符串变量(非线程安全) 简要的说, String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等
2018-01-20T14:10:00Z
2018-01-20T14:10:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】String 字符串常量StringBuffer 字符串变量(线程安全)StringBuilder 字符串变量(非线程安全) 简要的说, String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等 <a href="https://www.cnblogs.com/qiuhong10/p/8322156.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8119546.html
hive 空值、NULL判断 - hongma
hive中空值判断基本分两种 (1)NULL 与 \N hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如: 1.设置 alter ta
2017-12-26T10:55:00Z
2017-12-26T10:55:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】hive中空值判断基本分两种 (1)NULL 与 \N hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如: 1.设置 alter ta <a href="https://www.cnblogs.com/qiuhong10/p/8119546.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8100475.html
Intellij IDEA 2017 通过scala工程运行wordcount - hongma
首先是安装scala插件,可以通过idea内置的自动安装方式进行,也可以手动下载可用的插件包之后再通过idea导入。 scala插件安装完成之后,新建scala项目,右侧使用默认的sbt 点击Next,到这一步就开始踩坑了,scala的可选版本比较多,从2.12到2.10都有,我的环境下用wordc
2017-12-24T17:41:00Z
2017-12-24T17:41:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】首先是安装scala插件,可以通过idea内置的自动安装方式进行,也可以手动下载可用的插件包之后再通过idea导入。 scala插件安装完成之后,新建scala项目,右侧使用默认的sbt 点击Next,到这一步就开始踩坑了,scala的可选版本比较多,从2.12到2.10都有,我的环境下用wordc <a href="https://www.cnblogs.com/qiuhong10/p/8100475.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8065118.html
scala : 类型与类 - hongma
scala类型系统:1) 类型与类 在Java里,一直到jdk1.5之前,我们说一个对象的类型(type),都与它的class是一一映射的,通过获取它们的class对象,比如 String.class, int.class, obj.getClass() 等,就可以判断它们的类型(type)是不是一
2017-12-19T05:44:00Z
2017-12-19T05:44:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】scala类型系统:1) 类型与类 在Java里,一直到jdk1.5之前,我们说一个对象的类型(type),都与它的class是一一映射的,通过获取它们的class对象,比如 String.class, int.class, obj.getClass() 等,就可以判断它们的类型(type)是不是一 <a href="https://www.cnblogs.com/qiuhong10/p/8065118.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8004977.html
crontab命令 - hongma
前一天学习了 at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用
2017-12-08T05:33:00Z
2017-12-08T05:33:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】前一天学习了 at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用 <a href="https://www.cnblogs.com/qiuhong10/p/8004977.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8004131.html
Kettle定时执行 - hongma
1,Kettle跨平台使用。 例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下: 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行tra
2017-12-08T02:11:00Z
2017-12-08T02:11:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】1,Kettle跨平台使用。 例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下: 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行tra <a href="https://www.cnblogs.com/qiuhong10/p/8004131.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/8004062.html
Airflow使用入门指南 - hongma
Airflow能做什么 关注公众号, 查看更多 http://mp.weixin.qq.com/s/xPjXMc_6ssHt16J07BC7jA Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。 Airflow独立于我们要运行的任务,只需要把任
2017-12-08T01:59:00Z
2017-12-08T01:59:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】Airflow能做什么 关注公众号, 查看更多 http://mp.weixin.qq.com/s/xPjXMc_6ssHt16J07BC7jA Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。 Airflow独立于我们要运行的任务,只需要把任 <a href="https://www.cnblogs.com/qiuhong10/p/8004062.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/qiuhong10/p/7975590.html
Linux 的字符串截取 - hongma
假设有变量 var=http://www.aaa.com/123.htm 1. # 号截取,删除左边字符,保留右边字符。 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2.
2017-12-04T01:35:00Z
2017-12-04T01:35:00Z
hongma
https://www.cnblogs.com/qiuhong10/
【摘要】假设有变量 var=http://www.aaa.com/123.htm 1. # 号截取,删除左边字符,保留右边字符。 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2. <a href="https://www.cnblogs.com/qiuhong10/p/7975590.html" target="_blank">阅读全文</a>