技术研究与问题解决

2019年6月26日

摘要： 1.官网下载下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M 阅读全文

posted @ 2019-06-26 15:56 技术研究与问题解决阅读(600) 评论(0) 推荐(0)

Spark记录-SparkSQL远程操作MySQL和ORACLE

摘要： 1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 3 阅读全文

posted @ 2019-06-26 15:51 技术研究与问题解决阅读(231) 评论(0) 推荐(0)

Java中的关键字 transient

摘要：阅读目录先解释下Java中的对象序列化关于transient关键字举个例子参考资料先解释下Java中的对象序列化关于transient关键字举个例子参考资料先解释下Java中的对象序列化在讨论transient之前，有必要先搞清楚Java中序列化的含义； Java中对象的序列化指阅读全文

posted @ 2019-06-26 15:34 技术研究与问题解决阅读(395) 评论(0) 推荐(0)

2019年6月25日

启用yarn日志聚集功能

摘要：在yarn-site.xml配置文件中添加如下内容： ##开启日志聚集功能 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>##日志保存7天（单位秒） <property> <nam 阅读全文

posted @ 2019-06-25 16:43 技术研究与问题解决阅读(420) 评论(0) 推荐(0)

开启spark日志聚集功能

摘要： spark监控应用方式： 1)在运行过程中可以通过web Ui:4040端口进行监控 2)任务运行完成想要监控spark，需要启动日志聚集功能开启日志聚集功能方法：编辑conf/spark-env.sh文件，在其中加入如下部分： SPARK_HISTORY_OPTS=-Dspark.histor 阅读全文

posted @ 2019-06-25 16:39 技术研究与问题解决阅读(774) 评论(0) 推荐(0)

Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解

摘要：梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体阅读全文

posted @ 2019-06-25 15:58 技术研究与问题解决阅读(993) 评论(0) 推荐(0)

linux历史命令查找快捷方式

摘要：一、回到上次操作的目录 # cd -进入上次访问目录二、历史命令搜索操作快捷键：[Ctrl + r], [Ctrl + p], [Ctrl + n]在终端中按捉 [Ctrl] 键的同时 [r] 键，出现提示：(reverse-i-search), 此时你尝试一下输入你以前输入过的命令，当你每输入一个阅读全文

posted @ 2019-06-25 15:13 技术研究与问题解决阅读(1801) 评论(0) 推荐(0)

2019年6月22日

Eclipse 常用快捷键和使用技巧

摘要： 1.查看快捷键定义的地方 Window->Preferences->General->Keys。 2.更改启动页在AndroidManifest.xml第一个activity标签项中 android:name=".ResultDemoActivity" ResultDemoActivity改为你想阅读全文

posted @ 2019-06-22 21:58 技术研究与问题解决阅读(288) 评论(0) 推荐(0)

Eclipse用法和技巧十二：快速复制一行

摘要：在eclipse中如果遇到需要快速在一行代码的上下复制一行的话，有很方便的快捷键可以使用。将光标放到某一行，按住Ctrl+Alt+Down，即可以在下面快速复制一行，按住Ctrl+Alt+Up，即可以在上面快速复制一行。阅读全文

posted @ 2019-06-22 21:55 技术研究与问题解决阅读(532) 评论(0) 推荐(0)

Spark以yarn方式运行时抛出异常

摘要： Spark以yarn方式运行时抛出异常： cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED! 解决方案：主要是给节点分配的内存少，yarn kill了spark a 阅读全文

posted @ 2019-06-22 20:09 技术研究与问题解决阅读(959) 评论(0) 推荐(0)

公告