逍遥荷包蛋

摘要： 问题描述 因为买了新电脑。我将原来电脑里面的spark代码移植到新电脑上。同样的代码。同样的打包流程。发布到测试环境上同样的spark命令 spark-submit --driver-class-path a.jar --class ... --master yarn --deploy-mode c 阅读全文

摘要： spark本地模式运行流程 spark yarn模式流程 spark分成几个部分 1、DRIVER 这个部分负责作业的启动监控与结果的收集。一般可以配置让driver端运行在哪里本地或者云上。如果运行在云上对于collect之类的数据收集和日志信息会汇聚在云上不方便调试。 正常都将driver落在本 阅读全文

摘要： （一）内外网代理仓库搭建 想了一下,先用这个MAVEN安装部署的说明随笔,作为自己的第一篇技术帖,往后会陆陆续续将自己研究的心得发出来,留下脚印.希望有大神可以指点 一 、文章主要解决问题说明 1) 由于各种原因限制,必须在内网进行java等的开发工作 2)由于网络限制,外网下包困难 3)构建、打包 阅读全文

摘要： 不知不觉我在现在这家公司已经工作了一个多月。这一个多月里面觉得自己进步挺大的，学到了不少东西，也开阔了自己的眼界，今天将自己的一些心得写下来提醒自己，也让自己有个总结，因为我是新手，所以我希望看到自己的每一次进步。 其实从大学毕业之前我就在学校有意识的钻研程序员这方面的东西。记得自己一开始喜欢的程序语言是C语言。当时第一次上这门课的时候还提前预习了很多。我很感谢给我上那门课的老师。但是也感觉到有很多的不足。老师讲的进度特别慢，我自然都接受下去，闲暇之余也自己为了强化自己的代码能力也做了很多的练习，但是由于课时关系，老师只讲到指针那边就不讲了，到后来我才知道。C语言和C++的特点就在于指针... 阅读全文