摘要: PBS 命令罗列 检查节点任务状态 pbsnodes –a 提交作业 qsub [ script.pbs ] 检查作业状态 qstat -f -x [ job_id ] 删除作业 qdel [ job_id ] -W: waiting time PBS脚本 注释以“#”开头 PBS运行参数以 “#P 阅读全文
posted @ 2023-04-17 11:09 大脚板同志 阅读(49) 评论(0) 推荐(0)
摘要: Artifactory集群作为文件共享中心,管理全语言二进制文件的制品仓库。首先是一个支持元数据的文件管理系统,可以管理任何类型文件以及相关数据,利用其可以在集群之间同步复制的功能,也可以被用作跨数据中心分发不同类型文件的通用平台(只允许在指定的一个artifactory集群上传,然后同步到其它生产 阅读全文
posted @ 2023-03-29 14:52 大脚板同志 阅读(25) 评论(0) 推荐(0)
摘要: CI/CD简介 CI/CD 持续开发软件的方法,侧重于软件开发过程中的自动化,可以不断构建、测试以及部署代码。 CI,当每一次更改的代码被推送到远程分支后,可以创建一组脚本来自动地构建和测试这些更改,确保这些更改 可以通过一些基本准则,减少错误 CD,持续集成的基础上进一步,当每一次更改的代码落库后 阅读全文
posted @ 2023-03-29 14:51 大脚板同志 阅读(19) 评论(0) 推荐(0)
摘要: set -e 与 set +e 区别 https://blog.csdn.net/qq_25518029/article/details/119533509?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-tas 阅读全文
posted @ 2022-09-26 10:41 大脚板同志 阅读(48) 评论(0) 推荐(0)
摘要: Spark(PySpark) Spark started from UC Berkeley AMPLab in 2009 and was open sourced in early 2010. Spark bring multiple processors to the data, as it is 阅读全文
posted @ 2022-05-06 10:23 大脚板同志 阅读(10) 评论(0) 推荐(0)
摘要: https://blog.csdn.net/qq_30622831/article/details/82082122 解码编码器相关介绍 capture属性含义: VideoCapture.get(0)#CV.CAP_PROP_POS_MSEC 视频文件的当前位置(播放)以毫秒为单位VideoCap 阅读全文
posted @ 2021-12-30 10:39 大脚板同志 阅读(95) 评论(0) 推荐(0)
摘要: MDF格式数据 转他人文章,不过貌似他人亦转他人 https://www.cnblogs.com/zhyongquan/p/8996402.html https://www.jianshu.com/p/293c1e7c0a99 展示了用protobuf封装数据的利弊。 阅读全文
posted @ 2021-12-21 18:21 大脚板同志 阅读(78) 评论(0) 推荐(0)
摘要: https://blog.csdn.net/lsshlsw/article/details/79932643 此篇博客介绍了pyspark中pyspark.sql.functions 中调用 pandas_udf应该进行的配置修改。 https://www.cnblogs.com/runnerjac 阅读全文
posted @ 2021-12-08 20:07 大脚板同志 阅读(40) 评论(0) 推荐(0)
摘要: 网上有很多学习PySpark的博客教程,看了几个,觉得做的都很精致。 这篇博客不论排版或者内容目前都会粗糙一些,随着我学习一下如何 排版,以及对Spark了解更深入,会予以改进。 --12.3 <<Machine Learning with PySpark with NLP and RS >> Sp 阅读全文
posted @ 2021-12-05 19:46 大脚板同志 阅读(47) 评论(0) 推荐(0)
摘要: 1 elasticsearch windows下安装 https://kb.objectrocket.com/elasticsearch/how-to-fix-the-requestsdependencywarning-elasticsearch-with-python-import-error-4 阅读全文
posted @ 2021-11-24 12:55 大脚板同志 阅读(37) 评论(0) 推荐(0)