随笔分类 -  云计算

摘要：目录 声明式API CRD开发 CRD定义 自动代码生成 generator.sh kubeuilder controller开发 CREAT DELETE GET UPDATE 声明式API 参考资料 声明式API概念是什么？ 声明式API / 命令式API 各自的优缺点？ 声明式：关注最终的期望 阅读全文

摘要：背景 深度学习大致将涉及数据获取和处理、模型训练和演进、模型部署、模型评测四个阶段[1]。一个企业开始涉猎深度学习之初，因团队缺乏深度学习的相关经验和资源，通常，团队人员选择手工逐步完成上述步骤，以期快速满足项目发展期的即时需求。然而，不管深度学习专家具有多么专业的领域内知识，没有基础设施平台的支撑 阅读全文

摘要：Spark简介 Spark是一款快速通用的大数据集群计算系统。它提供了Scala、Java、Python和R的高级api，以及一个支持用于数据分析的通用计算图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和DataFrames的Spark SQL、用于机器学习的MLlib、用于图形处理的Gr 阅读全文

摘要：Kubeflow简介 Kubernetes已经成为云原生应用编排、管理的事实标准， 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernetes提供的资源管理、应用编排、运维监控能 阅读全文

摘要：paddlepaddle简介 飞桨(PaddlePaddle)是百度于 2016 年 9 月开源的深度学习框架，旨在提供一款安全高效、灵活易用、可扩展的深度学习平台。 2018 年 10 月，飞桨团队发布 Paddle Fluid 1.0 版本，对神经网络描述、大规模分布式训练、高性能推理引擎等核心 阅读全文

摘要：在CNCF:community bridge#1285Reading Material Update And Supplement的议题中，我们需要提供volcano支持北向框架的测试用例，这篇笔记主要用来记录实验环境的搭建和实验过程中踩的坑。 CCE环境部署 部署k8s(注意要分配公网ip) 安装 阅读全文

摘要：在CNCF:community bridge#1285Reading Material Update And Supplement 这个议题当中，更新扩充好的材料需要同步更新到volcano官网的官方文档上，这篇文章主要来记录如何为开源项目(volcano)提交pr，以达到我们将贡献的开源文档同步更 阅读全文

摘要：K8s pod pod是kubernetes中可以创建和部署的最小也是最简单的单位。pod代表集群中运行的进程。 在k8s集群中，pod有两种使用方式 一个pod运行一个容器：单个容器的封装，但是k8手、管理的是pod而不是容器。这也是最常见的用法。 一个pod运行多个容器：一个pod中同时封装几个 阅读全文

摘要：Gang 简介 Gang调度策略是volcano-scheduler的核心调度算法之一，它满足了调度过程中的“All or nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费。具体算法是，观察Job下的Pod已调度数量是否满足了最小运行数量，当Job的最小运行数量得到满足时，为Job 阅读全文

摘要：CNCF是linux foundation下的子组织，都是推动开源的非盈利组织，关于linux foundation这个面向大学生的coding实训，后面我会继续做详细介绍，这里记录我作为春季赛季的实习生，参与的议题。 所有选题list： https://github.com/cncf/mentor 阅读全文

摘要：Enqueue Queues QueueMap jobsMap //扫描一遍job，初始化上面三个数据结构 For job in ssn.Jobs //过滤1 found := ssn.Queues[job.Queue] existed := queueMap[queue.UID] //过滤2 if 阅读全文

摘要：大数据与云计算学习路线：https://blog.csdn.net/qq_37187606/article/details/80669708 Hadoop： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。是一个高度可扩展的存储平台。它可以存储和分发横跨数百个并行操作的廉价服务器数 阅读全文