随笔分类 - 技术
摘要：原文： "COGS108/Tutorials" 译者： "飞龙" 协议： "CC BY NC SA 4.0" 欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远。 + "ApacheCN 机器学习交流群 629470233" + "ApacheCN 学习资源" <! break +
阅读全文
摘要：来源： "LingCoder/OnJava8" 主译: "LingCoder" 参译: "LortSir" 校对： "nickChenyx" E mail: 本书原作者为 \[美\] Bruce Eckel ，即（ Thinking in Java 4th Edition,2006 ）的作者。 本书
阅读全文
摘要：来源： "sjsdfg/effective java 3rd chinese" 前 51 条来源： "Effective Java, Third Edition" 《Effective Java, Third Edition》一书英文版已经出版，这本书的第二版想必很多人都读过，号称Java四大名著之
阅读全文
摘要：原文： "donnemartin/data science ipython notebooks" 译者： "飞龙" 协议： "CC BY NC SA 4.0" 欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远。 + "ApacheCN 机器学习交流群 629470233" + "A
阅读全文
摘要：达内 Java 企业面试题精选 达内 20 本教材里面的最后一本，偏 Java 语言和 Web 框架。 + "Github 下载" + "Gitee 下载" 传智播客面试宝典 传智播客总结的面试宝典，里面有 Android、C++、Java、PHP、大数据五种。 + "CSDN 下载" 数据结构与算
阅读全文
摘要：97 Things Every Programmer Should Know + "Gitee 下载" + "Github 下载" + "SourceForge 下载" A Java Reference (UCB CS61b Textbook) + "Gitee 下载" + "Github 下载"
阅读全文
摘要：作者： "姚泽源" 问题的回答 + URL： + 参数： + ：数量，最大 20 + ：起始位置，从零开始 + ：`{default, created}`，表示默认排序或者时间排序 + ：额外信息，包括 。 单个回答 + URL： + 参数： + ：额外信息，包括 。 指定作者的回答 + URL：
阅读全文
摘要："斯坦福 CS229 机器学习中文讲义" "第一部分到第三部分" "第四部分 生成学习算法" "第五部分 支持向量机" "第六部分 学习理论" "第七部分 正则化与模型选择" "感知器和大型边界分类器" "K 均值聚类算法" "混合高斯和期望最大化算法" "第九部分 期望最大化算法" "第十部分 因
阅读全文
摘要：Airflow Platform是用于描述，执行和监控工作流的工具。 核心理念 DAG的 在Airflow中， DAG （或定向非循环图）是您要运行的所有任务的集合，以反映其关系和依赖关系的方式进行组织。 例如，一个简单的DAG可以包含三个任务：A，B和C.可以说A必须在B可以运行之前成功运行，但C
阅读全文
摘要：使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据。 Airflow提供了一个简单的查询界面来编写SQL并快速获得结果，以及一个图表应用程序，可以让您可视化数据。 临时查询 adhoc查询UI允许与Airflow中注册的数据库连接进行简单的SQL交互。 https://airflow.a
阅读全文
摘要：通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 https://airflow.a
阅读全文
摘要：Airflow具有一组固定的“测试模式”配置选项。 您可以随时通过调用airflow.configuration.load_test_config()来加载它们（注意此操作不可逆！）。 但是，在您有机会调用load_test_config（）之前，会加载一些选项（如DAG_FOLDER）。 为了急切
阅读全文
摘要：Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易，因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中，您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Ai
阅读全文
摘要：Airflow可以与基于upstart的系统集成。 Upstart会在系统启动时自动启动/etc/init具有相应*.conf文件的所有气流服务。 失败时，upstart会自动重启进程（直到达到*.conf文件中设置的重新生成限制）。 您可以在scripts/upstart目录中找到示例新贵作业文件
阅读全文
摘要：有两种方法可以将气流作为mesos框架运行： 任务直接在mesos从站上执行 MesosExecutor允许您在Mesos群集上安排气流任务。 为此，您需要一个正在运行的mesos集群，并且必须执行以下步骤 - 阅读全文／改进本文
阅读全文
摘要：在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下，它位于AIRFLOW_HOME目录中。 此外，用户可以提供远程位置，以便在云存储中存储日志和日志备份。 在Airflow Web UI中，本地日志优先于远程日志。 如果找不到或访问本地
阅读全文
摘要：CeleryExecutor是您扩展工人数量的方法之一。 为此，您需要设置Celery后端（ RabbitMQ ， Redis ，...）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。 有关设置Celery代理的更多信息，请参阅有关该主题的
阅读全文
摘要：DaskExecutor允许您在Dask分布式群集中运行Airflow任务。 Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。 要创建集群，首先启动调度程序： 接下来，在任何可以连接到主机的计算机上启动至少一个Worker： 阅读全文／改进本文
阅读全文
摘要：默认情况下，Airflow将在元数据数据库中以纯文本格式保存连接的密码。 在安装过程中强烈建议使用crypto包。 crypto包确实要求您的操作系统安装了libffi-dev。 如果最初未安装crypto软件包，您仍可以通过以下步骤为连接启用加密： 3.将airflow.cfg fernet_ke
阅读全文
摘要：Airflow需要知道如何连接到您的环境。 其他系统和服务的主机名，端口，登录名和密码等信息在UI的Admin->Connection部分中处理。 您将创作的管道代码将引用Connection对象的“conn_id”。 https://github.com/apachecn/airflow-d
阅读全文
浙公网安备 33010602011771号