ccql

摘要： 文章目录 1 LeNet2 AlexNet3 VGG4 NiN5 GoogLeNet6 ResNet7 DenseNet 本文为作者阅读学习李沐老师《动手学深度学习》一书的阶段性读书总结，原书地址为：Dive into Deep Learning。 1 LeNet 网络结构 实现代码 net = n 阅读全文

摘要： 使用块的网络（VGG） 本文为李沐老师《动手学深度学习》一书的学习笔记，原书地址为：Dive into Deep Learning。 另，给自己练习时没有gpu资源的小伙伴推荐下kaggle数据科学网站，每周免费训练时长30h。 1 网络结构 VGG块由一系列卷积层和一个最大汇聚层组成，块中的激活函 阅读全文

摘要： 文章目录 1. 组件简介2. 项目实践2.1 Replicating Channel Selector实践2.1.1 需求2.1.2 配置2.1.3 运行 2.2 Multiplexing Channel Selector实践2.2.1 需求2.2.2 配置2.2.3 运行 1. 组件简介 通俗来讲 阅读全文

摘要： 文章目录 1. 写在前面2. 组件简介3. 项目实践3.1 需求3.2 配置3.3 运行及结果 1. 写在前面 Flume的核心组件包括：Source、Channel和Sink；高级组件包括Source Interceptors、Channel Selectors和Sink Processors，具 阅读全文

摘要： 文章目录 1. 需求2. 分析3. 配置3.1 配置机器A-bigData023.2 配置机器B-bigData033.3 配置机器C-bigData04 4. 执行4.1 模拟网站日志输出4.2 执行结果 1. 需求 将机器A（bigData02）和机器B（bigData03）两台机器实时产生的日 阅读全文

摘要： 文章目录 1. 需求2. 配置2.1 Source2.2 Channel2.3 Sink2.4 完整的配置代码 3. 实践 1. 需求 使用Flume从文件夹中采集数据并上传到HDFS中。要完成这个任务就需要使用在采集数据时使用Spooling Directory Source组件；传输数据时为了保 阅读全文

摘要： 文章目录 1. Flume是什么2. Flume三大组件3. Flume高级应用场景3.1 多路复用3.2 整合 4. 示例实践4.1 配置4.2 运行4.2.1 运行结果输出4.2.2 设置后台运行 1. Flume是什么 Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能 阅读全文

摘要： 文章目录 1. 多资源队列配置2. 指定队列提交任务 由于MapReduce默认采用Capacity Scheduler（详见【Hadoop】YARN简述），因此理论上可以存在多个队列，而默认只有一个队列（default），现有需求：额外创建两个队列分别为online和offline，将这三个队列的 阅读全文

摘要： 文章目录 1. YARN总述2. YARN调度器2.1 FIFO Scheduler2.2 Capacity Scheduler2.3 Fair Scheduler 1. YARN总述 YARN是Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在 阅读全文

摘要： 默认情况下Map任务的数量与InputSplit数量保持一致，Map阶段的执行效率也与InputSplit数量相关，当遇到大量的小文件时我们采用SequenceFile合并成一个大文件，以此来提高运行效率（【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile 阅读全文