摘要：
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 阅读全文
posted @ 2020-03-10 11:09
西西嘛呦
阅读(207)
评论(0)
推荐(0)
摘要：
2020.3.10 发现数据集没有完整的上传到谷歌的colab上去，我说怎么计算出来的step不对劲。 测试集是完整的。 训练集中cat的确是有10125张图片，而dog只有1973张，所以完成一个epoch需要迭代的次数为： (10125+1973)/128=94.515625，约等于95。 顺便 阅读全文
posted @ 2020-03-09 23:51
西西嘛呦
阅读(3130)
评论(0)
推荐(0)
摘要：
保存模型总体来说有两种： 第一种：保存训练的模型，之后我们可以继续训练 （1）保存模型 state = { 'model': model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch': epoch } torch.save(sta 阅读全文
posted @ 2020-03-09 20:21
西西嘛呦
阅读(1497)
评论(0)
推荐(2)
摘要：
给定一个可能包含重复元素的整数数组 nums，返回该数组所有可能的子集（幂集）。 说明：解集不能包含重复的子集。 示例: 输入: [1,2,2]输出:[ [2], [1], [1,2,2], [2,2], [1,2], []] class Solution: def subsetsWithDup(s 阅读全文
posted @ 2020-03-09 19:52
西西嘛呦
阅读(213)
评论(0)
推荐(0)
摘要：
2020.3.10 发现数据集没有完整的上传到谷歌的colab上去，我说怎么计算出来的step不对劲。 测试集是完整的。 训练集中cat的确是有10125张图片，而dog只有1973张，所以完成一个epoch需要迭代的次数为： (10125+1973)/128=94.515625，约等于95。 顺便 阅读全文
posted @ 2020-03-09 13:38
西西嘛呦
阅读(3527)
评论(2)
推荐(0)
摘要：
1、计算数据集的均值和方差 import os import cv2 import numpy as np from torch.utils.data import Dataset from PIL import Image def compute_mean_and_std(dataset): # 阅读全文
posted @ 2020-03-08 21:32
西西嘛呦
阅读(235)
评论(0)
推荐(0)
摘要：
centos7中： 根据提示关闭相应主机的防火墙： 查看防火墙状态：systemctl status firewalld.service 关闭防火墙：systemctl stop firewalld.service 阅读全文
posted @ 2020-03-08 17:37
西西嘛呦
阅读(2116)
评论(0)
推荐(0)
摘要：
找一个机器，作为时间服务器，所有的机器都和这台机器时间进行定时的同步，比如每隔十分钟，同步一次时间。 1、以hadoop02作为时间服务器。检查ntp是否安装 rpm -qa |grep ntp 2、修改ntp配置文件 （1）授权192.168.1.0-192.168.1.255网段上的机器可以从这 阅读全文
posted @ 2020-03-08 17:33
西西嘛呦
阅读(383)
评论(0)
推荐(0)
摘要：
一、基础环境 现在我们有两台虚拟机了，再克隆两台： 克隆好之后需要做三件事：1、更改主机名称 2、修改ip地址 3、将ip地址和对应的主机号加入到/etc/hosts文件中 1、永久修改主机名 hostnamectl set-hostname hadoop03 等等 2、修改ip地址 vim /et 阅读全文
posted @ 2020-03-08 16:08
西西嘛呦
阅读(353)
评论(0)
推荐(0)
摘要：
修改权限就好了： sudo chmod 777 /tmp/hadoop-xiximayou-datanode.pid 阅读全文
posted @ 2020-03-08 14:48
西西嘛呦
阅读(1339)
评论(0)
推荐(1)
浙公网安备 33010602011771号