02 2020 档案

hive官方create介绍
摘要：建表 1 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) 2 [(col_name dat 阅读全文
posted @ 2020-02-26 17:54 一大碗小米粥 阅读(935) 评论(0) 推荐(0)
MapReduce例子_矩阵转置
摘要：Mapper 1 package step1; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.io.LongWritable; 6 import org.apache.hadoop.io.Text; 7 import org 阅读全文
posted @ 2020-02-23 22:23 一大碗小米粥 阅读(188) 评论(0) 推荐(0)
hadoop基础（from慕课网）
摘要：Hadoop基础 1、HDFS分布式文件系统：存储是大数据技术的基础。 数据块： 数据块是抽象而非整个文件作为存储单元。 默认大小为64mb，一般设置为128m，备份*3。 NameNode(主)： 管理文件系统的命名空间，存放文件元数据。 维护文件系统的所有文件和目录，文件与数据块的映射。 记录每 阅读全文
posted @ 2020-02-22 15:33 一大碗小米粥 阅读(152) 评论(0) 推荐(0)
知识文档汇总
摘要：python中的lambda表达式：https://blog.csdn.net/zjuxsl/article/details/79437563 python中没有reduce的问题：https://blog.csdn.net/zjuxsl/article/details/79437563 eclip 阅读全文
posted @ 2020-02-21 20:27 一大碗小米粥 阅读(136) 评论(0) 推荐(0)
hadoop全分布式集群搭建（4台虚拟机）
摘要：HA高可用搭建框图 YARN mr 2.x ResourceManager ：只资源管理 AppMstr 任务调度：询问ResourceManager之后先创建容器container，开辟maptask和reducetask。 NodeManager：向RM汇报资源信息。 RM也需要HA（高可用）： 阅读全文
posted @ 2020-02-21 15:29 一大碗小米粥 阅读(617) 评论(0) 推荐(0)
linux操作（持续更新）
摘要：1、chown 将指定文件的拥有者改为指定的用户或组。 例子 //将test.txt的拥有者改为fxw，组为fxwgroup eg. chown fxw:fxwgroup test.txt 2、shell脚本开头：#!/bin/bash 阅读全文
posted @ 2020-02-21 14:42 一大碗小米粥 阅读(159) 评论(0) 推荐(0)
我的大数据学习路线（持续更新）
摘要：1、java基础 2、linux基础 3、mysql基础（基于linux） 4、hadoop（HDFS、MapReduce、YARN） 5、hive 6、hbase 7、zookeeper 8、flume 9、sqoop 10、kafka 11、spark 阅读全文
posted @ 2020-02-20 20:42 一大碗小米粥 阅读(173) 评论(0) 推荐(1)
java多线程-学习笔记
摘要：1 多线程背景介绍 进程 程序的执行过程，持有资源（内存）和线程。 线程 相当于在进程中再开进程，也就称之为线程。 互斥 同步 2 java线程初体验 1-1 java常用线程方法介绍 java.lang class Thread和interface Runnable都包含run方法 1-2隋唐演义 阅读全文
posted @ 2020-02-20 19:46 一大碗小米粥 阅读(147) 评论(0) 推荐(0)
java多线程-线程交互&互斥&同步
摘要：1 package cn.test.muke; 2 3 public class EnergySystem { 4 5 private final double[] energyBoxes; 6 private final Object lockObj = new Object(); 7 8 pub 阅读全文
posted @ 2020-02-20 16:54 一大碗小米粥 阅读(257) 评论(0) 推荐(0)
java多线程-关键人物程咬金
摘要：join方法作用 理解sleep带来的效果 关键人物的类 1 package cn.test.muke; 2 3 public class KeyPersonThread extends Thread { 4 5 public void run() { 6 7 System.out.println( 阅读全文
posted @ 2020-02-19 20:51 一大碗小米粥 阅读(226) 评论(0) 推荐(0)
java多线程-军队战争
摘要：1 package cn.test.muke; 2 3 4 //军队线程 5 //模拟作战双方的行为 6 public class ArmyRunnable implements Runnable{ 7 8 // volatile保证了线程可以正确的读取其他线程写入的值 9 // 可见性 refer 阅读全文
posted @ 2020-02-19 16:23 一大碗小米粥 阅读(261) 评论(0) 推荐(0)
java多线程-两个演员线程
摘要：两个演员线程交替进行，一个直接继承Thread实现，另一个通过Runnable接口实现。 1 package cn.test.muke; 2 3 public class Actor extends Thread { 4 5 @Override 6 public void run() { 7 Sys 阅读全文
posted @ 2020-02-19 15:42 一大碗小米粥 阅读(203) 评论(0) 推荐(0)
pytorch-Flatten操作
摘要：1 class Flatten(nn.Module): 2 def __init__(self): 3 super(Flatten,self).__init__() 4 5 def forward(self,input): 6 shape = torch.prod(torch.tensor(x.sh 阅读全文
posted @ 2020-02-19 15:40 一大碗小米粥 阅读(3197) 评论(0) 推荐(0)
龙良曲pytorch学习笔记_迁移学习
摘要：1 import torch 2 from torch import optim,nn 3 import visdom 4 import torchvision 5 from torch.utils.data import DataLoader 6 7 from pokemon import Pok 阅读全文
posted @ 2020-02-19 15:38 一大碗小米粥 阅读(894) 评论(0) 推荐(0)
龙良曲pytorch学习笔记_加载宝可梦数据集
摘要：1 import torch 2 import os,glob 3 import random,csv 4 5 from torch.utils.data import Dataset,DataLoader 6 7 from torchvision import transforms 8 from 阅读全文
posted @ 2020-02-19 15:36 一大碗小米粥 阅读(1219) 评论(1) 推荐(1)
龙良曲pytorch学习笔记_ResNet18
摘要：main dataloader train test 相对LeNet5的主函数来讲，仅仅是更换了模型名称，其他部分没有变化。 import torch from torch.utils.data import DataLoader from torchvision import datasets f 阅读全文
posted @ 2020-02-16 20:06 一大碗小米粥 阅读(1839) 评论(0) 推荐(0)
龙良曲pytorch学习笔记_LeNet5
摘要：LeNet5网络和CIFAR10数据集 main函数--dataloader--train--test 1 import torch 2 from torch.utils.data import DataLoader 3 from torchvision import datasets 4 from 阅读全文
posted @ 2020-02-16 16:51 一大碗小米粥 阅读(612) 评论(0) 推荐(0)
龙良曲pytorch学习笔记_minst
摘要：1 import torch 2 from torch import nn 3 from torch.nn import functional as F 4 from torch import optim 5 6 import torchvision 7 from matplotlib import 阅读全文
posted @ 2020-02-10 20:07 一大碗小米粥 阅读(1241) 评论(1) 推荐(1)