|
|
|
|
|
|
01 2020 档案
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用自动编解码网络实现黑白图片上色
摘要：''' 加载cifar10图片集并准备将图片进行灰度化 ''' from keras.datasets import cifar10 def rgb2gray(rgb): #把彩色图转化为灰度图，如果当前像素点为[r,g,b],那么对应的灰度点为0.299*r+0.587*g+0.114*b ret
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：去噪型编码网络
摘要：#为图像像素点增加高斯噪音 noise = np.random.normal(loc=0.5, scale = 0.5, size = x_train.shape) x_train_noisy = x_train + noise noise = np.random.normal(loc=0.5, s
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：自动编解码器网络的原理与实现
摘要：from keras.layers import Dense, Input from keras.layers import Conv2D, Flatten from keras.layers import Reshape, Conv2DTranspose from keras.models imp
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：RNN和CNN混合的鸡尾酒疗法提升网络运行效率
摘要：from keras.layers import model = Sequential() model.add(embedding_layer) #使用一维卷积网络切割输入数据，参数5表示每各个单词作为切割小段 model.add(layers.Conv1D(32, 5, activation='r
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：LSTM网络层详解及其应用
摘要：from keras.layers import LSTM model = Sequential() model.add(embedding_layer) model.add(LSTM(32)) #当结果是输出多个分类的概率时，用softmax激活函数,它将为30个分类提供不同的可能性概率值 mod
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：RNN-具有记忆功能的神经网络
摘要：from keras.layers import SimpleRNN model = Sequential() model.add(embedding_layer) model.add(SimpleRNN(32)) #当结果是输出多个分类的概率时，用softmax激活函数,它将为30个分类提供不同的
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用训练好的单词向量实现新闻摘要分类
摘要：import pandas as pd df = pd.read_json('/Users/chenyi/Documents/News_Category_Dataset.json', lines=True) df.head() df.category = df.category.map(lambda
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：概率论的一些重要概念
摘要：import matplotlib.pyplot as plt import numpy as np import matplotlib.mlab as mlab import math mu = 0 variance = 1 sigma = math.sqrt(variance) x = np.l
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：自然语言处理Word Embedding 单词向量化
摘要：import numpy as np samples = ['The cat jump over the dog', 'The dog ate my homework'] #我们先将每个单词放置到一个哈希表中 token_index = {} for sample in samples: #将一个句
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：卷积神经网络的底层原理
摘要：def conv_(img, conv_filter): filter_size = conv_filter.shape[1] result = numpy.zeros((img.shape)) print('loop r: ', numpy.uint16(numpy.arange(filter_s
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：用预先训练好的卷积网络实现图像快速识别
摘要：from keras.preprocessing import image from keras.preprocessing.image import ImageDataGenerator import os import matplotlib.pyplot as plt datagen = Ima
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：构造一个识别猫、狗图片的卷积网络
摘要：import os base_dir = '/Users/apple/Documents/cat-and-dog' train_cats_dir = os.path.join(base_dir, 'training_set/cats') train_dogs_dir = os.path.join(b
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：卷积神经网络入门
摘要：from keras import layers from keras import models model = models.Sequential() #首层接收2维输入 model.add(layers.Conv2D(32, (3,3), activation='relu', input_sh
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用神经网络预测房价中位数
摘要：import pandas as pd data_path = '/Users/chenyi/Documents/housing.csv' housing = pd.read_csv(data_path) housing.info() housing.head() housing.describe(
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用神经网络实现新闻话题分类
摘要：import pandas as pd df = pd.read_json('/Users/chenyi/Documents/News_Category_Dataset.json', lines=True) df.head() categories = df.groupby('category')
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：实现分析电影评论正负能量
摘要：from keras.datasets import imdb #num_words表示加载影评时，确保影评里面的单词使用频率保持在前1万位，于是有些很少见的生僻词在数据加载时会舍弃掉 (train_data, train_labels), (test_data, test_labels) = im
阅读全文
吴裕雄--天生自然数据结构：广义表的复制
摘要：复制一个广义表，也是不断的复制表头和表尾的过程。如果表头或者表尾同样是一个广义表，依旧复制其表头和表尾。 所以，复制广义表的过程，其实就是不断的递归，复制广义表中表头和表尾的过程。 递归的出口有两个： 如果当前遍历的数据元素为空表，则直接返回空表。 如果当前遍历的数据元素为该表的一个原子，那么直接复
阅读全文
吴裕雄--天生自然数据结构：广义表的存储结构
摘要：使用顺序表实现广义表结构，不仅需要操作 n 维数组（例如 {1,{2,{3,4}}} 就需要使用三维数组存储），还会造成存储空间的浪费。 使用链表存储广义表，首先需要确定链表中节点的结构。由于广义表中可同时存储原子和子表两种形式的数据，因此链表节点的结构也有两种 表示原子的节点由两部分构成，分别是
阅读全文
吴裕雄--天生自然数据结构：广义表
摘要：对于存储 {1,{1,2,3}} 这样的数据，更适合用广义表结构来存储。 广义表，又称列表，也是一种线性存储结构。同数组类似，广义表中既可以存储不可再分的元素，也可以存储广义表，记作： LS = (a1,a2,…,an) 其中，LS 代表广义表的名称，an 表示广义表存储的数据。广义表中每个 ai
阅读全文
吴裕雄--天生自然数据结构：链式队列及基本操作
摘要：链式队列，简称"链队列"，即使用链表实现的队列存储结构。 链式队列的实现思想同顺序队列类似，只需创建两个指针（命名为 top 和 rear）分别指向链表中队列的队头元素和队尾元素 //链表中的节点结构 typedef struct QNode{ int data; struct QNode * ne
阅读全文
吴裕雄--天生自然数据结构：顺序队列
摘要：顺序队列，即采用顺序表模拟实现的队列结构。 队列具有以下两个特点： 数据从队列的一端进，另一端出； 数据的入队和出队遵循"先进先出"的原则； 由于顺序队列的底层使用的是数组，因此需预先申请一块足够大的内存空间初始化顺序队列。除此之外，为了满足顺序队列中数据从队尾进，队头出且先进先出的要求，我们还需要
阅读全文
吴裕雄--天生自然数据结构：队列存储结构
摘要：队列，和栈一样，也是一种对数据的"存"和"取"有严格要求的线性存储结构。 与栈结构不同的是，队列的两端都"开口"，要求数据只能从一端进，从另一端出 通常，称进数据的一端为 "队尾"，出数据的一端为 "队头"，数据元素进队列的过程称为 "入队"，出队列的过程称为 "出队"。 栈和队列不要混淆，栈结构是
阅读全文
吴裕雄--天生自然数据结构：链栈及基本操作
摘要：链栈，即用链表实现栈存储结构。 链栈的实现思路同顺序栈类似，顺序栈是将数顺序表（数组）的一端作为栈底，另一端为栈顶；链栈也如此，通常我们将链表的头部作为栈顶，尾部作为栈底。 将链表头部作为栈顶的一端，可以避免在实现数据 "入栈" 和 "出栈" 操作时做大量遍历链表的耗时操作。 链表的头部作为栈顶，意
阅读全文
吴裕雄--天生自然数据结构：顺序栈及基本操作
摘要：顺序栈，即用顺序表实现栈存储结构 在顺序表中设定一个实时指向栈顶元素的变量（一般命名为 top），top 初始值为 -1，表示栈中没有存储任何数据元素，及栈是"空栈"。一旦有数据元素进栈，则 top 就做 +1 操作；反之，如果数据元素出栈，top 就做 -1 操作。 //元素elem进栈，a为数组
阅读全文
吴裕雄--天生自然数据结构：栈存储结构
摘要：同顺序表和链表一样，栈也是用来存储逻辑关系为 "一对一" 数据的线性存储结构 栈存储结构与之前所学的线性存储结构有所差异，这缘于栈对数据 "存" 和 "取" 的过程有特殊的要求： 栈只能从表的一端存取数据，另一端是封闭的 在栈中，无论是存数据还是取数据，都必须遵循"先进后出"的原则，即最先进栈的元素
阅读全文
吴裕雄--天生自然数据结构：循环链表(约瑟夫环)的建立
摘要：无论是静态链表还是动态链表，有时在解决具体问题时，需要我们对其结构进行稍微地调整。比如，可以把链表的两头连接，使其成为了一个环状链表，通常称为循环链表。 只需要将表中最后一个结点的指针指向头结点，链表就能成环儿 需要注意的是，虽然循环链表成环状，但本质上还是链表，因此在循环链表中，依然能够找到头指针
阅读全文
吴裕雄--天生自然数据结构：双向链表基本操作
摘要：根据数据添加到双向链表中的位置不同，可细分为以下 3 种情况： 添加至表头 将新数据元素添加到表头，只需要将该元素与表头元素建立双层逻辑关系即可。 换句话说，假设新元素节点为 temp，表头节点为 head，则需要做以下 2 步操作即可： temp->next=head; head->prior=t
阅读全文
吴裕雄--天生自然数据结构：双向链表及创建
摘要：无论是动态链表还是静态链表，表中各节点中都只包含一个指针（游标），且都统一指向直接后继节点，通常称这类链表为单向链表（或单链表）。 虽然使用单链表能 100% 解决逻辑关系为 "一对一" 数据的存储问题，但在解决某些特殊问题时，单链表并不是效率最优的存储结构。比如说，如果算法中需要大量地找某指定结点
阅读全文
吴裕雄--天生自然数据结构：静态链表基本操作
摘要：静态链表添加元素 从备用链表中摘除一个节点，用于存储元素 4； 找到表中第 2 个节点（添加位置的前一个节点，这里是数据元素 2），将元素 2 的游标赋值给新元素 4； 将元素 4 所在数组中的下标赋值给元素 2 的游标； //向链表中插入数据，body表示链表的头结点在数组中的位置，add表示插入
阅读全文
吴裕雄--天生自然数据结构：静态链表及其创建
摘要：静态链表，也是线性存储结构的一种，它兼顾了顺序表和链表的优点于一身，可以看做是顺序表和链表的升级版。 使用静态链表存储数据，数据全部存储在数组中（和顺序表一样），但存储位置是随机的，数据之间"一对一"的逻辑关系通过一个整形变量（称为"游标"，和指针功能类似）维持（和链表类似）。 创建一个足够大的数组
阅读全文
吴裕雄--天生自然数据结构：单链表的基本操作
摘要：创建链表的代码如下所示： //声明节点结构 typedef struct Link{ int elem;//存储整形元素 struct Link *next;//指向直接后继元素的指针 }link; //创建链表的函数 link * initLink(){ link * p=(link*)mallo
阅读全文
吴裕雄--天生自然数据结构：单链表，链式存储结构
摘要：链表，别名链式存储结构或单链表，用于存储逻辑关系为 "一对一" 的数据。与顺序表不同，链表不限制数据的物理存储状态，换句话说，使用链表存储的数据元素，其物理存储位置是随机的。 数据元素随机存储，并通过指针表示数据之间逻辑关系的存储结构就是链式存储结构。 链表中每个数据的存储都由以下两部分组成： 数据
阅读全文
吴裕雄--天生自然数据结构：顺序表的基本操作
摘要：顺序表插入元素 向已有顺序表中插入数据元素，根据插入位置的不同，可分为以下 3 种情况： 插入到顺序表的表头； 在表的中间位置插入元素； 尾随顺序表中已有元素，作为顺序表中的最后一个元素； 虽然数据元素插入顺序表中的位置有所不同，但是都使用的是同一种方式去解决，即：通过遍历，找到数据元素要插入的位置
阅读全文
吴裕雄--天生自然Python Matplotlib库学习笔记：matplotlib绘图（2）
摘要：import numpy as np import matplotlib.pyplot as plt fig = plt.figure() fig.subplots_adjust(bottom=0.025, left=0.025, top = 0.975, right=0.975) plt.subp
阅读全文
吴裕雄--天生自然Python Matplotlib库学习笔记：matplotlib绘图（1）
摘要：Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。 from pylab import * size = 128,16 dpi = 72.0 figsize= size[0]/float(dpi),size[1]/
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy Matplotlib
摘要：Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。 它也可以和图形工具包一起使用，如 PyQt 和 wxPython。 Windows 系统安装 Matplotlib 进入到 cmd 窗口下，执行以下命令： python
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy IO
摘要：Numpy 可以读写磁盘上的文本数据或二进制数据。 NumPy 为 ndarray 对象引入了一个简单的文件格式：npy。 npy 文件用于存储重建 ndarray 所需的数据、图形、dtype 和其他信息。 常用的 IO 函数有： load() 和 save() 函数是读写文件数组数据的两个主要函
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 线性代数
摘要：import numpy.matlib import numpy as np a = np.array([[1,2],[3,4]]) b = np.array([[11,12],[13,14]]) print(np.dot(a,b)) numpy.vdot() 函数是两个向量的点积。 如果第一个参数
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 矩阵库(Matrix)
摘要：import numpy.matlib import numpy as np print (np.matlib.empty((2,2))) # 填充为随机数据 numpy.matlib.zeros() 函数创建一个以 0 填充的矩阵。 import numpy.matlib import numpy
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 副本和视图
摘要：副本是一个数据的完整的拷贝，如果我们对副本进行修改，它不会影响到原始数据，物理内存不在同一位置。 视图是数据的一个别称或引用，通过该别称或引用亦便可访问、操作原有数据，但原有数据不会产生拷贝。如果我们对视图进行修改，它会影响到原始数据，物理内存在同一位置。 视图一般发生在： 1、numpy 的切片操
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 字节交换
摘要：大端模式：指数据的高字节保存在内存的低地址中，而数据的低字节保存在内存的高地址中，这样的存储模式有点儿类似于把数据当作字符串顺序处理：地址由小向大增加，而数据从高位往低位放 小端模式：指数据的高字节保存在内存的高地址中，而数据的低字节保存在内存的低地址中，这种存储模式将地址的高低和数据位权有效地结合
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 排序、条件刷选函数
摘要：numpy.sort() 函数返回输入数组的排序副本。函数格式如下： numpy.sort(a, axis, kind, order) 参数说明： a: 要排序的数组 axis: 沿着它排序数组的轴，如果没有数组会被展开，沿着最后的轴排序， axis=0 按列排序，axis=1 按行排序 kind:
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 统计函数
摘要：NumPy 提供了很多统计函数，用于从数组中查找最小元素，最大元素，百分位标准差和方差等。 numpy.amin() 用于计算数组中的元素沿指定轴的最小值。 numpy.amax() 用于计算数组中的元素沿指定轴的最大值。 import numpy as np a = np.array([[3,7,
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 算术函数
摘要：NumPy 算术函数包含简单的加减乘除: add()，subtract()，multiply() 和 divide()。 需要注意的是数组必须具有相同的形状或符合数组广播规则。 import numpy as np a = np.arange(9, dtype = np.float_).reshap
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 数学函数
摘要：NumPy 包含大量的各种数学运算的函数，包括三角函数，算术运算的函数，复数处理函数等。 NumPy 提供了标准的三角函数：sin()、cos()、tan()。 import numpy as np a = np.array([0,30,45,60,90]) print ('不同角度的正弦值：')
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 字符串函数
摘要：这些函数在字符数组类（numpy.char）中定义。 add() 对两个数组的逐个字符串元素进行连接 multiply() 返回按元素多重连接后的字符串 center() 居中字符串 capitalize() 将字符串第一个字母转换为大写 title() 将字符串的每个单词的第一个字母转换为大写 l
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 位运算
摘要：bitwise_and() 函数对数组中整数的二进制形式执行位与运算。 import numpy as np print ('13 和 17 的二进制形式：') a,b = 13,17 print (bin(a), bin(b)) print ('\n') print ('13 和 17 的位与：'
阅读全文
吴裕雄--天生自然Numpy库学习笔记：Numpy 数组操作
摘要：import numpy as np a = np.arange(8) print ('原始数组：') print (a) print ('\n') b = a.reshape(4,2) print ('修改后的数组：') print (b) numpy.ndarray.flat 是一个数组元素迭代
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 迭代数组
摘要：import numpy as np a = np.arange(6).reshape(2,3) print ('原始数组是：') print (a) print ('\n') print ('迭代输出元素：') for x in np.nditer(a): print (x, end=", " )
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 广播(Broadcast)
摘要：广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式， 对数组的算术运算通常在相应的元素上进行。 如果两个数组 a 和 b 形状相同，即满足 a.shape == b.shape，那么 a*b 的结果就是 a 与 b 数组对应位相乘。这要求维数相同，且各维度的长
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 高级索引
摘要：import numpy as np x = np.array([[1, 2], [3, 4], [5, 6]]) y = x[[0,1,2], [0,1,0]] print (y) import numpy as np x = np.array([[ 0, 1, 2],[ 3, 4, 5],[ 6
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 切片和索引
摘要：ndarray 数组可以基于 0 - n 的下标进行索引，切片对象可以通过内置的 slice 函数，并设置 start, stop 及 step 参数进行，从原数组中切割出一个新数组。 import numpy as np a = np.arange(10) s = slice(2,7,2) # 从
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 从数值范围创建数组
摘要：import numpy as np x = np.arange(5) print (x) import numpy as np # 设置了 dtype x = np.arange(5, dtype = float) print (x) import numpy as np x = np.arang
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 从已有的数组创建数组
摘要：import numpy as np x = [1,2,3] a = np.asarray(x) print (a) import numpy as np x = (1,2,3) a = np.asarray(x) print (a) import numpy as np x = [(1,2,3),
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 创建数组
摘要：import numpy as np x = np.empty([3,2], dtype = int) print (x) import numpy as np # 默认为浮点数 x = np.zeros(5) print(x) # 设置类型为整数 y = np.zeros((5,), dtype
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 数组属性
摘要：NumPy 数组的维数称为秩（rank），秩就是轴的数量，即数组的维度，一维数组的秩为 1，二维数组的秩为 2，以此类推。 在 NumPy中，每一个线性的数组称为是一个轴（axis），也就是维度（dimensions）。比如说，二维数组相当于是两个一维数组，其中第一个一维数组中每个元素又是一个一维数
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy 数据类型
摘要：下表列举了常用 NumPy 基本类型。 名称 描述 bool_ 布尔型数据类型（True 或者 False） int_ 默认的整数类型（类似于 C 语言中的 long，int32 或 int64） intc 与 C 的 int 类型一样，一般是 int32 或 int 64 intp 用于索引的整数
阅读全文
吴裕雄--天生自然Numpy库学习笔记：NumPy Ndarray 对象
摘要：NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 ndarray 中的每个元素在内存中都有相同存储大小的区域。 ndarray 内部由以下内容组成： 一个指向数
阅读全文
吴裕雄--天生自然TensorFlow2教程：手写数字问题实战
摘要：import tensorflow as tf from tensorflow import keras from keras import Sequential,datasets, layers, optimizers, metrics def preprocess(x, y): """数据处理函
阅读全文
吴裕雄--天生自然TensorFlow2教程：函数优化实战
摘要：import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D def himmeblau(x): return (x[0]**2 + x[1] - 11)**2 + (x[0] +
阅读全文
吴裕雄--天生自然TensorFlow2教程：链式法则
摘要：import tensorflow as tf x = tf.constant(1.) w1 = tf.constant(2.) b1 = tf.constant(1.) w2 = tf.constant(2.) b2 = tf.constant(1.) with tf.GradientTape(p
阅读全文
吴裕雄--天生自然TensorFlow2教程：多输出感知机及其梯度
摘要：import tensorflow as tf x = tf.random.normal([2, 4]) w = tf.random.normal([4, 3]) b = tf.zeros([3]) y = tf.constant([2, 0]) with tf.GradientTape() as
阅读全文
吴裕雄--天生自然TensorFlow2教程：单输出感知机及其梯度
摘要：import tensorflow as tf x = tf.random.normal([1, 3]) w = tf.ones([3, 1]) b = tf.ones([1]) y = tf.constant([1]) with tf.GradientTape() as tape: tape.wa
阅读全文
吴裕雄--天生自然TensorFlow2教程：损失函数及其梯度
摘要：import tensorflow as tf x = tf.random.normal([2, 4]) w = tf.random.normal([4, 3]) b = tf.zeros([3]) y = tf.constant([2, 0]) with tf.GradientTape() as
阅读全文
吴裕雄--天生自然TensorFlow2教程：激活函数及其梯度
摘要：import tensorflow as tf a = tf.linspace(-10., 10., 10) a with tf.GradientTape() as tape: tape.watch(a) y = tf.sigmoid(a) grads = tape.gradient(y, [a])
阅读全文
吴裕雄--天生自然TensorFlow2教程：梯度下降简介
摘要：import tensorflow as tf w = tf.constant(1.) x = tf.constant(2.) y = x * w with tf.GradientTape() as tape: tape.watch([w]) y2 = x * w grad1 = tape.grad
阅读全文
吴裕雄--天生自然SSH框架开发：搭建一个完整的SSH框架
摘要：下载jar包 spring框架的jar包：https://repo.spring.io/ hibernate框架的jar包：http://hibernate.org/orm/ struts2框架的jar包：https://struts.apache.org/ 数据库（以mysql为例）连接的jar包
阅读全文
吴裕雄--天生自然数据结构：线性表（线性存储结构）
摘要：线性表，全名为线性存储结构。使用线性表存储数据的方式可以这样理解，即“把所有数据用一根线儿串起来，再存储到物理空间中”。如图 将具有“一对一”关系的数据“线性”地存储到物理空间中，这种存储结构就称为线性存储结构（简称线性表）。 使用线性表存储的数据，如同向数组中存储数据那样，要求数据类型必须一致，也
阅读全文
吴裕雄--天生自然数据结构：算法时间复杂度和空间复杂度
摘要：算法，即解决问题的方法。同一个问题，使用不同的算法，虽然得到的结果相同，但是耗费的时间和资源是不同的。 就比如要拧一个螺母，使用扳手还是钳子是有区别的，虽然使用钳子也能拧螺母，但是没有扳手好用。 很多人误以为程序就是算法，其实不然：算法是解决某个问题的想法、思路；而程序是在心中有算法的前提下编写出来
阅读全文
吴裕雄--天生自然数据结构：常用数据结构
摘要：数据结构是学习数据存储方式的一门学科 数据结构大致包含以下几种存储结构： 线性表，还可细分为顺序表、链表、栈和队列； 树结构，包括普通树，二叉树，线索二叉树等； 图存储结构； 线性表 线性表结构存储的数据往往是可以依次排列的，就像小朋友手拉手，每位学生的前面和后面都仅有一个小朋友和他拉手，具备这种“
阅读全文
吴裕雄--天生自然TensorFlow2教程：误差计算
摘要：import tensorflow as tf y = tf.constant([1, 2, 3, 0, 2]) y = tf.one_hot(y, depth=4) # max_label=3种 y = tf.cast(y, dtype=tf.float32) out = tf.random.no
阅读全文
吴裕雄--天生自然TensorFlow2教程：输出方式
摘要：sigmoid out' = sigmoid(out) # 把输出值压缩在0-1 import tensorflow as tf a = tf.linspace(-6., 6, 10) a tf.sigmoid(a) x = tf.random.normal([1, 28, 28]) * 5 tf.
阅读全文
吴裕雄--天生自然TensorFlow2教程：全连接层
摘要：out = f(X@W + b) out = relut(X@W + b) import tensorflow as tf x = tf.random.normal([4, 784]) net = tf.keras.layers.Dense(512) out = net(x) out.shape n
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：学员管理系统- 前台
摘要：开发首页 做一个简单的用户提交申请的表单页面。 首先在student/views.py文件中编写下面的代码: # -*- coding: utf-8 -*- from __future__ import unicode_literals from django.shortcuts import re
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：解决使用相对路径名导入包中子模块问题
摘要：问题 将代码组织成包,想用import语句从另一个包名没有硬编码过的包中导入子模块。 解决方案
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：学员管理系统后台
摘要：需求 提供一个学员管理系统，一个前台页面，展示现有学员，并供新学员提交申请，一个后台，能够处理申请。 pip install django==1.11.2 创建项目 使用控制台进入到一个目录下，具体是哪个目录可以根据自己意愿选定， 创建项目根目录: mkdir student_house，这是我们的
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：解决Pythonno module named "XX"问题
摘要：在项目中加入 sys.path.append('你的django项目路径') sys.path.append('python的site-packages路径')
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：Django文档阅读简介
摘要：Django是基于MVC模式的框架，虽然也被称为“MTV”的模式，但是大同小异。对我们来说，需要了解的是无论是MVC模式还是MTV模式，甚至是其他的什么模式，都是为了解耦。把一个软件系统划分为一层一层的结构，让每一层的逻辑更加纯粹，便于开发人员维护。 从大的划分上来说，Django的文档先是分出了这
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：框架基础和技术选型
摘要：简单的Web Server import socket eol1 = b'\n\n' eol2 = b'\n\r\n' body = '''Hello,world!<h1>tszrwyx</h1>''' response_params = ['HTTP/1.0 200OK', 'Date:Sun,2
阅读全文
吴裕雄--天生自然PythonDjangoWeb企业开发：需求
摘要：开发或者做一个项目，是要有一个需求过来的，而不是无缘无故的，启动一个项目，或者推动整个项目进行下一步迭代。这个需求可能是根据用户反馈增加的，可能是老板提出来的，也有可能是产品经理提出来的，但是无论是什么样的需求，重要程度如何，最终到开发人员这里都需要转化为功能点——可以被量化的功能点。因为产品经理或
阅读全文
吴裕雄--天生自然数据结构与算法：java代码实现常用数据结构——链表Linked List
摘要：class Node{ // 定义节点类 private String data ; // 保存节点内容 private Node next ; // 表示保存下一个节点 public Node(String data){ // 通过构造设置节点内容 this.data = data ; // 设置
阅读全文
吴裕雄--天生自然数据结构与算法：java代码实现常用数据结构——数组
摘要：1，数组【Array】 特点：长度固定、查找方便【直接使用index查找即可】、增加、删除麻烦。 public class Demo1_Array { public static void main(String[] args) { String [] array=new String[5];//需
阅读全文
吴裕雄--天生自然 JAVA开发学习：java使用Eclipel连接数据库
摘要：1:jar可到Mysql官网下载:地址Mysql 连接jar包.:https://dev.mysql.com/downloads/connector/j/如图,在下拉列表框中选择Platform Independent public class Test{ // 定义MySQL的数据库驱动程序 pu
阅读全文
吴裕雄--天生自然 JAVA开发学习：解决java.sql.SQLException: The server time zone value报错
摘要：这个异常是时区的错误，因此只你需要设置为你当前系统时区即可,解决方案如下： import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; public class Test{ /
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：Oracle 11g的闪回技术
摘要：alter system set db_recovery_file_dest_size=4g scope=both; connect system/1qaz2wsx as sysdba; archive log list; shutdown immediate; startup mount; alt
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：数据导出与导入
摘要：create directory dump_dir as 'd:\dump'; grant read,write on directory dump_dir to scott; --在cmd下 expdp scott/1qaz2wsx directory=dump_dir dumpfile=tab.
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：Oracle数据备份与恢复
摘要：run{ allocate channel ch_1 device type disk format = 'd:\oraclebf\%u_%c.bak'; backup tablespace system,users,tbsp_1,ts_1 channel ch_1; } --在SQL*Plus环境
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：优化SQL语句
摘要：create or replace procedure trun_table(table_deleted in varchar2) as --创建一个存储过程，传入一个表示表名称的参数，实现清空指定的表 cur_name integer;--定义内部变量，存储打开的游标 begin cur_name
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：Oracle系统调优
摘要：--修改 alter system set large_pool_size=64m; --显示 show parameter large_pool_size; select sum(getmisses) 不命中数 from v$rowcache;
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：用户管理与权限分配
摘要：create user mr identified by mrsoft default tablespace users temporary tablespace temp; create user east identified by mrsoft default tablespace users
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：表分区与索引分区
摘要：create table ware_retail_part --创建一个描述商品零售的数据表 ( id integer primary key,--销售编号 retail_date date,--销售日期 ware_name varchar2(50)--商品名称 ) partition by ran
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：其它数据对象
摘要：create index emp_deptno_index on emp(deptno) pctfree 25 tablespace users; create bitmap index emp_salary_bmp on employees(salary) tablespace users; co
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：数据表对象
摘要：create table students( stuno number(10) not null, --学号 stuname varchar2(8), --姓名 sex char(2), --性别 age int, --年龄 departno varchar2(2) not null, --系别编号
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：管理表空间和数据文件
摘要：col tablespace_name for a10 col file_name for a50 col bytes for 999,999,999 select tablespace_name,file_name,bytes from dba_data_files order by tables
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：管理控制文件和日志文件
摘要：alter database add logfile ('D:\OracleFiles\LogFiles\REDO4_A.LOG', 'E:\OracleFiles\LogFiles\REDO4_B.LOG') size 20M; alter database add logfile group 5
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：过程、函数、触发器和包
摘要：create procedure pro_insertDept is begin insert into dept values(77,'市场拓展部','JILIN'); --插入数据记录 commit; --提交数据 dbms_output.put_line('插入新记录成功！'); --提示插入
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：PL/SQL编程
摘要：set serveroutput on declare a int:=100; b int:=200; c number; begin c:=(a+b)/(a-b); dbms_output.put_line(c); exception when zero_divide then dbms_outp
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：SQL语言基础
摘要：select empno,ename,sal from scott.emp; SELECT empno,ename,sal FROM scott.emp; selECT empno,ename,sal frOM scott.emp; select empno,ename,sal from scott
阅读全文
吴裕雄--天生自然ORACLE数据库学习笔记：常用SQL*Plus命令
摘要：set pause on set pause '按<enter>键继续' select user_id,username,account_status from dba_users; show newpage set newpage 1 select user_id,username,account
阅读全文
吴裕雄--天生自然python数据清洗与数据可视化：MYSQL、MongoDB数据库连接与查询、爬取天猫连衣裙数据保存到MongoDB
摘要：本博文使用的数据库是MySQL和MongoDB数据库。安装MySQL可以参照我的这篇博文：https://www.cnblogs.com/tszr/p/12112777.html 其中操作Mysql使用到的python模块是pymysql,下面是有关这个模块的使用说明： 创建一个数据库test cr
阅读全文
吴裕雄--天生自然PYTHON爬虫：使用Selenium爬取大型电商网站数据
摘要：用python爬取动态网页时，普通的requests，urllib2无法实现。例如有些网站点击下一页时，会加载新的内容，但是网页的URL却没有改变（没有传入页码相关的参数），requests、urllib2无法抓取这些动态加载的内容，此时就需要使用Selenium了。 使用Selenium需要选择一
阅读全文
吴裕雄--天生自然PYTHON爬虫：使用Scrapy抓取股票行情
摘要：Scrapy框架它能够帮助提升爬虫的效率，从而更好地实现爬虫。Scrapy是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含request异步调度和处理、下载器（多线程的Downloader）、解析器selector和twisted(异步处理)等。对于网站的内容爬取，其速度
阅读全文
吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据（效率优化以及代码容错处理）
摘要：这篇博文主要是对我的这篇https://www.cnblogs.com/tszr/p/12198054.html爬虫效率的优化，目的是为了提高爬虫效率。 可以根据出发地同时调用多个CPU，每个CPU运行一个出发地的脚本，如果你的电脑有8个CPU，那么将会每次同时获取8个出发地的数据。 代码如下： i
阅读全文
吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据（优化）
摘要：本博文主要是对我的这篇：https://www.cnblogs.com/tszr/p/12193744.html爬取某一大型电商网站的商品数据博文代码的优化和整理。 代码优化可以提高代码的可读性。 import time import json import pymongo import reque
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：从零开始实现识别手写数字的神经网络
摘要：class NeuralNetWork: def __init__(self): ''' 初始化网络，设置输入层，中间层，输出层的节点数 ''' pass def fit(self): ''' 根据训练数据，不断更新神经网络层之间的链路权重 ''' pass def evaluate(self):
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：神经网络的理论基础
摘要：#绘制步调函数图像 import matplotlib.pyplot as plt x = [1,2,3,4] y = [0, 1, 2, 3] plt.step(x, y) plt.show() import numpy as np import pylab as plt from matplot
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：深度学习的线性代数基础
摘要：import numpy as np #构建一个含有一个常数12的0维张量 x = np.array(12) print(x) #ndim表示张量的维度 print(x.ndim) x1 = np.array([11,12,13]) print(x1) print(x1.ndim) x2 = np.
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用导函数求函数的最小值
摘要：import numpy as np from matplotlib import cm import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib.ticker import Lin
阅读全文
吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据
摘要：首先观察、分析网站 网址：https://touch.qunar.com 接下按F12进入浏览器开发者模式，并且点击 自由行 选项进入到自由行频道，如下图： Request URL: https://dujia.qunar.com/golfz/destination/tejiaLeft?num=6&
阅读全文
吴裕雄--天生自然PYTHON爬虫：安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中
摘要：1、下载MongoDB 官网下载:https://www.mongodb.com/download-center#community 上面这张图选择第二个按钮 上面这张图直接Next 把bin路径添加到path中，如下图： 在安装路径下自己创建一个文件mongo.conf，配置内容如下： #数据库路
阅读全文
吴裕雄--天生自然python机器学习实战：K-NN算法约会网站好友喜好预测以及手写数字预测分类实验
摘要：实验设备与软件环境 硬件环境：内存ddr3 4G及以上的x86架构主机一部 系统环境：windows 软件环境：Anaconda2(64位)，python3.5，jupyter 内核版本：window10.0 实验内容和原理 （1）实验内容： 使用k近邻算法改进约会网站的配对效果。海伦使用约会网址寻
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：pvuv统计案例理论
摘要：实验目的 复习pv、uv的概念和原理 了解pv、uv的实际意义和获取方法 实验原理 前面我们已经基于mapreduce进行数据的etl处理，实验有很多不足之处，这次实验我们是基于url数据进行pv和uv的统计。pv的意思是page view ，uv的意思是user view，分别代表页面点击量和用户
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：pig简介
摘要：实验目的 了解pig的该概念和原理 了解pig的思想和用途 了解pig与hadoop的关系 实验原理 1.Pig 相比Java的MapReduce API，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：ETL案例
摘要：实验目的 熟悉hadoop生态系统 初步了解大数据点击流分析业务 学会使用hadoop进行数据分析统计 实验原理 hadoop主要有三部分，hdfs做数据存储、mapreduce做数据计算、yarn做资源调度。在企业生产环境下，对数据做统计需要结合hadoop三个部分综合运用，中间还要使用kafka
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hbase简介
摘要：实验目的 了解hbase的概念 通过安装hbase了解hbase的原理 了解hbase与hadoop的关系 复习hadoop和zookeeper的运行 实验原理 hbase是bigtable的开源山寨版本。hbase建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介
阅读全文
吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：构建一个手写数字图片的神经网络
摘要：from keras.datasets import mnist (train_images, train_labels),(test_images, test_labels) = mnist.load_data() print(train_images.shape) print(train_lab
阅读全文
吴裕雄--天生自然PYTHON爬虫：用API爬出天气预报信息
摘要：天气预报网址：https://id.heweather.com/，这个网站是需要注册获取一个个人认证后台密钥key的，并且每个人都有访问次数的限制，这个key就是访问API的钥匙。 这个key现在是要自己创建的，名称自己写，key值可以不写，创建的时候会自动生成。 接下来就是要阅读这个API文档。
阅读全文
吴裕雄--天生自然PYTHON爬虫：爬虫攻防战
摘要：我们在开发者模式下不仅可以找到URL、Form Data，还可以在Request headers 中构造浏览器的请求头，封装自己。服务器识别浏览器访问的方法就是判断keywor是否为Request headers下的User-Agent，因此我们只需要构造这个请求头的参数。创建请求头部信息即可。 h
阅读全文
吴裕雄--天生自然PYTHON爬虫：使用BeautifulSoup解析中国旅游网页数据
摘要：import requests from bs4 import BeautifulSoup url = "http://www.cntour.cn/" strhtml = requests.get(url) soup = BeautifulSoup(strhtml.text,"lxml") #下面的
阅读全文
吴裕雄--天生自然python爬虫：使用requests模块的get和post方式抓取中国旅游网站和有道翻译网站翻译内容数据
摘要：import requests url = 'http://www.cntour.cn/' strhtml = requests.get(url) print(strhtml.text) URL='http://fanyi.youdao.com/translate?smartresult=dict&
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：协同过滤算法
摘要：实验目的 初步认识推荐系统 学会用mapreduce实现复杂的算法 学会系统过滤算法的基本步骤 实验原理 前面我们说过了qq的好友推荐，其实推荐算法是所有机器学习算法中最重要、最基础、最复杂的算法，一个推荐系统的架构，需要综合考虑离线计算、实时计算。需要用到的技术可能还有Flume、Kafka、Re
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：pagerank算法
摘要：实验目的 了解PageRank算法 学会用mapreduce解决实际的复杂计算问题 实验原理 1.pagerank算法简介 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 pagerank是Google排名运算法则（排名公式）的一部分，pagerank是Google用于
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：qq好友推荐算法
摘要：实验目的 初步认识图计算的知识点 复习mapreduce的知识点，复习自定义排序分组的方法 学会设计mapreduce程序解决实际问题 实验原理 QQ好友推荐算法是所有推荐算法中思路最简单的，我们利用的思想就是好友的好友很有可能是自己的好友，而共同好友越多，说明两个人认识的可能性越大。其实这个想法属
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：Wor的Count程序的编写
摘要：实验目的 理解mapreduce的工作原理 理解Partitioner的书写方法 理解GroupingComparator的书写方法 实验原理 我们已经学习了hadoop的大部分基础知识，剩下的就是利用hadoop解决实际的业务问题。首先我们回顾一下mapreduce的工作过程： 数据通过Input
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hbase微博案例
摘要：实验目的 熟悉hbase表格设计的方法 熟悉hbase的javaAPI 通过API理解掌握hbase的数据的逻辑视图 了解MVC的服务端设计方式 实验原理 上次我们已经初步设计了学生选课案例的，具体功能还不完善，但是实现方式都是在已经设计好的表格之上，调用hbase已有的API，本次我们将会实现一个
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hbase学生选课案例
摘要：实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我们已经了解hbase的shell操作、javaAPI操作，并且能够使用hive操作hbase表格（实
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的javaAPI应用
摘要：实验目的 进一步了解hbase的操作 熟悉使用IDEA进行java开发 熟悉hbase的javaAPI 实验原理 前面已经了解通过hbase的shell操作hbase，确实比较难以使用，另外通过hive也可以操作hbase，今天我们学习通过javaAPI操作hbase。 1.创建连接 我们以前在hb
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：使用hive操作hbase
摘要：实验目的 熟悉hive和hbase的操作 熟悉hadoop、hbase、hive、zookeeper的关系 熟练大数据环境的搭建 学会分析日志排除问题 实验原理 1.hive整合hbase原理 前面大家已经了解了Hive和Hbase，Hive是一个mapreduce的客户端，把sql语句转化为map
阅读全文
吴裕雄--天生自然云计算安全策略：云计算安全
摘要：云计算安全 云计算是继计算机、互联网出现后信息领域又一次改革，云计算的应用使各个企业能够对先进信息技术进行更好更快的利用，能够降低企业前期的运营成本，将企业的可获利润最大化。但是云计算在给各行各业带来福利时，云计算安全事件也时有发生，由云计算问题引发的计算机网络安全信任危机也愈演愈烈。如2011年3
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的shell应用v2.0
摘要：HRegion 当表的大小超过设置值的时候，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegio
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hive DDL
摘要：实验目的 了解hive DDL的基本格式 了解hive和hdfs的关系 学习hive在hdfs中的保存方式 学习一些典型常用的hiveDDL 实验原理 有关hive的安装和原理我们已经了解，这次实验我们通过使用hive进行简单的测试进一步了解hive。hive DDL的意思是Hive Data De
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce和yarn命令
摘要：实验目的 了解集群运行的原理 学习mapred和yarn脚本原理 学习使用Hadoop命令提交mapreduce程序 学习对mapred、yarn脚本进行基本操作 实验原理 1.hadoop的shell脚本 上一节介绍了hadoop脚本的使用，这一节介绍mapreduce和yarn的shell命令，
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hdfs简单的shell命令
摘要：实验目的 了解bin/hadoop脚本的原理 学会使用fs shell脚本进行基本操作 学习使用hadoop shell进行简单的统计计算 实验原理 1.hadoop的shell脚本 当hadoop集群正常工作后，我们就可以使用hadoop进行我们需要的操作。我们的操作主要分为两种，第一种是使用sh
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce代码编程
摘要：实验目的 深入了解mapreduce的底层 了解IDEA的使用 学会通过本地和集群环境提交程序 实验原理 1.回忆mapreduce模型 前面进行了很多基础工作，本次实验是使用mapreduce的API进行简单的大数据业务处理。 MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：分布式及RPC通信简介
摘要：实验目的 掌握GOF设计模式的代理模式 了解掌握socket编程、java反射、动态代理 了解NIO、多线程 掌握hadoop的RPC框架使用API 实验原理 1.什么是RPC 在hadoop出现以前，我们写的程序一般都是单机版本，只能在一台机器上处理，而一台机器的处理能力总是有限的，hadoop让
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：分布式资源调度系统yarn的安装
摘要：实验目的 复习配置hadoop初始化环境 复习配置hdfs的配置文件 学会配置hadoop的配置文件 了解yarn的原理 实验原理 1.yarn是什么 前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：tf-idf算法
摘要：实验目的 通过实验了解tf-idf算法原理 通过实验了解mapreduce的更多组件 学会自定义分区，读写缓存文件 了解mapreduce程序的设计方法 实验原理 1.TF-IDF简介 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hive安装
摘要：实验目的 了解hive的原理和安装方式 学习使用MySQL数据库 使用hive进行基本操作 实验原理 1.Hive Hive是一个数据仓库技术，包括解释器、编译器、优化器，一次将一个sql语句装化为mapreduce代码，然后对代码进行编译，最后优化执行。实质是一个客户端程序，类似jsp和servl
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hdfs分布式文件系统安装
摘要：实验目的 复习安装jdk 学习免密码登录 掌握安装配置hdfs集群的方法 掌握hdfs集群的简单使用和检查其工作状态 实验原理 1.hdfs是什么 hadoop安装的第一部分是安装hdfs，hdfs是一个磁盘文件系统，提供的功能类似于本地文件系统一样，可以通过命令进行增删改查文件，不同的是，hdfs
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：单节点伪分布式安装
摘要：实验目的 了解java的安装配置 学习配置对自己节点的免密码登陆 了解hdfs的配置和相关命令 了解yarn的配置 实验原理 1.Hadoop安装 Hadoop的安装对一个初学者来说是一个很头疼的事情，要一步安装好整个hadoop集群难度特别大，所以一个快捷的学习方法是边安装边学习，安装的时候，先搭
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：安装zookeeper集群
摘要：实验目的 了解zookeeper的概念和原理 学会安装zookeeper集群并验证 掌握zookeeper命令使用 实验原理 1.Zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服
阅读全文
吴裕雄--天生自然HADOOP操作实验学习笔记：hadoop框架认识以及基本操作
摘要：实验目的 了解Hadoop的概念和原理 学习HDFS架构原理 熟悉mapreduce框架 熟悉mapred和yarn命令 实验原理 1.hadoop和hadoop生态系统 hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了G
阅读全文
吴裕雄--天生自然HADOOP学习笔记：基本环境配置
摘要：实验目的 学习安装Java 学习配置环境变量 学习设置免密码登陆的方法 掌握Linux环境下时间同步的配置 实验原理 1.Java的安装 java是大数据的黄金语言，这和java跨平台的特性是密不可分的，大数据的大部分框架，包括hadoop、hbase、tachyon等，都是用java实现，而spa
阅读全文
吴裕雄--天生自然HADOOP学习笔记：使用yum安装更新软件
摘要：实验目的 了解yum的原理及配置 学习软件的更新与安装 学习源代码编译安装 实验原理 1.编译安装 前面我们讲到了安装软件的方式，因为linux是开放源码的，我们可以直接获得源码，自己编译安装。例如：新建一个hello.c的文件，在里面添加一下内容： #include <stdio.h> int m
阅读全文
吴裕雄--天生自然HADOOP学习笔记：Shell工具使用
摘要：实验目的 学习使用xshell工具连接Linux服务器 在连上的服务器中进入用户目录 熟悉简单的文件操作命令 实验原理 熟悉shell命令是熟悉使用linux环境进行开发的第一步，我们在linux的交互式命令行输入的每一个命令都是一个shell指令，Shell本质是一个用C语言编写的程序，它是用户使
阅读全文
吴裕雄--天生自然HADOOP学习笔记：hadoop集群实现PageRank算法实验报告
摘要：实验课程名称：大数据处理技术 实验项目名称：hadoop集群实现PageRank算法 实验类型：综合性 实验日期：2018年 6 月4日-6月14日 学生姓名 吴裕雄 学号 15210120331 班级 软工三班 专业名称 软件工程 实验组 其他成员 无 实验地点 F110 实验成绩 （教师签名）
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：投票程序
摘要：public class ExecDemo{ public static void main(String args[]){ new Operate() ; } }; import java.io.BufferedReader ; import java.io.InputStreamReader ; import java.io.IOException ; public class InputDa
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：单人信息管理程序
摘要：import java.io.* ; public class ExecDemo03{ public static void main(String args[]) throws Exception{ new Menu() ; } }; import java.io.File ; import java.io.FileInputStream ; import java.io.FileOutputS
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：字符编码与对象序列化
摘要：public class CharSetDemo01{ public static void main(String args[]){ System.out.println("系统默认编码：" + System.getProperty("file.encoding")) ; // 获取当前系统编码 } }; import java...
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：压缩流与回退流
摘要：import java.io.File ; import java.io.FileInputStream ; import java.io.InputStream ; import java.util.zip.ZipEntry ; import java.util.zip.ZipOutputStream ; import java.util.zip.ZipFile ; import java.io
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：IO操作实例、Scanner、数据操作流与合并流
摘要：import java.io.* ; public class ExecDemo01{ public static void main(String args[]) throws Exception{ int i = 0 ; int j = 0 ; BufferedReader buf = null ; // 接收键盘的输入数...
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：System类对IO的支持和BuffereRead
摘要：import java.io.OutputStream ; import java.io.IOException ; public class SystemDemo01{ public static void main(String args[]){ OutputStream out = System.out ; // 此时的输出流是向屏幕上输出 try{ out.write("hello wor
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：内存操作流、管道流与打印流操作
摘要：import java.io.* ; class Send implements Runnable{ // 线程类 private PipedOutputStream pos = null ; // 管道输出流 public Send(){ this.pos = new PipedOutputStream() ; // 实例化输出...
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：字节流与字符流操作
摘要：import java.io.* ; public class Copy{ public static void main(String args[]){ if(args.length!=2){ // 判断是否是两个参数 System.out.println("输入的参数不正确。") ; System.out.println("例：java Copy 源文件路径 目标文件路径") ; System
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：RandomAccessFile
摘要：import java.io.File ; import java.io.RandomAccessFile ; public class RandomAccessFileDemo01{ // 所有的异常直接抛出，程序中不再进行处理 public static void main(String args[]) throws Exception{ File f = n...
阅读全文
吴裕雄--天生自然JAVAIO操作学习笔记：File类
摘要：import java.io.File ; import java.io.IOException ; public class FileDemo01{ public static void main(String args[]){ File f = new File("d:\\test.txt") ; // 实例化File类的对象 try{ ...
阅读全文
吴裕雄--天生自然诗经学习笔记 ：岁夜咏怀
摘要：岁夜咏怀 唐代：刘禹锡 弥(mí)年不得意，新岁又如何？ 多年来一直在坎坷不得意中渡过，新的一年又将会如何？ 弥年：即经年，多年来。新岁：犹新年。 念昔同游者，而今有几多？ 回想曾经互相交往的朋友，现在活着的还有多少呢？ 同游者：指志同道合，同游共处的人们。同游：互相交往。 以闲为自在，将寿补蹉(cuō)跎(tuó)。 我把闲居当作自由自在，把长寿看作补回岁月蹉跎。 自在：自由；无拘束。...
阅读全文
吴裕雄--天生自然诗经学习笔记 ：点绛唇·庚午重九再用前韵
摘要：点绛唇·庚午重九再用前韵 宋代：苏轼 不用悲秋，今年身健还高宴。江村海甸(diàn)。总作空花观。 现在身强力壮，发那悲秋的哀叹干什么。无论在村外的江边，都要像看待“空花”一样。 悲愁：悲叹秋天来临。海甸：近海地区。此处指郊外。空花：即空华。虚幻之花，比喻妄念。 尚想横汾(fén)，兰菊纷相半。楼船远。白雪飞乱。空有年年雁(yàn)。 还在想济汾河横中流的情景，兰菊纷纷各半。楼船远去，白雪纷飞，唯
阅读全文
吴裕雄--天生自然诗经学习笔记 ：上山采蘼芜
摘要：上山采蘼芜 两汉：佚名 上山采蘼(mí)芜(wú)，下山逢故夫。 登上山中采蘼芜，下山偶遇前时夫。 蘼芜：一种香草，叶子风干可以做香料。古人相信蘼芜可使妇人多子。 长跪问故夫，新人复何如？ 故人长跪问故夫：“你的新妻怎么样？” 新人虽言好，未若故人姝(shū)。 夫说：“新妻虽不错，却比不上你的好。 姝：好。不仅指容貌。当“新人从门入”的时候，故人是丈夫憎厌的对象，但新人入门之后，丈夫久...
阅读全文
吴裕雄--天生自然诗经学习笔记 ：西江月·夜行黄沙道中
摘要：西江月·夜行黄沙道中 宋代：辛弃疾 明月别枝惊鹊，清风半夜鸣蝉(chán)。稻花香里说丰年，听取蛙(wā)声一片。 皎洁的月光从树枝间掠过，惊飞了枝头喜鹊，清凉的晚风吹来仿佛听见了远处的蝉叫声。在稻谷的香气里，耳边传来一阵阵青蛙的叫声，好像在讨论，说今年是一个丰收的好年景。 黄沙：黄沙岭，在江西上饶的西面。别枝惊鹊：惊动喜鹊飞离树枝。鸣蝉：蝉叫声。 七八个星天外，两三点雨山前。旧时茅(má...
阅读全文
吴裕雄--天生自然诗经学习笔记 ：采桑子·彤霞久绝飞琼字
摘要：采桑子·彤霞久绝飞琼字 清代：纳兰性德 彤霞久绝飞琼(qióng)字，人在谁边？人在谁边，今夜玉清眠不眠。 热切地盼望能得到她的消息，然而她却音信杳然。她如今在哪里呢？到底在哪里呢？今夜她是否也在相思徘徊，不能成眠？ 采桑子：又名丑奴儿，罗敷媚等。双调四十四字，上下片各四句三平韵。彤霞：代指仙境。宋赵鼎《燕归梁》：“绰约彤霞降紫霄，是仙子风标。”飞琼：仙女名，后泛指仙女。谁边：何处，哪里。玉...
阅读全文
吴裕雄--天生自然诗经学习笔记 ：田舍
摘要：田舍 唐代：杜甫 田舍清江曲，柴门古道旁。 田舍：王大将军旧有田舍名。 草深迷市井，地僻懒衣裳。 榉(jǔ)柳枝枝弱，枇(pí)杷(pa)树树香。 榉：一作杨。《本草衍义》：榉木皮，今人呼为榉柳。然叶谓柳非柳，谓槐非槐。吴曾《漫录》：今本作榉柳，非也。枇杷一物，榉柳则二物矣。对对亦胜树树。 鸬(lú)鹚(cí)西日照，晒翅满鱼梁。 鸬鹚：水鸟，蜀人以之捕鱼。 此诗载《全唐诗》卷二二六，当是公元76
阅读全文
吴裕雄--天生自然诗经学习笔记 ：相见欢·微云一抹遥峰
摘要：相见欢·微云一抹遥峰 清代：纳兰性德 微云一抹遥峰，冷溶溶，恰与个人清晓画眉同。 遥远的山峰上飘着一抹微云，冷溶溶的远山，那一抹微云的远山像极了她清晓画的眉形。 微云一抹：即一片微云。溶溶：宽广温润之意。个人：犹言那人，指意中人。画眉：比喻夫妻感情好。 红蜡泪，青绫(líng)被，水沉浓，却与黄茅野店听西风。 妻子一人孤独凄清的盏着红蜡，盖着青菱被，任那水沉香的香气沉晕。但此时自己身在远方，停宿黄
阅读全文
吴裕雄--天生自然诗经学习笔记 ：满江红·拂拭残碑
摘要：满江红·拂拭残碑 明代：文征明 拂拭残碑(bēi)，敕(chì)飞字，依稀堪读。慨当初，倚(yǐ)飞何重，后来何酷。岂是功成身合死，可怜事去言难赎(shú)。最无辜，堪恨更堪悲，风波狱。 拂拭去残碑上的尘土，当年石刻的宋高宗信托岳飞时的诏书还可依稀辨读，令人感慨万分地是，皇帝当初对岳飞是何等的器重，后来又为什么那样的残酷，难道是功高震主就身当该死，可惜事过境迁高宗依托岳飞的诏书难赎惨杀岳飞的罪恶，
阅读全文
吴裕雄--天生自然Hadoop学习笔记：Hadoop简介
摘要：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughp
阅读全文
吴裕雄--天生自然JAVA数据库编程：使用JDBC连接ORACLE数据库
摘要：DROP TABLE person ; DROP SEQUENCE myseq ; CREATE SEQUENCE myseq ; CREATE TABLE person ( id INT PRIMARY KEY NOT NULL , name VARCHAR(50) NOT NULL , age INT , birthday DATE ) ; import java.sql.Connection
阅读全文
吴裕雄--天生自然JAVA数据库编程：使用元数据分析数据库
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; import java.sql.DatabaseMetaData ; import java.sql.ResultSet ; public class DatabaseMetaDataDemo{ // 定义MySQL
阅读全文
吴裕雄--天生自然JAVA数据库编程：事务处理
摘要：DROP TABLE user ; -- 删除表 CREATE TABLE user( id INT AUTO_INCREMENT PRIMARY KEY , name VARCHAR(30) NOT NULL , password VARCHAR(32) NOT NULL , age ...
阅读全文
吴裕雄--天生自然JAVA数据库编程：JDBC2.0操作
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; import java.sql.PreparedStatement ; public class JDBC20BatchDemo{ // 定义MySQL的数据库驱动程序 public static ...
阅读全文
吴裕雄--天生自然JAVA数据库编程：CallableStatement接口
摘要：DELIMITER // DROP PROCEDURE myproc // -- 删除过程 CREATE PROCEDURE myproc(IN p1 int,INOUT p2 int,OUT p3 int) BEGIN SELECT p1,p2,p3 ; -- 输出p1、p2、p3的内容 SET p1=10 ; SET p2=20 ; SET p3=30 ; END // DELIMITER ;
阅读全文
吴裕雄--天生自然JAVA数据库编程：处理大数据对象
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; import java.sql.PreparedStatement ; import java.io.File ; import java.io.FileInputStream ; import java.io.In
阅读全文
吴裕雄--天生自然JAVA数据库编程：PrepareStatement
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; import java.sql.PreparedStatement ; import java.text.SimpleDateFormat ; public class PreparedStatementDemo01
阅读全文
吴裕雄--天生自然JAVA数据库编程：ResultSet接口
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.SQLException ; import java.sql.Statement ; import java.sql.ResultSet ; public class ResultSetDemo01{ // 定义MySQL的数据库驱动程序 pub
阅读全文
吴裕雄--天生自然JAVA数据库编程：执行数据库更新操作
摘要：import java.sql.Connection ; import java.sql.DriverManager ; import java.sql.Statement ; public class DeleteDemo{ // 定义MySQL的数据库驱动程序 public static final String DBDRIVER = "org.gjt.mm.mysql.Driver" ; /
阅读全文
吴裕雄--天生自然JAVA数据库编程：JDBC操作步骤及数据库连接操作
摘要：public class ConnectionDemo01{ // 定义MySQL的数据库驱动程序 public static final String DBDRIVER = "org.gjt.mm.mysql.Driver" ; public static void main(String args[]){ try{ Class.forName(DBDRIVER) ; // 加载驱动程序 }ca
阅读全文
吴裕雄--天生自然JAVA数据库编程：SQL常用语句基础
摘要：DROP TABLE user ; -- 删除表 CREATE TABLE user( id INT AUTO_INCREMENT PRIMARY KEY , name VARCHAR(30) NOT NULL , password VARCHAR(32) NOT NULL , age ...
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：匿名内部类
摘要：interface A{ public void printInfo() ; // } class B implements A{ // 实现接口 public void printInfo(){ System.out.println("Hello World!!!") ; } }; class X { public void fun1(){ this.fun2(new B()) ; } publ
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：包装类
摘要：public class WrapperDemo01{ public static void main(String args[]){ int x = 30 ; // 基本数据类型 Integer i = new Integer(x) ; // 装箱：将基本数据类型变为包装类 int temp = i.intValue() ;// 拆箱：将一个包装类变为基本数据类型 } }; public cla
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：Object类
摘要：class Demo{ // 定义Demo类，实际上就是继承了Object类 }; public class ObjectDemo01{ public static void main(String args[]){ Demo d = new Demo() ; // 实例化Demo对象 System.out.println("不加toString()输出："+d) ; System.out.pri
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：宠物商店实例分析
摘要：interface Pet{ // 定义宠物接口 public String getName() ; public String getColor() ; public int getAge() ; } class Cat implements Pet{ // 猫是宠物，实现接口 private String name ; // 宠物名字 private String color ; // 宠物颜
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：抽象类与接口的应用
摘要：abstract class A{ // 定义抽象类A public abstract void print() ; // 定义抽象方法print() }; class B extends A { // 定义子类，继承抽象类 public void print(){ // 覆写抽象方法 System.out.println("Hello World!!!") ; } }; public class
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：instanceof关键字
摘要：class A{ // 定义类A public void fun1(){ // 定义fun1()方法 System.out.println("A --> public void fun1(){}") ; } public void fun2(){ this.fun1() ; // 调用fun1()方法 } }; class B extends A{ public void fun1(){ // 此
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：对象的多态性
摘要：class A{ // 定义类A public void fun1(){ // 定义fun1()方法 System.out.println("A --> public void fun1(){}") ; } public void fun2(){ this.fun1() ; // 调用fun1()方法 } }; class B extends A{ public void fun1(){ // 此
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：接口的基本实现
摘要：interface A{ // 定义接口A public static final String AUTHOR = "李兴华" ; // 全局常量 public abstract void print() ; // 抽象方法 public abstract String getInfo() ; // 抽象方法 } interface A...
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：抽象类的基本实现
摘要：abstract class A{ // 是定义了一个抽象类 public static final String FLAG = "CHINA" ; // 全局常量 private String name = "李兴华" ; // 定义一个普通的属性 public void setName(String name){ this.name ...
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：final关键字
摘要：final class A{ // 使用final定义类，不能有子类 }; class B extends A{ // 错误，不能被继承 }; class A{ public final void print(){ // 使用final声明的方法不能被覆写 System.out.println("HELLO") ; } }; class B ...
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：继承的应用
摘要：class Array{ // 表示数组 private int temp[] ; // 整型数组 private int foot ; // 定义添加位置 public Array(int len){ if(len>0){ this.temp = new int[len] ; }e...
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：继承的进一步研究
摘要：class Person{ // 定义Person类 private String name ; // 定义name属性 private int age ; // 定义age属性 public Person(){ System.out.println("父类Person中的构造。") ; } public void setName(String name){ this.name = name; }
阅读全文
吴裕雄--天生自然JAVA面向对象高级编程学习笔记：继承的基本实现
摘要：class Person{ // 定义Person类 private String name ; // 定义name属性 private int age ; // 定义age属性 public void setName(String name){ this.name = name; } public void setAge(int age){ this.age = age ; } public S
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：定时调度
摘要：// 完成具体的任务操作 import java.util.TimerTask ; import java.util.Date ; import java.text.SimpleDateFormat ; class MyTask extends TimerTask{ // 任务调度类都要继承TimerTask public void run(){ SimpleDa...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：正则表达式
摘要：public class RegexDemo01{ public static void main(String args[]){ String str = "1234567890" ; // 此字符串由数字组成 boolean flag = true ; // 定义一个标记变量 // 要先将字符串拆分成...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：比较器
摘要：class Student implements Comparable { // 指定类型为Student private String name ; private int age ; private float score ; public Student(String name,int age,float score){ this.na...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：观察者设计模式
摘要：import java.util.* ; class House extends Observable{ // 表示房子可以被观察 private float price ;// 价钱 public House(float price){ this.price = price ; } public float getPrice(){ return this.price ; } public voi
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：Arrays
摘要：import java.util.* ; public class ArraysDemo{ public static void main(String arg[]){ int temp[] = {3,4,5,7,9,1,2,6,8} ; // 声明一个整型数组 Arrays.sort(temp) ; // 进行排序的操作 ...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：对象克隆技术
摘要：class Person implements Cloneable{ // 实现Cloneable接口表示可以被克隆 private String name ; public Person(String name){ this.name = name ; } public void setName(String name){ ...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：大数操作
摘要：import java.math.* ; class MyMath{ public static double add(double d1,double d2){ // 进行加法计算 BigDecimal b1 = new BigDecimal(d1) ; BigDecimal b2 = new BigDecimal(d2) ; ...
阅读全文
吴裕雄--天生自然java开发常用类库学习笔记：NumberFormat
摘要：import java.text.* ; public class NumberFormatDemo01{ public static void main(String args[]){ NumberFormat nf = null ; // 声明一个NumberFormat对象 nf = NumberFormat.getInstance() ; // 得到默认的数字格式化显示 System.ou
阅读全文
|
|
