2018 年 4月随笔档案 - 未雨愁眸

文物鉴赏

摘要：1. 工艺鎏金：将金和水银合成金汞剂，涂在铜器表面，然后加热使水银蒸发，金就附着在器面不脱。错金是指一种金属丝镶嵌的工艺，用金银丝在器物的表面上镶嵌成花纹或文字。2. 瓷器五大名窑：汝官哥钧定；汝窑：以釉色取胜；釉色：天蓝釉；雨过天晴云破处，者般颜色做将来；霁... 阅读全文

posted @ 2018-04-30 00:21 未雨愁眸阅读(157) 评论(0) 推荐(0)

日志的处理 —— 使用 log4j

摘要：通过 log4j，日志信息不仅打印到 console，而且输出到指定文件，根据配置信息； log4j log4j 1.2.171. startup如下 demo 所示为使用 logger 的三种简单方法；public class LogTest{ ... 阅读全文

posted @ 2018-04-27 22:08 未雨愁眸阅读(286) 评论(0) 推荐(0)

pandas DataFrame 索引（iloc 与 loc 的区别）

摘要：Pandas——ix vs loc vs iloc区别0. DataFrameDataFrame 的构造主要依赖如下三个参数：data：表格数据；index：行索引；columns：列名； index 对行进行索引，columns 对列进行索引；import pand... 阅读全文

posted @ 2018-04-27 22:04 未雨愁眸阅读(1010) 评论(0) 推荐(0)

编程规范 —— 类的命名

摘要：1. 用于操作的类操作类的命名：名词做宾语，但因为是类，宾语置前，动词在后； OperatorAssignmentGridSpec 阅读全文

posted @ 2018-04-27 21:49 未雨愁眸阅读(354) 评论(0) 推荐(0)

pandas 操作 excel

摘要：1. 多重 sheetUsing Pandas to pd.read_excel() for multiple worksheets of the same workbookpd.read_excel() ⇒ 将 excel 的第一个 sheet 读取到 DataFr... 阅读全文

posted @ 2018-04-26 21:54 未雨愁眸阅读(397) 评论(0) 推荐(0)

matplotlib 操作子图（subplot，axes）

摘要：Matplotlib 中文用户指南 3.3 使用 GridSpec 自定义子图位置ax：matplotlib.axes._subplots.AxesSubplot，的基本操作 ax.set_xticks([]), ax_set_yticks([])：关闭坐标刻度ax.... 阅读全文

posted @ 2018-04-26 21:46 未雨愁眸阅读(1546) 评论(0) 推荐(0)

python perlin noise

摘要：python 利用 noise 生成纹理。# -*- coding: utf-8 -*-"""Created on Mon Apr 23 20:04:41 2018@author: shiyi"""import random, mathimport cv2import... 阅读全文

posted @ 2018-04-23 20:14 未雨愁眸阅读(1347) 评论(0) 推荐(0)

tensorflow模型持久化保存和加载

摘要：模型文件的保存tensorflow将模型保持到本地会生成4个文件：meta文件：保存了网络的图结构，包含变量、op、集合等信息ckpt文件：二进制文件，保存了网络中所有权重、偏置等变量数值，分为两个文件，一个是.data-00000-of-00001 文件，一个是 ... 阅读全文

posted @ 2018-04-23 19:49 未雨愁眸阅读(462) 评论(0) 推荐(0)

tensorflow读取训练数据方法

摘要：1. 预加载数据 Preloaded data# coding: utf-8import tensorflow as tf# 设计Graphx1 = tf.constant([2, 3, 4])x2 = tf.constant([4, 0, 1])y = tf.add... 阅读全文

posted @ 2018-04-22 18:53 未雨愁眸阅读(574) 评论(0) 推荐(0)

tensorflow中的参数初始化方法

摘要：1. 初始化为常量tf中使用tf.constant_initializer(value)类生成一个初始值为常量value的tensor对象。constant_initializer类的构造函数定义：def __init__(self, value=0, dtype=d... 阅读全文

posted @ 2018-04-21 22:14 未雨愁眸阅读(908) 评论(0) 推荐(0)

tensorflow中屏蔽输出的log信息方法

摘要：tensorflow中可以通过配置环境变量 'TF_CPP_MIN_LOG_LEVEL' 的值，控制tensorflow是否屏蔽通知信息、警告、报错等输出信息。使用方法：import osimport tensorflow as tfos.environ['TF_CP... 阅读全文

posted @ 2018-04-21 15:14 未雨愁眸阅读(1160) 评论(0) 推荐(0)

pycharm中tensorflow代码不能自动补全或import红线问题解决

摘要：正确安装并配置好pycharm+tensorflow环境之后，可能在pycharm中导入tensorflow会有以下问题：1. " import tensorflow as tf " 会有红线提示找不到tensorflow，但是运行的话可以正常运行2. tensorf... 阅读全文

posted @ 2018-04-21 14:24 未雨愁眸阅读(2479) 评论(0) 推荐(0)

tensorflow中常用学习率更新策略

摘要：神经网络训练过程中，根据每batch训练数据前向传播的结果，计算损失函数，再由损失函数根据梯度下降法更新每一个网络参数，在参数更新过程中使用到一个学习率（learning rate），用来定义每次参数更新的幅度。过小的学习率会降低网络优化的速度，增加训练时间，过大的学... 阅读全文

posted @ 2018-04-20 13:10 未雨愁眸阅读(5568) 评论(1) 推荐(0)

交叉熵损失函数和均方误差损失函数

摘要：交叉熵分类问题中，预测结果是（或可以转化成）输入样本属于n个不同分类的对应概率。比如对于一个4分类问题，期望输出应该为 g0=[0,1,0,0] ，实际输出为 g1=[0.2,0.4,0.4,0] ，计算g1与g0之间的差异所使用的方法，就是损失函数，分类问题中常用... 阅读全文

posted @ 2018-04-19 20:31 未雨愁眸阅读(1645) 评论(0) 推荐(0)

python中几个实用的文件操作

摘要：1. 判断指定目录是否存在:os.path.exists(input_folder)2. 判断指定目录是不是文件夹os.path.isdir(input_folder)3. 判断指定目录是不是文件os.path.isfile(input_folder)4. 判断指定文... 阅读全文

posted @ 2018-04-17 22:03 未雨愁眸阅读(841) 评论(0) 推荐(0)

特征选择 - Filter、Wrapper、Embedded

摘要：Filter methods:information gainchi-square testfisher scorecorrelation coefficientvariance thresholdWrapper methods:recursive feature e... 阅读全文

posted @ 2018-04-16 23:28 未雨愁眸阅读(1866) 评论(0) 推荐(0)

特征工程 —— 特征重要性排序（Random Forest）

摘要：树模型天然会对特征进行重要性排序，以分裂数据集，构建分支；1. 使用 Random Forestfrom sklearn.datasets import load_bostonfrom sklearn.ensemble import RandomForestReg... 阅读全文

posted @ 2018-04-16 23:17 未雨愁眸阅读(5838) 评论(0) 推荐(0)

统计学（检验、分布）的 python（numpy/pandas/scipy）实现

摘要：scipy 中统计相关的 api：https://docs.scipy.org/doc/scipy/reference/stats.htmlhttps://zhuanlan.zhihu.com/p/24635014https://blog.csdn.net/lanch... 阅读全文

posted @ 2018-04-15 21:26 未雨愁眸阅读(523) 评论(0) 推荐(0)

【论文解读】行人检测：What Can Help Pedestrian Detection?（CVPR'17）

摘要：前言本篇文章出自CVPR2017，四名作者为Tsinghua University，Peking University, 外加两名来自Megvii（旷视科技）的大佬。文章中对能够帮助行人检测的extra features做了诸多分析，并且提出了HyperLearne... 阅读全文

posted @ 2018-04-14 10:55 未雨愁眸阅读(1461) 评论(0) 推荐(0)

python 兼容中文路径 + 目标文件是否是图像格式判断

摘要：1. 中文路径兼容python程序如果路径中包含中文字符，不加处理会有类似报错：'ascii' codec can't decode byte 0xxx in position xx：ordinal not in range(128)解决方法：path = unico... 阅读全文

posted @ 2018-04-12 20:14 未雨愁眸阅读(1139) 评论(0) 推荐(0)

tensorflow中 tf.add_to_collection、 tf.get_collection 和 tf.add_n函数

摘要：tf.add_to_collection(name, value) 用来把一个value放入名称是‘name’的集合，组成一个列表;tf.get_collection(key, scope=None) 用来获取一个名称是‘key’的集合中的所有元素，返回的是一个列表... 阅读全文

posted @ 2018-04-12 07:42 未雨愁眸阅读(1652) 评论(0) 推荐(0)

深度学习攒机：要高性能也要很便宜

摘要：一直使用VirtualBox安装的ubuntu来玩各种开源的代码库，也没觉得什么不爽的，更重要的是windows的各种工具软件和银行也能同时使用；要说virtualBox+ubuntu的缺点就是：1：硬盘空间老是捉襟见肘，不敢放开放大批量的数据；2 和硬件结合不方便，... 阅读全文

posted @ 2018-04-11 10:20 未雨愁眸阅读(863) 评论(0) 推荐(0)

命令行视频（ts/m3u8）下载工具 —— youtube-dl（ffmpeg 解码）

摘要：youtube-dl 支持的站点：youtube-dl Supported sitesyoutube-dl 命令行参数： –version：查看版本；1. 命令行工具安装安装视频编解码工具 ffmpeg：Download FFmpeg 免安装，解压即可，并将 ff... 阅读全文

posted @ 2018-04-05 23:08 未雨愁眸阅读(2037) 评论(0) 推荐(0)

cool 软件 —— Carnac（实时桌面显示按键）

摘要：1. Carnac下载地址：Carnac, the Magnificent Keyboard Utility使用说明：carnac – 在屏幕实时显示按键操作阅读全文

posted @ 2018-04-05 21:05 未雨愁眸阅读(361) 评论(0) 推荐(0)

认识 ARM、FPGA

摘要：0. ARMARM：Advanced RISC machine，微处理行业的一家知名企业。适用于多种领域，如嵌入控制，消费、教育类多媒体、DSP和移动式应用。优势：功耗低，不容易发热、死机；32 位指令集；生态丰富；1. FPGAField－Programmable ... 阅读全文

posted @ 2018-04-05 20:34 未雨愁眸阅读(446) 评论(0) 推荐(0)

scikit-learn 学习笔记-- Generalized Linear Models （三）

摘要：Bayesian regression前面介绍的线性模型都是从最小二乘，均方误差的角度去建立的，从最简单的最小二乘到带正则项的 lasso，ridge 等。而 Bayesian regression 是从 Bayesian 概率模型的角度出发的，虽然最后也会转换成一个... 阅读全文

posted @ 2018-04-05 10:14 未雨愁眸阅读(147) 评论(0) 推荐(0)

python 机器学习库 —— featuretools（自动特征工程）

摘要：文档：https://docs.featuretools.com/#minute-quick-start所谓自动特征工程，即是将人工特征工程的过程自动化。以 featuretools 为代表的自动特征工程在整个机器学习的端到端实践中扮演的角色如下图所示： 1. de... 阅读全文

posted @ 2018-04-03 22:48 未雨愁眸阅读(567) 评论(0) 推荐(0)

tensorflow中summary操作

摘要：tf中 tensorboard 工具通过读取在网络训练过程中保存到本地的日志文件实现数据可视化，日志数据保存主要用到 tf.summary 中的方法。 tf.summary中summary是tf中的一个py文件，位置在 '/tensorflow/python/summ... 阅读全文

posted @ 2018-04-03 22:25 未雨愁眸阅读(1447) 评论(0) 推荐(0)

前端 —— SVG

摘要：0. 简介SVG：可缩放矢量图形； SVG 是代码，通过浏览器的解析而渲染成一种图形；可缩放矢量图形是基于可扩展标记语言（XML），以描述二维矢量图形的一种图形格式，由万维网联盟（ World Wide Web Consortium，W3C）指定，是一个开放标准；矢量... 阅读全文

posted @ 2018-04-03 22:15 未雨愁眸阅读(318) 评论(0) 推荐(0)

本地代码同步到github

摘要：1 设置 ssh 公钥信息首先你要确保 github 账号设置了ssh 公钥信息。如果没有的话可以按照下面的方式设置：前往 github 网站的 account settings，依次点击 Setting -> SSH Keys -> New SSH keytitl... 阅读全文

posted @ 2018-04-03 10:44 未雨愁眸阅读(380) 评论(0) 推荐(0)

tensorflow中 tf.reduce_mean函数

摘要：tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。reduce_mean(input_tensor, axis=None, ... 阅读全文

posted @ 2018-04-03 08:45 未雨愁眸阅读(1204) 评论(0) 推荐(0)

tensorflow中共享变量 tf.get_variable 和命名空间 tf.variable_scope

摘要：tensorflow中有很多需要变量共享的场合，比如在多个GPU上训练网络时网络参数和训练数据就需要共享。tf通过 tf.get_variable() 可以建立或者获取一个共享的变量。 tf.get_variable函数的作用从tf的注释里就可以看出来-- ‘Gets... 阅读全文

posted @ 2018-04-02 20:24 未雨愁眸阅读(220) 评论(0) 推荐(0)

Python 傅里叶分析

摘要：0. 一维序列卷积np.convolve，注意 same/valid参数下（默认为 full），序列卷积出的结果的长度：>> np.convolve([1, 2, 3], [0, 1, 0.5])array([ 0. , 1. , 2.5, 4. , 1.5]... 阅读全文

posted @ 2018-04-01 21:35 未雨愁眸阅读(1352) 评论(0) 推荐(0)

scikit-learn 学习笔记-- Generalized Linear Models （二）

摘要：Lasso regression今天介绍另外一种带正则项的线性回归， ridge regression 的正则项是二范数，还有另外一种是一范数的，也就是lasso 回归，lasso 回归的正则项是系数的绝对值之和，这种正则项会让系数最后变得稀疏：minw12N&#x2... 阅读全文

posted @ 2018-04-01 19:48 未雨愁眸阅读(170) 评论(0) 推荐(0)

tensorflow中协调器 tf.train.Coordinator 和入队线程启动器 tf.train.start_queue_runners

摘要：TensorFlow的Session对象是支持多线程的，可以在同一个会话（Session）中创建多个线程，并行执行。在Session中的所有线程都必须能被同步终止，异常必须能被正确捕获并报告，会话终止的时候，队列必须能被正确地关闭。TensorFlow提供了两个类来... 阅读全文

posted @ 2018-04-01 18:52 未雨愁眸阅读(1192) 评论(0) 推荐(0)

tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数

摘要：tensorflow数据读取机制tensorflow中为了充分利用GPU，减少GPU等待数据的空闲时间，使用了两个线程分别执行数据读入和数据计算。具体来说就是使用一个线程源源不断的将硬盘中的图片数据读入到一个内存队列中，另一个线程负责计算任务，所需数据直接从内存队列中... 阅读全文

posted @ 2018-04-01 12:05 未雨愁眸阅读(488) 评论(0) 推荐(1)