09 2019 档案

聊一聊 Go 语言的反射
摘要：楔子 本次来聊一聊反射，那什么是反射呢？用大白话解释就是，程序在运行期间可以动态地查看某个变量值的类型，并且还能够动态调用、修改自身的行为。Python 应该是反射机制最为彪悍的语言了，当然查看自身类型更是不在话下，这一点动态语言显然占据绝对的优势。而 Go 虽然作为静态语言，但也是支持反射的，主要 阅读全文
posted @ 2019-09-27 16:16 古明地盆 阅读(3415) 评论(1) 推荐(2)
urllib.parse：很底层，但是是一个处理url路径的好模块
摘要：介绍 urllib.parse是为urllib包下面的一个模块，urllib的其它模块完全可以使用requests替代。但是urlli.parse我们是有必要了解的，因为该模块下面有很多操作url路径的方法 urlparse：拆分url urlunparse：生成url urljoin：组合url 阅读全文
posted @ 2019-09-23 12:34 古明地盆 阅读(925) 评论(0) 推荐(1)
pandas中的Series
摘要：我们使用pandas经常会用到其下面的一个类：Series，那么这个类都有哪些方法呢？另外Series和DataFrame都继承了NDFrame这个类，df.to_sql()这个方法其实就是NDFrame下面的方法。这三个类是我们要介绍的核心，下面先来介绍Series。 创建Series 给Seri 阅读全文
posted @ 2019-09-22 16:54 古明地盆 阅读(1361) 评论(0) 推荐(0)
pandas中Series对象下的str所拥有的方法(df["xx"].str)
摘要：在使用pandas的时候，经常要对DataFrame的某一列进行操作，一般都会使用df["xx"].str下的方法，但是都有哪些方法呢？我们下面来罗列并演示一下。既然是df["xx"].str，那么xx这一列必须是字符串类型，当然在pandas里面是object，不能是整形、时间类型等等。如果想对这 阅读全文
posted @ 2019-09-19 11:51 古明地盆 阅读(3298) 评论(0) 推荐(0)
10.集成学习与随机森林
摘要：1.什么是集成学习 什么是集成学习，以前我们都是使用一个算法来进行预测，难免会有"独断专行"的感觉。集成学习是将多个算法集成在一块，然后多个算法对同一个问题进行预测，然后少数服从多数，这便是集成学习。 我们生活中有很多集成学习的例子，比如买东西的时候看推荐，如果10个人推荐你买A产品，但是只有1个人 阅读全文
posted @ 2019-09-15 22:47 古明地盆 阅读(486) 评论(0) 推荐(0)
9.决策树
摘要：1.什么是决策树 什么是决策树呢？首先我们生活中有很多决策树的例子，比如相亲T_T,很多妹子都会这样选择。 再比如说，某公司招聘机器学习算法工程师。 每一步都在进行一个决策，最终形成了一个倒立的树状结构，我们把这样一个过程称之为决策树。 我们在数据结构当中，也有树结构。这里的决策树同样具备树结构的属 阅读全文
posted @ 2019-09-15 16:52 古明地盆 阅读(731) 评论(0) 推荐(0)
8.支撑向量机SVM
摘要：1.什么是SVM 下面我们就来介绍一些SVM（Support Vector Machine），首先什么是SVM，它是做什么的？SVM，中文名是支撑向量机，既可以解决分类问题，也可以解决回归问题，我们来看看它的思想是怎么样的。 这是一个简单的分类问题，我们很容易想到可以找一个决策边界，那么在决策边界上 阅读全文
posted @ 2019-09-15 12:42 古明地盆 阅读(594) 评论(0) 推荐(0)
7.评价分类结果
摘要：1.准确度的陷阱和混淆矩阵 我们之前对于分类问题，一直使用分类的准确度评价分类的结果，但是实际上分类问题的评价比回归问题的评价要复杂很多，相应的指标也多很多。可是之前使用准确度来进行评价不是挺好吗？但其实准确度是有一个很大的问题的，举个例子 我有一个癌症检测系统，通过对人进行体检，那么可以判断这个人 阅读全文
posted @ 2019-09-13 23:03 古明地盆 阅读(730) 评论(0) 推荐(0)
全面解析流处理框架 Flink，以及和 Python 的结合
摘要：初识 Flink 与流计算 Flink 在大数据领域已经应用的越来越广泛，很多大公司内部都有它的身影，那么问题来了，Flink 到底是用来做什么的呢？ 首先提到 Flink 必然绕不开流计算（或者说流式计算、流处理等等），因为 Flink 是一个分布式、高性能的流计算引擎。比如天猫的成交额一分钟能破 阅读全文
posted @ 2019-09-12 14:21 古明地盆 阅读(7803) 评论(2) 推荐(3)
聊一聊 Go 语言的接口
摘要：楔子 当你使用 Go 一段时间之后，肯定会发现一个问题：那就是 Go 对类型的检查太严格了。当然这是一件好事，可以避免我们犯错误，但有些时候我们需要一个变量能够接收不同类型的值。比如在定义函数参数的时候，我们希望参数可以接收多种类型的值，那么这个时候该怎么做呢？ 为了解决这一问题，Go 为我们提供了 阅读全文
posted @ 2019-09-11 11:18 古明地盆 阅读(3875) 评论(1) 推荐(0)
你真的了解python的with语句吗？通过分析contextlib源码让你彻底掌握with的用法
摘要：楔子 下面我们来聊一下Python中的上下文管理，Python中的上下文管理我们可以通过with语句实现。在Python中使用with语句最多的情况，莫过于操作文件了，比如我们在打开一个文件的时候会通过类似于with open("test.txt", encoding="utf-8") as f: 阅读全文
posted @ 2019-09-08 19:28 古明地盆 阅读(1016) 评论(2) 推荐(0)
全方位介绍大数据生态圈中最基础、最重要的组件Hadoop
摘要：大数据概述 大数据这个概念近年来算是如火如荼，那什么是大数据呢？首先从名字来看，我们可以简单地认为数据量大，而数据量大也就意味着计算量大。这样理解本身是没有任何问题的，只不过这并不能很好的定义大数据。 而业界的一家权威的机构，针对大数据做了描述，认为大数据应该具备如下特征： 1）数据量（Volume 阅读全文
posted @ 2019-09-06 09:50 古明地盆 阅读(2191) 评论(1) 推荐(2)
signal,blinker：信号（看我脸色行事）
摘要：signal 什么是信号(signal)? 信号在linux中被用来进行进程间的通信和异步处理，简单地可以理解会为回调函数，当发送一个信号时，会触发相应的操作。python中的signal模块便是用来处理信号的，需要注意的是，这个模块不能在Windows上使用，因为Windows内核对信号的支持不是 阅读全文
posted @ 2019-09-02 14:15 古明地盆 阅读(910) 评论(0) 推荐(0)
pathlib:处理文件路径的瑞士军刀
摘要：pathlib是python3.4中引入的模块，专门用来处理路径的。个人觉得这是一个非常非常强大的模块，可以说是处理路径的一把瑞士军刀，下面我们就来看看它的功能。 Path的实例对象 操作路径 相关操作 关于Path类的所有属性如下，感兴趣的话，可以看源码继续深入研究一下 阅读全文
posted @ 2019-09-01 01:52 古明地盆 阅读(490) 评论(0) 推荐(1)