随笔分类 - python
摘要：预处理操作是机器学习整个周期中必不可少的一个过程，也是最能快速改善模型性能的一个过程，往往稍微转换一下特征属性的形态，就能得到性能的极大提升。当然，数据预处理绝对也是耗时最长的一个过程，这一过程不仅要求洞悉整个数据集结构分布，还要探查每一个特征属性细节情况，并作出应对处理，使数据以最适合的状态传输给模型。
针对预处理操作，sklearn中提供了许多模块工具，灵活使用工具可以让数据预处理轻松很多。
本文简要介绍数据预处理中的一些主要方法，并结合sklearn中提供的模块进行实践。
阅读全文
摘要：本文总结TensorFlow2.0中均方差损失函数和交叉熵损失函数。
阅读全文
摘要：激活函数是深度学习，亦或者说人工神经网络中一个十分重要的组成部分，它可以对神经元的接收信息进行非线性变换，将变换后的信息输出到下一层神经元。
阅读全文
摘要：在整个机器学习过程中，除了训练模型外，应该就属数据预处理过程消耗的精力最多，数据预处理过程需要完成的任务包括数据读取、过滤、转换等等。为了将用户从繁杂的预处理操作中解放处理，更多地将精力放在算法建模上，TensorFlow中提供了data模块，这一模块以多种方式提供了数据读取、数据处理、数据保存等功能。本文重点是data模块中的Dataset对象。
阅读全文
摘要：总结TensorFlow2.0中实现张量限幅功能的多个api，包括 maxmium()、minmium()、clip_by_value()、relu()、cli_by_norm()、clip_by_global_norm()
阅读全文
摘要：总结TensorFlow2.0中几个填充复制功能的api。
阅读全文
摘要：总结TensorFlow2.0中排序，求最大值、最小值、平均值等方法，涉及sort()、argsort()、reduce_min()、reduce_max()、redece_mean()、argmin()、argmax()等方法。
阅读全文
摘要：TensorFlow2.0张量数学运算，包括加（+）、减（-）、点乘（*）、除（/）、地板除法（//）、取余（%）、指数运算、对数运算、矩阵相乘、范数等。
阅读全文
摘要：TensorFlow2.0版本已经发布，虽然不是正式版，但预览版都发布了，正式版还会远吗？相比于1.X，2.0版的TensorFlow修改的不是一点半点，这些修改极大的弥补了1.X版本的反人类设计，提升了框架的整体易用性，绝对好评！
赶紧来学习一波吧，做最先吃螃蟹的那一批人！先从TensorFlow的基本数据结构——张量（tensor）开始。
阅读全文
摘要：数据分析、数据挖掘、可视化是Python的众多强项之一，但无论是这几项中的哪一项都必须以数据作为基础，数据通常都存储在外部文件中，例如txt、csv、excel、数据库。本篇中，我们来捋一捋Python中那些外部数据文件读取、写入的常用方法
阅读全文
摘要：本文大致介绍了Pandas中的两种重要数据结构Series数组对象和DataFrame数组对象的特点、主要创建方法、属性。对于从数组对象中进行切片、索引数据的方法
阅读全文
摘要：本文是作为Python数据分析入门系列博客，详细介绍了numpy最基本、最常用、最重要的数据结构——ndarray数组的使用。
阅读全文
摘要：装饰器（Decorators）可能是Python中最难掌握的概念之一了，也是最具Pythonic特色的技巧，深入理解并应用装饰器，你会更加感慨——人生苦短，我用Python。
阅读全文
摘要：本文结合对Flask源码的分析总结分析了Flask配置管理的使用方法。Flask通过Config配置类中的6个方法，对应得提供了6种配管管理方式。本文通过代码实例演示每种方式的使用方法，还深度剖析了源码，总结思路，相信你不进可以知其然还可以知其所以然。
阅读全文
摘要：只要你学了Python语言，就不会不知道for循环，也肯定用for循环来遍历一个列表（list)，那为什么for循环可以遍历list，而不能遍历int类型对象呢？怎么让一个自定义的对象可遍历？
这篇博客中，我们来一起探索一下这个问题，在这个过程中，我们会介绍到迭代器、可迭代对象、生成器，更进一步的，我们会详细介绍他们的原理、异同。
阅读全文
摘要：pymysql是Python操作mysql的最主要方法，本文详细介绍pymysql的建库、建表和增删改查操作。
阅读全文
摘要：线性回归算法应该是大多数人机器学习之路上的第一站，因为线性回归算法原理简单清晰，但却囊括了拟合、优化等等经典的机器学习思想。本篇详细介绍了线性回归算法的原理，并在最后使用代码实现了线性回归算法。
阅读全文
摘要：当使用selenium+webdriver写爬虫被检测到时，pyppeteer是你得不二选择，几乎所有能在人工操作浏览器进行的操作通过pyppeteer都能实现，且能完美避开官方对webdriver的检测。
阅读全文
摘要：本文记录了一次某主流电商平台网络爬虫js逆向解密经历。
阅读全文
摘要：scrapy-redis是对scrapy改进，在分布式爬虫开发上有卓越的表现，但由于scrapy-redis只从redis中读取起始url，导致发送POST困难，本文从源码出发，逐步探寻、解释scrapy-redis实例化request对象流程，并通过美团爬虫实例演示scrapy-redis框架发送POST请求方法。
阅读全文
浙公网安备 33010602011771号