06 2021 档案
摘要：随着人们的生活和行为不断融入互联网，互联网金融犹如一头突然闯入的猛兽，不断冲击着传统银行的地盘。 大数据 的出现，给了银行们反击的机遇，借助庞大的 金融大数据 ，银行可以实现精准决策和快速反应。 大数据分析 在金融行业的广泛应用，已经是不可阻挡的时代趋势， 极星大数据 分析平台，顺应趋势，为金融机构
阅读全文
摘要：大数据分析所需要的十大技术 【本文内容与本人所在的公司无关，完全是休闲聊天，敬请随意转发】 赵锴 KaiZhao 如果你要成为大数据分析中的佼佼者，那么你怎么也得清楚地知道下面的大数据分析的十大技术。 1: 数据仓库技术 全球数据仓库的领导者是Teradata。 Teradata收购的Aster D
阅读全文
摘要：原文： [ Building High Performance Big Data Analytics Systems ](https://dzone.com/articles/building-high-performance-big-data-and- analytics-s) 译者： 袁璞，圣特
阅读全文
摘要：** 一、缘起 ** 我在杭州有位朋友，提到有家做社交的电商很火，叫拼多多，我没有在意，直到有一天，我居然在电视上看到了它的广告，广告画面活蹦乱跳，余音绕梁，我惊呆了，想知道这是何方YL，不，何方神圣，网上搜了下，流传着各种版本，比如月GMV超过400亿，已经威胁到京东淘宝等。 ** 辣么，怎么样才
阅读全文
摘要：“ 最近一份据说是埃森哲的大数据分析PPT莫名被朋友分享，真实与否暂不考究，但是就PPT内容来说，对于数据分析还是很翔实的，有很多实用的大数据分析方法 ” 0、简述 PPT的内容非常多，具体目录： 1、概述 2、数据分析框架 3、数据分析方法 **3.1 数据理解 &数据准备 ** 3.2 分类与回
阅读全文
摘要：作为系列文章的第六篇，本文将重点探讨数据处理层中数据仓库的建设。在第二篇 [ 运营数据系统 ](http://blog.csdn.net/zwgdft/article/details/53467974) 一文，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进
阅读全文
摘要：大数据在近几年受到越来越多的关注，如何将大数据快速落地于生产实践，产生相应的经济价值一直是一个值得关注的问题。当谈到大数据，人们首先想到的是，是不是的linux,是不是的学习java,这给大数据技术的应用带来一定的困难。如果，有一款通用的大数据平台，只需要针对具体的业务系统修改数据库和算法即可快速使
阅读全文
摘要：最近有不少同学向大讲台老师咨询有关数据分析职业发展的问题，由此可见，随着大数据的飞速发展， 数据分析 职业也成为很多同学关注的目标。不要急，大讲台老师这就给大家介绍数据分析的职业发展。 入门和职业规划应该从两个角度考虑：领域和路线。 领域是不少新人常忽略的要素，其实数据分析不会脱离业务存在。你进入哪
阅读全文
摘要：pandas数据分析常用函数总结 导入模块 创建数据集并读取 2.1 创建数据集 2.2 数据写入和读取 数据查看 3.1 数据集基础信息查询 3.2 数据集整体情况查询 数据清洗 4.1 查看异常值 4.2 空值处理 4.2.1 空值检测 4.2.2 空值处理 4.3 空格处理 4.4 大小写转换
阅读全文
摘要：数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式： 1. 分类 分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能
阅读全文
摘要：此文是转载的，转载了我朋友的。 今天给大家分享一下数据分析基础的一些学习笔记，希望对你有用。 } 一、爬虫部分 背景 需求来源于生活 大
阅读全文
摘要：【牛客】网易2018实习生招聘笔试题——数据分析师实习生解析 选择题根据牛客网下方讨论整理，三道大题均为自己答案，欢迎大家讨论并给予指正。 （ [ https://www.nowcoder.com/test/10780714/summary ](https://www.nowcoder.com/te
阅读全文
摘要：0x00 前言 最近很多小伙伴都来问居士入门数据分析看什么书比较好，之前一直没有写文章来回答是因为还有一两本书没翻完，自己没好好看的书，居士不太愿意分享的。 而，之前看到的很多别人的推荐书单也都是比较陈旧的那种，你抄我我抄你，内容也并不太适合入门，或者至少居士自己不太满意。 这次，推荐给大家的5本书
阅读全文
摘要：美国工业互联网联盟（I IC）技术与架构任务组联执主席、Thingswise,LLC首席执行官/联合创始人林诗万先生认为，数据分析对推动智能制造具有核心作用，只有得到有作用的分析结果，智能制造才能得以实现。 ** ** 人工智能赛博物理操作系统 AI-CPS OS “ 人工智能赛博物理操作系统 ”
阅读全文
摘要：# coding:utf-8 """ logistic 回归， 自动建模 """ import pandas as pd # 参数初始化 filename = r"C:\learning\DataMining\Book\Python_DataMining\Data\chapter5\demo\dat
阅读全文
摘要：第四章 4.1 读写不同数据源的数据 4.1.1 读/写数据库数据 数据库 数据读取： 注意：数据库的用户名（一般都是root）和密码（自己设置的）都是要用自己的，地址默认的127.0.0.1 读取函数（你自己把文件存在哪了？）和存储函数（你要把问价存在哪？）的路径，一定要区别开 先明确读取表与查询
阅读全文
摘要：**[ 《Python数据分析与挖掘实战》第六章案例代码总结与修改分析 ](https://blog.csdn.net/fy_1852003327/article/details/10659265) ** 一、实验目的 1.掌握拉格朗日插值算法进行缺失值处理的方法。 2.掌握LM神经网络和CART决
阅读全文
摘要：本文是对《Python数据分析与挖掘实战》实战篇第二章——航空公司客户价值分析上机实验的记录。 实验目的为： 了解K-Means算法在客户价值分析实例中的应用。 利用Pandas快速实现数据Z-score（标准差）标准化以及用Scikit-Learn的聚类库实现K-Means聚类。 具体实验过程分为
阅读全文
摘要：本文是基于《Python数据分析与挖掘实战》的实战部分的第八章的数据——《中医证型关联规则挖掘》做的分析。 旨在补充原文中的细节代码，并给出文中涉及到的内容的完整代码。 主要有：1）将原始数据按照聚类结果进行标记类别 1 背景与目标分析 此项目旨在根据相关数据建模，获取中医证素与乳腺癌TNM分期之间
阅读全文
摘要：分类与预测 主要分类与预测算法 回归分析 确定预测值与其他变量关系。线性、非线性、Logistic、岭回归、主成分回归等 决策树 自顶向下分类 人工神经网络 用神经网络表示输入与输出之间的关系 贝叶斯网络 又称信度网络，是不确定知识表达和推理领域最有效的理论模型之一 支持向量机 将低维非线性可分转化
阅读全文
摘要：1.数据质量分析 主要任务是检查原始数据中是否存在脏数据，包括缺失值，异常值，不一致值， 重复数据及特殊符号数据 缺失值 ，包括记录缺失和记录的某字段缺失等 产生原因：无法获取、遗漏、属性值不存在； 影响：有用信息缺乏、不确定性加重、不可靠 处理：删除、补全、不处理 异常值 ，不合常理的数据，剔除可
阅读全文
摘要：第 3 章数据探索（重要） ** ** ** 数据质量分析 ** 是数据预处理的前提，是数据挖掘分析结论有效性和准确性的基础，其主要任务 ** 是检查原始数据中是否存在脏数据， ** 脏数据包括： 缺失值 异常值 不一致的值 重复数据及含有特殊符号（如 # 、￥、 * ）的数据 本小节将主要对数据中
阅读全文
摘要：本章是对应用系统负载和磁盘容量进行分析和预测，涉及到的数据为时间序列数据，因此最后是用ARMA模型去拟合。 本文主要包含以下部分： ARMA模型 平稳性检验 白噪声检验 Python实战 总结 ARMA模型 关于ARMA模型，具体可看 [ 时间序列中的ARMA模型 ](http://www.more
阅读全文
摘要：一、分析方法与过程 本次针对京东商城上的“美的”热水器的文本评论数据进行建模分析。本文进行基本的预处理、分词等操作后建立LDA主题模型，实现对文本评论数据的倾向性判断及信息挖掘分析。 （1）利用爬虫进行数据采集（由于最近较忙，爬虫代码等空了再附上，暂且先用书中提供的数据进行建模），原始文本评论数据为
阅读全文
摘要：序 言 数据可视化是关于数据视觉表现形式的技术，这种数据的视觉表现形式被定义为以某种概要形式抽取出来的信息，目的是要直观地展现数据，让用户花费数小时甚至更久才能归纳的规律，转化成一眼就能读懂的可视化图表。 本书基于 Power BI 编写，详细介绍了Power BI的数据可视化功能，包括数据类型和运
阅读全文
摘要：利用python进行数据分析 麦金尼 代码实测常见问题汇总 第1章 准备工作 IPython安装及使用： 开始菜单输入cmd进入命令行； 输入"pip install ipython"进行安装； 输入ipython进入IPython运行模式。 书中示例数据下载地址： [ https://github
阅读全文
摘要：《利用python进行数据分析.第三版》 第四章 Numpy 一、numpy的ndarray:一种多维数组对象 创建nadrray 属性： arr.nidm:维度 arr.shape：维度大小 arr.dtype：数值类型 表达规则： np.函数(列表或元祖) 1.np.array(列表或者元祖)；
阅读全文
摘要：写在前面的话 你好，我是小一 又要开始新的系列了，这个系列保证你一定会喜欢 考虑到前面的系列都是基础内容，而且篇幅还不少 所以这个系列打算多来点实战项目，像今天这种的，先做他十几二十个再说。 至于源码都会分享出来，一般都会在文末，需要的同学自取 做一下必要的介绍： 小一使用的Python版本是3.8
阅读全文
摘要：| ### 《从1开始数据分析师成长之路》学习笔记 | | | | - - 一、描述、概括、分析 | | - - 1. 描述 | | - 2. 概括 | | - 3. 分析 | | - 4. 小结： | | - 二、传统数据VS大数据 | | - - 1. 数据获取方式 | | - 2. 传统数据与
阅读全文
摘要：python—B站弹幕数据分析 1 背景 在视频网站上，一边看视频一边发弹幕已经是网友的习惯。B站就是其中一个比较出名的弹幕网站，许多年轻人都喜欢逛B站,看喜欢的动漫亦或某些UP主做的一些剪辑。本项目，就是对B站弹幕数据进行分析。选取分析的对象是B站上一部国漫《全职高手》。 2 环境的安装 本项目实
阅读全文
摘要：美国的零售业采用数据分析的方法，能够判断并预测消费者的购物行为。本文以大型连锁超市Target为例，详述该企业如何获知女性消费者的身体状况，同时在适当的时机以适当的方式进行推销。当我们发现自己被别人了解的是如此之多的时候，这种现象的意义也就超过了商业本身。 译者+审校： jiangyh 、 [ 水犹
阅读全文
摘要：【译言协作】塔吉特读心术——用户数据分析的魔力 美国的零售业采用数据分析的方法，能够判断并预测消费者的购物行为。本文以大型连锁超市Target为例，详述该企业如何获知女性消费者的身体状况，同时在适当的时机以适当的方式进行推销。当我们发现自己被别人了解的是如此之多的时候，这种现象的意义也就超过了商业本
阅读全文
摘要：PART 1 数据分析概念与职业操守 ** 1 ** ** 、 ** 数据分析概念、方法论、角色 ** （占比 ** ** 1% ** ** ） ** 【领会】 数据分析基本概念（数据分析、数据挖掘、大数据） 数据分析目的及其意义 数据分析 （Data Analysis）：是以数据为分析对象，以探索
阅读全文
摘要：用Python实现出来的机器学习算法都是什么样子呢？ 前两期线性回归及逻辑回归项目已发布（见文末链接），今天来讲讲BP神经网络。 BP神经网络 全部代码 [ https://github.com/lawlite19/MachineLearning_Python/blob/master/NeuralN
阅读全文
摘要：学生管理系统 相信大家学各种语言的时候，练习总是会写各种管理系统吧，管理系统主要有对数据的增删查改操作，原理不难，适合作为练手的小程序 数据的结构 要保存数据就需要数据结构，比如c里面的结构体啊，python里面的列表，字典，还有类都是常用的数据类型 在这里，我使用了链表来作为学生数据的数据结构,
阅读全文
摘要：协同过滤 在 用户 ―― 物品（user - item）的数据关系下很容易收集到一些偏好信息（preference），比如评分。利用这些分散的偏好信息，基于其背后可能存在的关联性，来为用户推荐物品的方法，便是协同过滤，或称协作型过滤（collaborative filtering）。 这种过滤算法的
阅读全文
摘要：由于一些原因，视频录制要告一段落了。再写一篇关于cntk的文章分享出来吧。我也很想将这个事情进行下去。以后如果条件允许还会接着做。 cntk2.0框架生成的模型才可以支持python。1.0不支持。 python可以导入cntk.exe生成的框架，也可以导入python调用cntk生成的框架。举两个
阅读全文
摘要：一、简介 XML（eXtensible Markup Language）指可扩展标记语言，被设计用来传输和存储数据，已经日趋成为当前许多新生技术的核心，在不同的领域都有着不同的应用。它是web发展到一定阶段的必然产物，既具有SGML的核心特征，又有着HTML的简单特性，还具有明确和结构良好等许多新的
阅读全文
摘要：本文有两个目的: 一是讲述实现计算机语言解释器的通用方法，另外一点，着重展示如何使用 Python 来实现Lisp方言 [ Scheme ](http://en.wikipedia.org/wiki/Scheme_\(programming_language\)) 的一个子集。我将我的解释器称之为L
阅读全文
摘要：一般来说，选择用于应用程序的 GUI 工具箱会是一件棘手的事。使用 Python（许多语言也一样）的程序员可以选择的 GUI 工具箱种类繁多，而每个工具箱都有各自的优缺点。有些速度比其它工具箱快，有些比较小；有些易于安装，有些更适合于跨平台使用（对于这一点，还要指出，有些支持您需要满足的特定特性）。
阅读全文
摘要：**显示有限的接口到外部 ** 当发布python第三方package时，并不希望代码中所有的函数或者class可以被外部import，在__init__.py中添加__all__属性，该list中填写可以import的类或者函数名， 可以起到限制的import的作用， 防止外部import其他函数
阅读全文
摘要：协程定义 Coroutines are computer program components that generalize subroutines for nonpreemptive multitasking, by allowing multiple entry points for susp
阅读全文
摘要：SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。 Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。 首先，我们来构造一个最简单的纯文本邮件： from email.mim
阅读全文
摘要：Python2与Python3字符编码问题，不管你是初学者还是已经对Python的项目了如指掌了，都会犯一些编码上面的错误。我在这里简单归纳Python3和Python2各自的区别。 首先是Python3-->代码文件都是用utf-8来解释的。将代码和文件读到内存中就变成了Unicode，这也就是为
阅读全文
摘要：测试驱动开发(TDD)是一个迭代的开发周期,强调编写实际代码之前编写自动化测试。 这个过程很简单: 先编写测试。 查看测试失败的地方 编写足够的代码以使测试通过。 再次测试。 代码重构 。 重复以上操作。 为什么要用TDD？ 使用TDD，你将学会把你的代码拆分成符合逻辑的，简单易懂的片段，这有助于确
阅读全文
摘要：一、正则表达式简介 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 就其本质而言，正则表达式（或 RE）是一种小型的、高度专业化的编程语言， （在Python中）它内嵌在Pyt
阅读全文
摘要：Gevent官网文档地址： [ http://www.gevent.org/contents.html ](http://www.gevent.org/contents.html) 进程、线程、协程区分 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协
阅读全文
摘要：我们需要做的第⼀件事情是获取 MNIST 数据。如果你是⼀个 git ⽤⼾，那么你能够通过克隆这本书的代码仓库获得数据，实现我们的⽹络来分类数字 git clone https://github.com/mnielsen/neural-networks-and-deep-learning.git c
阅读全文
摘要：python中email模块使得处理邮件变得比较简单，今天着重学习了一下发送邮件的具体做法，这里写写自己的的心得,也请高手给些指点。 一、相关模块介绍 发送邮件主要用到了smtplib和email两个模块，这里首先就两个模块进行一下简单的介绍： 1、smtplib模块 smtplib.SMTP([h
阅读全文
摘要：**铺垫 ** 在大量的实践中，似乎我们总是通过类似的方式来使用异步编程： 监听事件 事件发生执行对应的回调函数 回调完成（可能产生新的事件添加进监听队列） 回到1，监听事件 因此我们将这样的异步模式称为Reactor模式，例如在iOS开发中的Run Loop概念，实际上非常类似于Reactor l
阅读全文
摘要：Todo清单 需要实现的功能有添加任务、删除任务、编辑任务，操作要关联数据库。 任务需要绑定用户，部门。用户需要绑定部门。 {#自己编写一个基类模板#} {% extends 'bootstrap/base.html' %} {% block styles %} {{ super() }} <lin
阅读全文
摘要：admin组件使用 Django 提供了基于 web 的管理工具。 Django 自动管理工具是 django.contrib 的一部分。你可以在项目的 settings.py 中的 INSTALLED_APPS 看到它： # Application definition INSTALLED_APP
阅读全文
摘要：1.前言 在深度学习出来之前，图像识别领域北有“Gabor帮主”，南有“SIFT慕容小哥”。目前，深度学习技术可以利用CNN网络和大数据样本搞事情，从而取替“Gabor帮主”和“SIFT慕容小哥”的江湖地位。但，在没有大数据和算力支撑的“乡村小镇”地带，或是对付“刁民小辈”，“Gabor帮主”可以大
阅读全文
摘要：一. 开发前的准备 1. 必须了解的知识 SDK：软件开发工具包，可以为开发者提供快速开发的工具 沙箱环境：也就是测试环境 支付宝支付金额的精度：小数点后两位（面试） 支付宝用的什么加密方式：RSA 2. 沙箱环境的配置 ① 登录支付宝开放平台 [ https://auth.alipay.com/l
阅读全文
摘要：本文实例为大家分享了微信小程序跳一跳自动运行脚本，供大家参考，具体内容如下 1、压缩包带了adb等必须工具，配置一下环境变量即可 2、Python 直接运行即可 （Python3.6） 代码： wechat_jump_auto.py # coding: utf-8 ''' # 思路 # 核心：每次落
阅读全文
摘要：面对大量杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具， 正则表达式 ！ 1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则
阅读全文
摘要：最近有个需求是把以前字符串输出的log 改为json 格式,看了别人的例子,还是有些比较茫然,索性就把logging 整个翻了一边,做点小总结. 初看log 在程序中, log 的用处写代码的你用你知道,log 有等级,DEBUG, INFO,...之类,还会记录时间,log 发生的位置,在Pyth
阅读全文
摘要：一、 前提： 有Google账号（具体怎么注册账号这里不详述，大家都懂的，自行百度）在你的Google邮箱中关联好colab（怎样在Google邮箱中使用colab在此不详述，自行百度） 二、 现在开始： 因为我们使用的是colab，所以就不必为安装版本对应的anaconda、python以及ten
阅读全文
摘要：在我们爬虫的时候经常会遇到验证码，新浪微博的验证码是四宫格形式。 可以采用模板验证码的破解方式，也就是把所有验证码的情况全部列出来，然后拿验证码的图片和这所有情况中的图片进行对比，然后获取验证码，再通过selenium自动拖拽点击，进行破解。 我们将验证码四个点标注为1234，那么所有的情况就是以下
阅读全文
摘要：kaggle是一个为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台，在这上面有非常多的好项目、好资源可供机器学习、深度学习爱好者学习之用。 碰巧最近入门了一门非常的深度学习框架：pytorch，所以今天我和大家一起用pytorch实现一个图像识别领域的入门项目：猫狗图像识别
阅读全文
摘要：日常工作生活中，事情一多，就会忘记一些该做未做的事情。即使有时候把事情记录在了小本本上或者手机、电脑端备忘录上，也总会有查看不及时，导致错过的尴尬。如果有一款小工具，可以及时提醒，而不用再主动去查备忘录，化被动为主动，那就再合适不过了。因此，在这里我们就利用Python，实现这样的一款“小工具”。
阅读全文
摘要：在我们平常使用Python进行数据处理与分析时，在import完一大堆库之后，就是对数据进行预览，查看数据是否出现了缺失值、重复值等异常情况，并进行处理。 本文将结合GUI工具PySimpleGUI，来讲解如何制作一款属于自己的数据预处理小工具，让这个过程也能够自动化!最终效果如下 本文将分为三部分
阅读全文
摘要：前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于Python七号 ，作者 somenzz Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542
阅读全文
摘要：1、生成 servie.yaml 1.1、yaml转json service模板yaml apiVersion: v1 kind: Service metadata: name: ${jarName} labels: name: ${jarName} version: v1 spec: ports:
阅读全文
摘要：Python等工具确实是不错的工具，但是有时候不管是基础的Python还是Python的软件包都让我觉得对中文不是很亲近。时不时地遇到一点问题很正常，刚刚在写Excel文件的时候就又遇到了这样的问题。 为了能够说明情况，假设我想把当前文件夹中所有的文件名称全都写入到Excel文件中。 当前的目录信息
阅读全文
摘要：1、准备工作 1.1 库介绍 只有登录微信才能获取到微信好友的信息，本文采用wxpy该第三方库进行微信的登录以及信息的获取。 wxpy 在 itchat 的基础上，通过大量接口优化提升了模块的易用性，并进行丰富的功能扩展。 wxpy一些常见的场景： •控制路由器、智能家居等具有开放接口的玩意儿 •运
阅读全文
摘要：本篇讲下如何使用纯python代码将excel 中的图表导出为图片。这里需要使用的模块有win32com、pythoncom模块。 网上经查询有人已经写好的模块pyxlchart，具体代码如下： from win32com.client import Dispatch import os impor
阅读全文
摘要：在上一篇的文章里我详细介绍了BAM（SAM/CRAM）的格式和一些需要注意的细节，还说了该如何使用samtools在命令行中对其进行操作。但是很多时候这些操作是不能满足我们的实际需要的，比如统计比对率、计算在某个比对质量值之上的read有多少，或者计算PE比对的插入片段长度分布，甚至需要你根据实际情
阅读全文
摘要：字符型图片验证码识别完整过程及Python实现 的博主，我的大部分知识点都是从他那里学来的。 想要识别验证码，收集足够多的样本后，首先要做的就是对验证码原始图片进行处理，对验证码识别分类之前，一般包括：将彩色图片转换成灰度图、将灰度图二值化和去除噪点三个基本过程。这里仅以比较简单的验证码为例，介绍一
阅读全文
摘要：我们在做深度学习的过程中，经常面临图片样本不足、不平衡的情况，在本文中，作者结合实际工作经验，通过图像的移动、缩放、旋转、增加噪声等图像变换技术，能快速、简便的增加样本数量。 本文所有案例，使用OpenCV跨平台计算机视觉库，在Python3.6上实现，关于Python及OpenCV安装使用，请参照
阅读全文
摘要：练手项目，先上图 先实现一个简单的串口工具，为之后的上位机做准备 代码如下： github 下载地址 pyserial_demo.py import sys import serial import serial.tools.list_ports from PyQt5 import QtWidget
阅读全文
摘要：我就废话不多说了，大家还是直接看代码吧~ # -*- coding: utf-8 -*- #keras==2.0.5 #tensorflow==1.1.0 import os,sys,string import sys import logging import multiprocessing im
阅读全文
摘要：文中涉及的示例代码，已同步更新到 [ HelloGitHub-Team 仓库 ](https://github.com/HelloGitHub- Team/HelloDjango-blog-tutorial) 在上一篇教程中，我们通过手工方式将代码部署到了服务器。整个过程涉及到十几条命令，输了 N
阅读全文
摘要：**简单的地图读取、展示 ** 终于到暑假了。。。开始认真整理整理相关学习的心得体会咯~ 先把很久之前挖的关于C# 二次开发的坑给填上好了~ 这次先计划用一个月把C# ArcEngine 10.0相关开发的学习心得给发布出来好啦~ 第一部分就是最简单的helloworld了：掌握使用控件创建简单的G
阅读全文
摘要：Beautiful Soup 是一个用来从HTML或XML文件中提取数据的Python库，它利用大家所喜欢的解析器提供了许多惯用方法用来对文档树进行导航、查找和修改。 帮助文档英文版： [ https://www.crummy.com/software/BeautifulSoup/bs4/doc/
阅读全文
摘要：本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译，原文在 [ 这里 ](http://pandas.pydata.org/pandas-docs/stable/10min.html) 。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考： [ Cook
阅读全文
摘要：1、顺序表介绍 顺序表是最简单的一种线性结构，逻辑上相邻的数据在计算机内的存储位置也是相邻的，可以快速定位第几个元素，中间不允许有空，所以插入、删除时需要移动大量元素。顺序表可以分配一段连续的存储空间Maxsize，用elem记录基地址，用length记录实际的元素个数，即顺序表的长度 上图1表示的
阅读全文
摘要：**装饰器 vs 装饰器模式 ** 首先，大家需要明白的是使用装饰器这个词可能会有不少让大家担忧的地方，因为它很容易和设计模式这本书里面的装饰器模式发生混淆。曾经一度考虑给这个新的功能取一些其它的术语名称，但是装饰器最终还是胜出了。 的确，你可以使用python装饰器来实现装饰器模式，但这绝对是它很
阅读全文
摘要：Click 是用 Python 写的一个第三方模块，用于快速创建命令行。我们知道，Python 内置了一个 Argparse 的标准库用于创建命令行，但使用起来有些繁琐，Click 相比于 Argparse，就好比 requests 相比于 urllib。 关于Click？ 说下 Click 模块是
阅读全文
摘要：1、python多进程编程背景 python中的多进程最大的好处就是充分利用多核cpu的资源，不像python中的多线程，受制于GIL的限制，从而只能进行cpu分配，在python的多进程中，适合于所有的场合，基本上能用多线程的，那么基本上就能用多进程。 在进行多进程编程的时候，其实和多线程差不多，
阅读全文
摘要：对于大多数数据科学家而言，线性回归方法是他们进行统计学建模和预测分析任务的起点。这种方法已经存在了 200 多年，并得到了广泛研究，但仍然是一个积极的研究领域。由于良好的可解释性，线性回归在商业数据上的用途十分广泛。当然，在生物数据、工业数据等领域也不乏关于回归分析的应用。 另一方面，Python
阅读全文
摘要：** 前言 ** 写程序已经丢掉很长一段时间了，最近觉得完全把技术丢掉可能是个死路，还是应该捡起来，所以打算借CSDN来记录学习过程， 由于以前没事的时候断断续续学习过python和用flask框架写过点web，所以第一步想捡起python，但是，单纯学习python有点枯燥，正好看到pygame，
阅读全文
摘要：使用Python加载最新的Excel读取类库xlwings可以说是Excel数据处理的利器，但使用起来还是有一些注意事项，否则高大上的Python会跑的比老旧的VBA还要慢。 这里我们对比一下，用几种不同的方法，从一个Excel表格中读取一万行数据，然后计算结果，看看他们的耗时。 1. 处理要求：
阅读全文
摘要：pandas.cut: pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False) 参数： x，类array对象，且必须为一维，待切割的原形式 bins, 整数、序列尺度
阅读全文
摘要：准备工作： 新建一个项目，在项目中新家一个app，名字自取。将app添加值settings.py中，然后配置settings连接数据库。 在app中的models中新建模型： from django.db import models # Create your models here. class
阅读全文
摘要：很多人在学习了基本的Python语言知识后，就转入应用阶段了，后期很少对语言本身的新变化、新内容进行跟踪学习和知识更新，甚至连已经发布了好几年的Python3.6的新特性都缺乏了解。 本文列举了Python3.6、3.7、3.8三个版本的新特性，学习它们有助于提高对Python的了解，跟上最新的潮流
阅读全文
摘要：一、简介 Shp格式是GIS中非常重要的数据格式，主要在Arcgis中使用，但在进行很多基于网页的空间数据可视化时，通常只接受GeoJSON格式的数据，众所周知JSON（JavaScript Object Nonation）是利用键值对+嵌套来表示数据的一种格式，以其轻量、易解析的优点，被广泛使用与
阅读全文
摘要：项目要求： 读完题目，首先我们要确定程序思路 我们要全部通过类去实现 也就是 我们要实现管理员、学生、讲师、课程、教师五个类 管理员类 class Administration(object): def __init__(self): self.data = self.__load() self.l
阅读全文
摘要：**引言 ** 作为python 小白，总是觉得自己要做好百分之二百的准备，才能开始写程序。以至于常常整天在那看各种语法教程，学了几个月还是只会print('hello world')。 这样做效率太低，正确的做法，是到身边找问题，然后编程实现。比如说，我学了高等数学，我是不是应该考虑下如何去用编程
阅读全文
摘要：对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代，操作系统处理问题都是单任务的，我想做听音乐和看电影两件事儿，那么一定要先排一下顺序。 （好吧！我们不纠结在DOS时代是否有听
阅读全文
摘要：在学习python的时候，三大“名器”对没有其他语言编程经验的人来说，应该算是一个小难点，本次博客就博主自己对装饰器、迭代器和生成器理解进行解释。 为什么要使用装饰器 什么是装饰器？“装饰”从字面意思来谁就是对特定的建筑物内按照一定的思路和风格进行美化的一种行为，所谓“器”就是工具，对于python
阅读全文
摘要：正文： 本文展示一些高级的Python设计结构和它们的使用方法。在日常工作中，你可以根据需要选择合适的数据结构，例如对快速查找性的要求、对数据一致性的要求或是对索引的要求等，同时也可以将各种数据结构合适地结合在一起，从而生成具有逻辑性并易于理解的数据模型。Python的数据结构从句法上来看非常直观，
阅读全文
摘要：问题描述 我在用Keras的Embedding层做nlp相关的实现时，发现了一个神奇的问题，先上代码： a = Input(shape=[15]) # None*15 b = Input(shape=[30]) # None*30 emb_a = Embedding(10, 5, mask_zero
阅读全文
摘要：django是python语言快速实现web服务的大杀器，其开发效率可以非常的高！但因为秉承了语言的灵活性，django框架又太灵活，以至于想实现任何功能都有种“条条大路通罗马”的感觉。这么多种选择放在一起，如何分出高下？我想此时的场景下就两个标准： 1、相同的功能用最少的代码实现（代码少BUG也会
阅读全文
摘要：模型VGG，数据集cifar。对照这份代码走一遍，大概就知道整个pytorch的运行机制。 来源 定义模型： '''VGG11/13/16/19 in Pytorch.''' import torch import torch.nn as nn from torch.autograd import
阅读全文
摘要：初试牛刀 假设你希望学习Python这门语言，却苦于找不到一个简短而全面的入门教程。那么本教程将花费十分钟的时间带你走入Python的大门。本文的内容介于教程(Toturial)和速查手册(CheatSheet)之间，因此只会包含一些基本概念。很显然，如果你希望真正学好一门语言，你还是需要亲自动手实
阅读全文
摘要：1.介绍 在使用tf构建网络框架的时候，经常会遇到__init__、build 和call这三个互相搭配着使用，那么它们的区别主要在哪里呢？ 1）__init__主要用来做参数初始化用，比如我们要初始化卷积的一些参数，就可以放到这里面 2）call可以把类型的对象当做函数来使用，这个对象可以是在__
阅读全文
摘要：JMeter可以通过os命令调用Python脚本，Python同样可以通过系统命令调用JMeter执行压测 Python调用JMeter 首先要安装JMeter， 官方下载地址 解压并配置配置环境路径或建立软连，使得在命令输入jmeter便可以执行，如 unzip apache-jmeter-5.3
阅读全文
摘要：**介绍 ** 提到爬虫，互联网的朋友应该都不陌生，现在使用Python爬取网站数据是非常常见的手段，好多朋友都是爬取豆瓣信息为案例，我不想重复，就使用了爬取51cto博客网站信息为案例，这里以我的博客页面为教程，编写的Python代码！ 实验环境 1.安装Python 3.7 2.安装reques
阅读全文
摘要：思路： 第一步： 信息还是要填的，以往是同学们发给班委，然后慢慢来搞，但现在不一样的，我要求同学们把他们要填的信息写在记事本里面，内容之间用中文逗号隔开，然后在发给我就行。 第二步： 阿雪只要做的事情是把每个小朋友发的txt文本点击下载就行了，这个显然很简单的事情。 第三步： QQ个人接受的文件一般
阅读全文
摘要：NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数元组索引的元素表格(通常是元素是数字)。 在NumPy中维度(dimensions)叫做轴(axes)，轴的个数叫做秩(rank，但是和线性代数中的秩不是一样的，在用python求线代中的秩中，我们用numpy包
阅读全文
摘要：根据Django官方文档介绍： A one-to-one relationship. Conceptually, this is similar to a ForeignKey with unique=True, but the “reverse” side of the relation will
阅读全文
摘要：上次用django2.2和oracle11g，在migrate的时候发生了版本冲突，最终 [ 将Oracle升级到了12c才解决问题 ](https://www.jb51.net/article/189974.htm) 那么到底能不能用别的方法来解决这个冲突呢？想了个解决思路，实践一下： 用djan
阅读全文
摘要：四种格式的解析： filelist slicelist download.cfg third_party_download.cfg 还是2个文件。替换之前版本即可。 初步测试正常，但时间轴不对。 代码如下： # -*- coding: UTF-8 -*- import os import io im
阅读全文
摘要：字符串 在 Python 中创建字符串对象非常容易。只要将所需的文本放入一对引号中，就完成了一个新字符串的创建（参见清单 1）。如果稍加思考的话，您可能会感到有些困惑。毕竟，有两类可以使用的引号：单引号 (') 和双引号 (")。幸运的是，Python 再一次使这种问题迎刃而解。您可以使用任意一类引
阅读全文
摘要：阅读目录 tcp协议：流式协议（以数据流的形式通信传输）、安全协议（收发信息都需收到确认信息才能完成收发，是一种双向通道的通信） tcp协议在OSI七层协议中属于传输层，它上承用户层的数据收发，下启网络层、数据链路层、物理层。可以说很多安全数据的传输通信都是基于tcp协议进行的。 为了让tcp通信更
阅读全文
摘要：1、基本信息 我公司之前采用的是人工巡检，但奈何有大量网络设备，往往巡检需要花掉一上午（还是手速快的话）,浪费时间浪费生命。 这段时间正好在学 Python ，于是乎想(其)要(实)解(就)放(是)双(懒)手。 好了，脚本很长又比较挫，有耐心就看看吧。 需要巡检的设备如下： 设备清单 | 设备型号
阅读全文
摘要：解析html是爬虫后的重要的一个处理数据的环节。一下记录解析html的几种方式。 先介绍基础的辅助函数，主要用于获取html并输入解析后的结束 #把传递解析函数，便于下面的修改 def get_html(url, paraser=bs4_paraser): headers = { 'Accept':
阅读全文
摘要：一、Image模块 1.1 、打开图片和显示图片 对图片的处理最基础的操作就是打开这张图片，我们可以使用Image模块中的open(fp, mode)方法，来打开图片。open方法接收两个参数，第一个是文件路径，第二个是模式。主要的模式如下： mode（模式） bands（通道） 说明 “1” 1
阅读全文
摘要：问题来源 如何在 matplotlib 中使用中文字体是老问题了，相关文章非常多。 前几天有人问我 如何知道中文字体名称和实际文件的对应关系 时，才想起来原来没思考过这个问题，只能让他记住字体与文件的对应关系或者去 fonts 目录查看。 **难道真的就没有稍微自动化、智能化的查看支持matplot
阅读全文
浙公网安备 33010602011771号