12 2019 档案
摘要：Using join buffer (Block Nested Loop) msyql的表连接算法 走索引之后 mysql> explain SELECT a.custid, b.score, b.xcreditscore, b.lrscore FROM( SELECT DISTINCT custi
阅读全文
摘要：问题发现 我认为一条很简单的SQL然后跑了很久，明明我已经都建立相应的索引，逻辑也不需要优化。 SELECT a.custid, b.score, b.xcreditscore, b.lrscore FROM ( SELECT DISTINCT custid FROM sync.`credit_ap
阅读全文
摘要：先介绍一个万能方法 介绍一个 网站监测工具：iis7网站监测IIS7网站监控工具可以做到提前预防各类网站劫持，并且是免费在线查询，适用于各大站长，政府网站，学校，公司，医院等网站。它可以做到24小时定时监控，同时它可以让你知道网站是否被黑，被入侵，被改标题，被挂黑链，被劫持，被墙及DNS是否被污染等
阅读全文
摘要：SSL：（Secure Socket Layer，安全套接字层），位于可靠的面向连接的网络层协议和应用层协议之间的一种协议层。SSL通过互相认证、使用数字签名确保完整性、使用加密确保私密性，以实现客户端和服务器之间的安全通讯。该协议由两层组成：SSL记录协议和SSL握手协议。 TLS：(Transp
阅读全文
摘要：目录 策略调优 进行A类调优 进行D类调优 探索性规则分析 1.确定探索性规则的目标 2.将于目标相关的变量与目标整理成宽表 3.使用SAS进行探索性分析 4.寻找与目标强相关的规则 评分卡使用策略 额度调整策略
阅读全文
摘要：常用量化指标 不良贷款 1998年5月，中国人民银行参照国际惯例，结合中国国情，制定了《贷款分类指导原则》(试行)，要求商业银行依据借款人的实际还款能力进行贷款质量的五级分类，即按风险程度将贷款划分为五类：正常、关注、次级、可疑、损失，后三种为不良贷款。 我们再看一下这5类贷款等级的定义（注意红字部
阅读全文
摘要：决策引擎 决策引擎内部组件介绍 数据模型 规则&规则集 规则 一维表索引 代码块 决策树&评分模型 规则流 规则流测试 规则流 决策引擎如何实现策略落地？ 策略调优
阅读全文
摘要：P2P基本模式 审批策略目标 目录 审批策略架构搭建 案例 审批流程简介 审批策略架构搭建 数据源内容介绍 数据源介绍 Exercises 1 Exercises 2 Exercises 3 Exercises 4
阅读全文
摘要：curl: (35) schannel: next InitializeSecurityContext failed: SEC_E_ILLEGAL_MESSAGE (0x80090326) - This error usually occurs when a fatal SSL/TLS alert
阅读全文
摘要：问题发现 操作系统都用分页机制来管理物理内存，操作系统将磁盘的一部分划出来作为虚拟内存，由于内存的速度要比磁盘快得多，所以操作系统要按照某种换页机制将不需要的页面换到磁盘中，将需要的页面调到内存中，由于内存持续不足，这个换页动作持续进行，kswapd0是虚拟内存管理中负责换页的，当服务器内存不足的时
阅读全文
摘要：在HQL中我经常使用开窗函数，后来做mysql（5.7）的数据处理，只能使用order等分组方式替代开窗函数。 而pandas中带有各种移动窗口，它都是以rolling打头的函数，后接具体的函数，来显示该移动窗口函数的功能。 总共有3+1类。 主要有如下类： 还有pandas.rolling_xx方
阅读全文
摘要：请求行 http8种常见方法（RFC7231） restful常用四种请求方式 GET[select] 请求会向数据库发索取数据的请求，从而来获取信息,其只是用来查询一下数据，不会修改、增加数据，不会影响资源的内容。无论进行多少次操作，结果都是一样的。 PUT[update] 请求是向服务器端发送数
阅读全文
摘要：当没有URI时 什么是URI和URN和URL URI详解 Uniform Resource Identifier 统一资源标识符 URI的组成 案例： https://tools.ietf.org/html/rfc7231?test=1#page-7 合法的URI URI格式 相对URI 为什么要进
阅读全文
摘要：索引前言 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，它们包含着对数据表里所有记录的引用指针。更通俗的说，数据库索引好比是一本书前面的目录，能加快数据库的查询速度。 索引分为聚簇索引和非聚簇索引两种，聚簇索引是按照数据存放的物理位置为顺序的，而非聚簇索引就不一样了；聚簇
阅读全文
摘要：Chrome 抓包 详解谷歌Network 面板 快捷键：Control+Shift+I (Windows) or Command+Option+I (Mac) 控制器 补充知识： HAR Chrome浏览器具有完备的网络调试功能，可以抓取HTTP报文，它抓取的包可以被保存为HAR格式，可以使用Fi
阅读全文
摘要：浏览器发起HTTP请求的典型场景 a stateless application-level request/response protocol that uses extensible semantics and self-descriptive message payloads for flex
阅读全文
摘要：有的时候报错的会把偏移量直接报错给我们，我就需要根据偏移量定位我们的错误。 比如他报错偏移量1009. 做搜索（按Ctrl + F） 选择Regular expressions并确保有. matches new line选中 输入搜索框下面的模式：(?<=^.{1009})(.{6}) (?<=^.
阅读全文
摘要：HTTP包体：承载的消息内容 两种传输HTTP包体的方式 定长包体： 不定长包体： HTML FORM表单 HTML FORM表单提交请求时的关键属性 HTML FORM表单提交请求时的关键属性 Multipart 包体格式（RFC822）
阅读全文
摘要：10-URI的基本格式以及与URL的区别 HTTP连接的常见流程 从TCP编程上看HTTP请求处理 长连接与短连接 补充一下代理的知识 什么是正向代理，什么是反向代理？ 想在外部公网访问公司内部局域网时，需要连公司的代理跳板机进行代理访问；再比如后端开发部署 java项目时，在公司里面也听到了运维那
阅读全文
摘要：1.函数：空值判断 1)判断数值是否为空用 pd.isna,pd.isnull,np.isnan2)判断字符串是否为空用 pd.isna,pd.isnull；3)判断时间是否为空用 pd.isna,pd.isnull,np.isnat 参数：obj：标量或数组 返回：布尔或布尔数组 说明： 1.NA
阅读全文
摘要：现象： Numpy区分了str和object类型，其中dtype(‘S’)和dtype(‘O’)分别对应于str和object. 然而,pandas缺乏这种区别 str和object类型都对应dtype(‘O’)类型，即使强制类型为dtype(‘S’)也无济于事 >>> import pandas
阅读全文
摘要：当利用pandas进行数据处理的时候，经常会遇到数据类型的问题，当拿到数据的时候，首先需要确定拿到的是正确类型的数据，一般通过数据类型的转化，这篇文章就介绍pandas里面的数据类型（data types也就是常用的dtyps），以及pandas与numpy之间的数据对应关系。 dataframe中
阅读全文
摘要：我一直比较抵制web，web的各种协议以及后端与前端的交互，慢慢的发现除了数据和算法其实计算机软件方面还有另一块高地，那就是web协议。 十分感谢极客时间提供了性价比极高的课程，让我遇到了这么好的老师。 也希望大家踊跃购买陶辉老师的课程 课程结构 课程介绍 第一部分自顶向下解析HTTP/1.1协议
阅读全文
摘要：1、状态行 HTTP/1.1 200 OK 其中，HTTP/1.1表示协议版本；200表示状态码；OK是状态说明。 2、状态码 根据响应结果的类型，大致分为以下几类： 2.1 1XX（信息类） 该类型状态码表示接收到请求并且继续处理。 100，客户端必须继续发出请求。 101，客户端要求服务器根据请
阅读全文
摘要：前言 Web前端开发技术包括三个要素：html（结构）、css（样式）、javascript（行为动作）。 现在前端三要素也演化成HTML5、CSS3、jQuery（js中常用的库）。 HTML： HTML可以简单理解为在前端技术中勾勒出一个结构。就像我们盖楼房,需要钢筋水泥先搭建出来一个轮廓,而H
阅读全文
摘要：补坑。有的时候挖完了坑就忘了填。哈哈。这种写了开头，没写完或者没写的。博客界称这样博主为太监。下面没有了。哈哈 其实我有一篇文章分析过pandas中的null空值，np.nan,还有None等数据判断方式。见数据判断 我们这里注意看下字符串数据类型，当然字符串数据类型在pandas 是以object
阅读全文
摘要：简介：explicit_defaults_for_timestamp 系统变量决定MySQL服务端对timestamp列中的默认值和NULL值的不同处理方法。 此变量自MySQL 5.6.6 版本引入，分为全局级别和会话级别，可动态更新，默认值为OFF。本文主要介绍该参数打开和关闭情况下对times
阅读全文
摘要：从进程到线程 程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。 程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。 在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以
阅读全文
摘要：
阅读全文
摘要：前言 作为一个数据工程师，最喜欢的事情就是不停的在现实的服务端环境调试代码的参数。我们在本地的环境与生产的状况决然不同，我们一开始在本地写代码测试再部署到服务端的三板斧就不适用了。 最好的方式可以直接在linux环境下的服务端直接写代码，分步调试。之前我在银行都是使用集成在CDSW的环境IDE，但是
阅读全文
摘要：kill这个残留进程然后直接重新启动airflow webserver就OK (wqbin) rdev@testhk1:~/etl/py_etl/warehouse$ cat /home/rdev/airflow/airflow-webserver.pid 22603 (wqbin) rdev@te
阅读全文
摘要：作为一个IT从业不满三年的菜鸟，可能写类似总结性的文章还是比较费力，但是我还是想尝试写一篇比较出色总结，那么我讲从数据调度N个方面依次详细讲述ETL调度问题。 回答内容如下： 1.什么是数据调度 2.数据调度的 3.数仓调度的工具 crontab quartz airflow azkaban ozi
阅读全文
摘要：lag和lead VS shift 该函数的格式如下: 第一个参数为列名， 第二个参数为往上第n行（可选，默认为1）， 第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） lag lag(字段名,N，默认值) over(partition by 分组字段 order
阅读全文
摘要：方法一：sys.args[0] 在python的运行时,sys.argv[0],存了当前脚本的运行路径包括文件名 python test.py 则：sys.argv[0] =>test.py python dirname1/dirname2/test.py 则：sys.argv[0] =>dirna
阅读全文
摘要：import pandas as pd data = pd.read_csv(r"test数据.csv", engine="python", encoding="utf-8") def pprint(row): row["extra"]=1 print(row) return row data =
阅读全文
摘要：Expecting ',' delimiter: line 1 column 2674 json_dict = json.loads(row[json_columns].replace("'","\"")) 为什么要replace("'","\"")见博客 但是依旧报错 我用try catch的方法
阅读全文
摘要：在运行代码时，有时出现warning信息， 1.当你后台不需要warning信息的时候，可以直接把warning信息省略掉。 2.如果代码是循环，则会在控制台打印多次warning信息，这会使得warning信息占满整个控制台，失去了有效的历史记录。 1.warning的地位 BaseExcepti
阅读全文
摘要：Flask-WTF Flask-WTF是简化了WTForms操作的一个第三方库。 WTForms表单的两个主要功能是验证用户提交数据的合法性以及渲染模板。 当然还包括一些其他的功能：CSRF保护，文件上传等。安装Flask-WTF默认也会安装WTForms，安装Flask-WTF如下： 回顾表单：
阅读全文
摘要：111
阅读全文
摘要：Flask-SQLALchemy Flask-SQLALchemy 是一个给你的应用添加 SQLALchemy 支持的 Flask 扩展。 它需要 SQLAlchemy 0.6 或更高的版本。它致力于简化在 Flask 中 SQLAlchemy 的 使用，提供了有用的默认值和额外的助手来更简单地完成
阅读全文
浙公网安备 33010602011771号