摘要: 空值衍生得到的还是空值 代码: import featuretools as ft import pandas as pd df = pd.DataFrame(data={"x1": [None,2,3], 'x2': [4, 5, 6]}) es = ft.EntitySet(id='es_hyp 阅读全文
posted @ 2020-08-26 16:16 oaksharks 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 1. 功能说明 有一个测试方法: def test_train(framework): print(framework) assert framework == 'gbm' 希望该方法的framework的值可以通过 pytest的参数传递过来,比如: pytest --framework=deep 阅读全文
posted @ 2020-08-24 16:14 oaksharks 阅读(1595) 评论(0) 推荐(0) 编辑
摘要: 这些数据与葡萄牙银行机构在从2008年5月到2010年9月的直接营销活动有关,这些直接营销活动是以电话为基础的。 西班牙银行卖定期存款的,其中y就是表示客户是否会买定期存款。 参数描述: Input variables: # bank client data: 1 - age (numeric) 2 阅读全文
posted @ 2020-08-21 15:34 oaksharks 阅读(999) 评论(0) 推荐(0) 编辑
摘要: 确认显卡驱动正确安装: (notebook) [wuhf@aps ~]$ nvidia-smi Thu Aug 20 18:07:33 2020 + + | NVIDIA-SMI 430.50 Driver Version: 430.50 CUDA Version: 10.1 | | + + + | 阅读全文
posted @ 2020-08-20 18:22 oaksharks 阅读(3654) 评论(0) 推荐(0) 编辑
摘要: 如有有conda 优先使用: conda install lightgbm 直接使用pip安装使用报错: Library not loaded 源码安装方法: brew install cmake brew install gcc git clone --recursive https://gith 阅读全文
posted @ 2020-08-12 10:30 oaksharks 阅读(898) 评论(0) 推荐(0) 编辑
摘要: CAS 也叫自旋锁,用来保证操作的一致性,比如用2个线程同时对一个变量累加1000,000次,得到的结果可能比2000,000少: package juc.test.cas; import org.junit.Test; import java.util.concurrent.CountDownLa 阅读全文
posted @ 2020-08-02 11:17 oaksharks 阅读(193) 评论(0) 推荐(0) 编辑
摘要: java volatile 实现变量可见性 volatile 本意是易变的,多变的,用来解决变量可见性问题,什么是变量可见性问题?先看一下变量在计算机内部第一次加载和写入过程: 此时,内存和寄存器中v都是101,再进行计算时时直接从register中读取而不是memroy来提高速度。这在单核CPU中 阅读全文
posted @ 2020-08-02 11:11 oaksharks 阅读(393) 评论(0) 推荐(0) 编辑
摘要: epoll的用法 epoll get started 这一章先了解epoll的用法,epoll是一个多路复用器,用来在单线程中处理多个socket链接,它由3个函数组成: int epoll_create(int size); int epoll_ctl(int epfd, int op, int 阅读全文
posted @ 2020-07-28 11:00 oaksharks 阅读(330) 评论(0) 推荐(0) 编辑
摘要: yield 是产出的意思,就是返回一个值,这一点有点像return,但是不会结束函数的执行。那它什么时候继续执行呢?等待下一次迭代器被调用时候返回上次中断的地方, 利用这个特性可以实现range函数: def my_range(max_num): i = 0 while i < max_num: y 阅读全文
posted @ 2020-07-27 18:57 oaksharks 阅读(667) 评论(0) 推荐(0) 编辑
摘要: 这俩是操作系统中的概念,区别: 并发 指一个操作系统能运行多个程序的能力 并行 指一个操作系统能同时运行多个程序的能力 一个运行在单核操作系统安装了QQ和微信,它俩都能打开并收发消息,这叫并发;这一个CPU核心只要让QQ运行0.1秒再交替让微信运行0.1秒, 它俩就能看起来同时运行了。 Web应用中 阅读全文
posted @ 2020-07-26 17:01 oaksharks 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 因为GIL的存在,每次只能执行一个线程,那Python还存在变量同步的问题么? 声明一个变量,起两个线程各对这个变量加100,0000次,观察结果是否为200,0000 预期: 如果不为200,0000,那说明Python的变量也需要同步。 代码: import threading import t 阅读全文
posted @ 2020-07-25 13:30 oaksharks 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 由于GIL(Global Interpreter Lock)的存在使得在同一时刻Python进程只能使用CPU的一个核心,也就是对应操作系统的一个 内核线程,对于一个Python web程序,如果有个请求,并且都是长耗时的计算任务(占用),这个程序在接受第一个请求后 还能处理别的请求么?假如web程 阅读全文
posted @ 2020-07-25 13:28 oaksharks 阅读(566) 评论(0) 推荐(0) 编辑
摘要: Python使用引用计数、分代算法回收垃圾,引用计数操作方法: 对象被引用一次,其计数器+1 对象被del,其计数器-1 对象的引用计数为0时候会被回收 python的__del__方法,类似java的finalize方法,会在对象被回收时执行。 实验验证 实验1: 删除仅引用一次的对象 步骤: 创 阅读全文
posted @ 2020-07-25 13:26 oaksharks 阅读(8547) 评论(0) 推荐(1) 编辑
摘要: 作用 守护线程会在非守护线程执行完毕时就结束,即使自己还没有执行完,就是守着别的线程, 别的线程不跑了它也不跑了,有点仆从的感觉。 设计用例验证 第一个用例:实验组 操作: 启动两个线程,一个是守护的一个不是 既然守护线程要守着别人,那就让别人跑的快,自己跑的慢,守护线程打印100个数, 别的线程什 阅读全文
posted @ 2020-07-18 22:59 oaksharks 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 功能说明 在代码执行过程中收集一些日志,但是这个操作是与业务无关的,需要根据运行环境来决定 是否要执行这些操作, 一个解决办法: 在代码中加点儿收集日志的标记,比如“注释”,既不会对改变原有代码的结构又能实现功能, 入侵性比较低。 那就需要解释器能识别“注释”并翻译成代码执行了,比如对于以下代码: 阅读全文
posted @ 2020-07-18 22:57 oaksharks 阅读(711) 评论(0) 推荐(0) 编辑
摘要: 对select函数的理解 1. 处理多个socket链接的方法 阻塞模式下服务端要解决多个客户链接的问题的3个思路: 每个客户端的socket对应一个内核线程,在这个线程内部进行阻塞的read 单线程,自己记录一个socket列表,循环去内核中查询socket是否ready 单线程,系统提供一个re 阅读全文
posted @ 2020-06-20 22:24 oaksharks 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 从C语言编译看高级程序语言执行 1. C语言编译过程 编译过程流程图: 1.1. 预处理文本(Preprocessing) 解析源码文件文件中的宏指令,将源码转换为更详细的源码,对于文件main.c: #include<main.h> int main(){ return 0 ; } 定义main. 阅读全文
posted @ 2020-06-13 13:24 oaksharks 阅读(523) 评论(0) 推荐(0) 编辑
摘要: 1. 基本概念 字符集(Character set) 解释:文字和符合的总称 常见字符集: Unicode字符集 ASCII字符集(Unicode子集) GB2312字符集 编码方法(Encoding) 解释:将字符对应到字节的方法,部分字符集和编码方法名称一样。 常见编码方法: UTF 8:可对U 阅读全文
posted @ 2020-04-25 23:10 oaksharks 阅读(1240) 评论(0) 推荐(0) 编辑
摘要: 1. RSA算法 1.1. 特点 RSA的密钥分成两个部分: PublicKey 加密数据 验证签名 不能解密 任何人都可以获得 Private Key 数据签名(摘要算法) 解密 加密(不用此功能) 不公开 RSA算法的特点: 公钥端到私钥端的通讯是安全的 因为只有私钥能解密 任何人都可以拿到公钥 阅读全文
posted @ 2020-04-19 14:31 oaksharks 阅读(3156) 评论(0) 推荐(0) 编辑
摘要: 希望在readthedocs上创建支持多语言的文档,效果类似: 通过语言选项,可以切到到不同的语言版本;实现这个目标包含两个主要步骤: 在本地对文档进行翻译 在readthedocs.org上配置翻译 本文假设您已经对sphinx文档生成工具和readthedocs.org文档托管网站有所了解,本文 阅读全文
posted @ 2020-04-13 18:41 oaksharks 阅读(1618) 评论(0) 推荐(0) 编辑