摘要: 在win10下搭建spark,需要安装java的jdk,scala,spark,hadoop。 一、安装配置jdk 下载 jdk版本:jdk-8u151-windows-x64.exe 增加2个环境变量: JAVA_HOME E:\Java\jdk1.8.0_151 (注意,这里把jdk安装的目录,阅读全文
posted @ 2018-07-09 22:12 小木瓜瓜瓜 阅读(76) 评论(0) 编辑
摘要: 优化sql的总体思路,就是要减少、降低sql的IO访问、逻辑读、物理读。 具体落实下来,大致有5个步骤: 1、索引 如果返回的数据量相对较小(一般不超过10万条数据)通过索引,可以让sql在执行时,只访问需要的数据,减少表扫描,效果非常好,有时性能可以提高千倍, 而且相对后面的方法来说,修改成本是比阅读全文
posted @ 2018-01-12 18:25 小木瓜瓜瓜 阅读(32) 评论(0) 编辑
摘要: 昨天听某位同事说,他所负责的某个项目,由于当天凌晨接口任务运行失败,导致接口表无数据,客户没有取到数据,被客户投诉,说要扣服务费。。。 这个失败的接口任务,主要是从一个业务表里取数,然后插入到接口表,整个接口任务运行结束,逻辑非常简单。 他问开发,为什么任务会失败,得到的答复是:uat环境中接口表某阅读全文
posted @ 2017-12-14 15:39 小木瓜瓜瓜 阅读(11) 评论(0) 编辑
摘要: 转载自:http://blog.csdn.net/artemis_123/article/details/53885295 更多操作可以参考阅读全文
posted @ 2017-12-14 11:01 小木瓜瓜瓜 阅读(12) 评论(0) 编辑
摘要: http://www.newsmth.net/nForum/#!article/Python/128763 最近程序化交易很热,量化也是我很感兴趣的一块。 国内量化交易的平台有几家,我个人比较喜欢用的是JoinQuant,里面有篇干货贴分享给大家,希望对各位有帮助。 量化交易策略 价值投资 成长股内阅读全文
posted @ 2017-12-14 10:56 小木瓜瓜瓜 阅读(27) 评论(0) 编辑
摘要: Sometimes the only way to gain your superior's respect is to defy him。 有些时候,想要赢得上司的尊重,就只能违抗他。《纸牌屋》 It is not our abilities that show what we truly are阅读全文
posted @ 2017-05-04 15:25 小木瓜瓜瓜 阅读(6) 评论(0) 编辑
摘要: 工资计算的公式是: 税金 = (工资 - 社保公积金 - 3500)*0.25 - 1005 税后 = 工资 - 社保公积金 - ((工资-社保公积金-3500)*0.25-1005) = 工资 - 社保公积金 - 税金 这里的0.25,1005,是根据 工资 - 社保公积金 - 3500 之后得到阅读全文
posted @ 2017-04-12 11:09 小木瓜瓜瓜 阅读(11) 评论(0) 编辑
摘要: 最近再写python程序,需要用到postgresql,所以要安装postgresql数据库。 下面是安装步骤: 一、在/etc/yum.repos.d/CentOS-Base.repo 中的[base],[updates]中都增加:exclude=postgresql* 二、引入 PostgreS阅读全文
posted @ 2017-03-24 17:08 小木瓜瓜瓜 阅读(7) 评论(0) 编辑
摘要: 今天早上,登录到服务器上,想要修改代码。 一开始也没注意,不知道怎么回事,就开始出现 光标到哪里都有一个蓝色的框,输入文字,就自动跳转到登陆界面,一开始也没觉得是个问题,但是反复了好几次,根本没办法修改,于是在网上搜索了一下,建议的解决办法: Win键 + 回车键。 试了一下,真的管用,太棒了阅读全文
posted @ 2017-03-23 14:59 小木瓜瓜瓜 阅读(6) 评论(0) 编辑
摘要: 原始链接:StackOverflow的最新架构:.NET技术+25台服务器怎样支撑世界第53大网站 HighScalability的文章总结了搞技术的必去的StackOverflow最新的架构信息。主要的信息来源还是Nick Craver去年11月的博客文章和Marco Cecconi几乎同期在De阅读全文
posted @ 2017-03-23 10:45 小木瓜瓜瓜 阅读(13) 评论(0) 编辑
摘要: Linux系统使用目录来组织文件,常用的目录: /home:普通用户的家目录 /root:root用户的加目录 /bin:常用的用户命令 /sbin:系统管理命令 /etc:系统和服务的配置文件 /lib:系统函数库目录 /usr:存放和用户相关的文件和目录 /opt:安装第三方软件的目录 /tmp阅读全文
posted @ 2017-03-22 10:58 小木瓜瓜瓜 阅读(18) 评论(0) 编辑
摘要: 一、su 如果以普通用户user1登陆系统后,要增加一个用户,但是普通有用又没有useradd的权限,那么可以有2个办法: 1、先用exit退出系统,然后在以root用户登陆,之后useradd增加用户。 2、使用su命令,su就是switch user切换用户。 (1)su命令在不加参数时,默认切阅读全文
posted @ 2017-03-22 10:58 小木瓜瓜瓜 阅读(11) 评论(0) 编辑
摘要: linux用一个数字来区分不同的用户,就是user id,简称uid,系统会自动记录 用户名和uid的对应关系。 一、用户、用户组 用户分为3种: 1、根用户。 uid是0,也就是root用户,超级用户。 2、系统用户。 uid从1-499。是系统运行时必须要有的,但不是真实的使用者。 比如,运行M阅读全文
posted @ 2017-03-22 10:57 小木瓜瓜瓜 阅读(15) 评论(0) 编辑
摘要: 一、du命令 [plain] view plain copy print? [root@wc1 mysql]# du --help Usage: du [OPTION]... [FILE]... or: du [OPTION]... --files0-from=F Summarize disk us阅读全文
posted @ 2017-03-22 10:55 小木瓜瓜瓜 阅读(8) 评论(0) 编辑
摘要: 文件名为:cc.sh,cc.sh的作用就是 先创建一个文件temp.sh,然后,往temp.sh脚本中填充代码,之后给temp.sh添加运行权限,然后运行脚本,最后删除temp.sh、cc.sh。 需要注意几个地方: 1、touch:创建文件。 2、cat > :把下面的内容写入文件,如果文件已存在阅读全文
posted @ 2017-03-22 10:55 小木瓜瓜瓜 阅读(14) 评论(0) 编辑
摘要: 一、什么是Grub? Grub的全称是 Grand Unified Bootloader,grub可以引导多个操作系统。 当按下开机按钮后,机箱会发出 滴的一声,这个声音表示BIOS完成了开机自检,硬件正常。 然后,接下来,BIOS默认会从硬盘的0柱面,0磁道,1扇区中读取512个字节数据,来引导系阅读全文
posted @ 2017-03-22 10:54 小木瓜瓜瓜 阅读(23) 评论(0) 编辑
摘要: 1、开机启动脚本 开机启动脚本是存放在 /etc/rc.d/rcX.d 目录中的,这里的X是runlevel,就是linux的运行级别,可以看到有rc0~rc6,共7种级别: 运行级别0:系统停机状态,系统默认运行级别不能设为0,否则不能正常启动 运行级别1:单用户工作状态,root权限,用于系统维阅读全文
posted @ 2017-03-22 10:52 小木瓜瓜瓜 阅读(16) 评论(0) 编辑
摘要: 查看linux系统版本的方法: 1、通过查看文件显示 显示linux内核版本号,以及gcc的版本号。 [plain] view plain copy [root@wc1 Desktop]# cat /proc/version Linux version 2.6.32-504.el6.x86_64 (阅读全文
posted @ 2017-03-22 10:51 小木瓜瓜瓜 阅读(11) 评论(0) 编辑
摘要: cat命令就是concatenate files and print on the standard output 的简称,就是合并文件,在报表输出上打印输出的意思。 1、查看文件 因为这里的 内存信息比较多,所以通过head 命令,只显示前5行 [plain] view plain copy pr阅读全文
posted @ 2017-03-22 10:49 小木瓜瓜瓜 阅读(11) 评论(0) 编辑
摘要: 如下的C语言代码: [cpp] view plain copy print? #include <stdio.h> #include <stdlib.h> #include <string.h> int main() { char *a, *b; int i; a = (char*) calloc(阅读全文
posted @ 2017-03-22 10:48 小木瓜瓜瓜 阅读(12) 评论(0) 编辑
摘要: 3台机器: 本机A的ip:192.168.100.70 局域网内的另一台机器B的ip:192.168.100.148 机器B上的Linux虚拟机C 现在,本机A要连接局域网内的另一台机器B上的Linux虚拟机,要如何配置虚拟机的网络连接呢? 1、配置虚拟机的网络连接方式 选择“虚拟网络编辑器”。 这阅读全文
posted @ 2017-03-22 10:47 小木瓜瓜瓜 阅读(9) 评论(0) 编辑
摘要: 一、at 单次执行任务。 (1)30分钟后重启 [plain] view plain copy print? [root@wc1 Desktop]# at now + 3 minutes at> /usr/bin/reboot<EOT> job 3 at 2016-11-10 14:22 [plai阅读全文
posted @ 2017-03-22 10:45 小木瓜瓜瓜 阅读(14) 评论(0) 编辑
摘要: python uwsgi实现的简单web服务器,一共用了8行代码。 先说一下web领域的几个概念,主要是举例: web服务器:apache、iis、nginx等。 web应用服务器:tomcat、jboss、weblogic、iis等。 web应用程序:jsp,asp,php,python等。 先说阅读全文
posted @ 2017-03-17 18:13 小木瓜瓜瓜 阅读(4) 评论(0) 编辑
摘要: 前一篇讲了如何在linux中安装python 2.7.8,接下来继续安装pip,pip是python安装各种包的工具,是非常腻害的工具 在安装过程中,经常报 :Nothing to do,有很多原因,其中一个原因是虚拟机竟然没有连网,简直是太扯了,对自己太无语了。。。 1、先安装扩展源EPEL 显然阅读全文
posted @ 2017-03-15 18:40 小木瓜瓜瓜 阅读(5) 评论(0) 编辑
摘要: 如果是在window平台安装python,可以直接下载exe的安装包,一步一步下去,就安装好了,非常简单。 下面会介绍如何在CentOS Linux 6.6中安装python 2.7.8. 1、查看系统是否已经安装python 在安装之前,查了系统,发现系统中就已经集成了python 2.6.6了:阅读全文
posted @ 2017-03-15 18:05 小木瓜瓜瓜 阅读(5) 评论(0) 编辑
摘要: 建立索引的基本规则: A、针对优先级高的、使用频繁的查询来增加索引,同时测试查询看索引是否被使用,并且不要同时增加多个索引。 B、除非有非常好的原因,否则在每一个表都增加一个聚集索引。 C、选择很少改变的、高度唯一的、数据类型占用字节少的列做为聚集索引键。非聚集索引应该建立在包含高度唯一数据的列上,阅读全文
posted @ 2017-03-07 12:39 小木瓜瓜瓜 阅读(3) 评论(0) 编辑
摘要: 一、优化的层次: 1、语句级别(包含索引) 2、系统级别:索引碎片、锁定、统计信息、系统参数配置、数据库设计 3、底层级别:硬件、网络 二、SQL Server查询性能优化需要多种途径: 1、数据库设计。这可能是影响查询性能和数据完整性最重要的因素了,设计决策会影响读取、修改的性能。 规范化的OLT阅读全文
posted @ 2017-03-07 12:34 小木瓜瓜瓜 阅读(4) 评论(0) 编辑
摘要: 先从一个问题开始: 我知道统计信息是为查询引擎做查询计划用的,现在有以下请教大家,谢谢! 1.统计信息是什么时候会自动建立与更新,Insert、update、delete时候会自动更新统计信息吗? 2.当我把数据库设置中的"自动创建统计信息"与"自动更新统计信息"设置为True,我还需要建立维护计划阅读全文
posted @ 2017-03-07 12:05 小木瓜瓜瓜 阅读(5) 评论(0) 编辑
摘要: 先从一个问题开始: 刚在MSDN上看到对Option的解释为:指定应在整个查询中使用所指定的查询提示。 每个查询提示只能指定一次,但允许指定多个查询提示。 使用该语句只能指定一个 OPTION 子句。 请问如下问题: 1.查询提示是什么意思? 2."每个查询提示只能指定一次,但允许指定多个查询提示"阅读全文
posted @ 2017-03-07 11:59 小木瓜瓜瓜 阅读(2) 评论(0) 编辑
摘要: 面是一个网友提出的非常好的问题: MS SQLSERVER2008的事务,锁,并发的问题 学习了SQL SERVER2008关于事务的讲解,关于锁的讲解,关于并发的理解。但是仍然有一些问题,不是很理解,希望大牛们给予指导。 问题1:并发访问的基础是多个外部进程,可以同时操作同一张表,或者操作同一个记阅读全文
posted @ 2017-03-07 11:41 小木瓜瓜瓜 阅读(6) 评论(0) 编辑