摘要: 数据仓库中有的字段不合格,有特殊字符,比如换行符。 怎么把换行符替换掉呢? https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF LanguageManualUDF StringOperators regexp_rep阅读全文
posted @ 2018-11-07 20:22 Ryan.Miao 阅读(1469) 评论(0) 编辑
摘要: 使用Nginx做代理的时候,可以简单的直接把请求原封不动的转发给下一个服务。 比如,访问abc.com/appv2/a/b.html, 要求转发到localhost:8088/appv2/a/b.html 简单配置如下: 即,设置 即可。请求只会替换域名。 但很多时候,我们需要根据url的前缀转发到阅读全文
posted @ 2018-11-02 20:35 Ryan.Miao 阅读(439) 评论(0) 编辑
摘要: 最近做一个可执行shell调度的需求,要求用户输入shell,然后后台定时调度运行。实现大致为:保存用户的输入,设定时间,crontab定时执行用户的输入。但这里涉及到一个安全问题,如何确定用户的输入是安全的? 最初的想法是过滤危险命令,比如 之类的。后来,索性把用户的命令丢到一个特殊文件内,以一个阅读全文
posted @ 2018-11-01 10:56 Ryan.Miao 阅读(129) 评论(0) 编辑
摘要: 我们经常使用一些模板语言来处理一些变量替换。比如jsp,php,velocity,freemarker,thymeleaf等。那对于shell来说,应该怎样替换变量呢。有一种很简单的办法可以做到。 先来看一个应用场景。在datax是阿里开源的一个异构数据源同步框架,其配置文档是json的,我想要用s阅读全文
posted @ 2018-10-31 11:15 Ryan.Miao 阅读(180) 评论(0) 编辑
摘要: Postgresql和MySQL还是有很多不同的。就比如授权来说。当下有个业务场景,我们的报表数据库需要根据业务划分不同的db,然后创建对应的user。 如果是MySQL, 可以这样做 对于Postgres9.0以上 创建一个用户 ,允许登陆,永不过期 将db权限授予user 或者,分别授权 这时候阅读全文
posted @ 2018-10-15 22:58 Ryan.Miao 阅读(68) 评论(0) 编辑
摘要: 什么是环境变量 bash shell用一个叫做 环境变量(environment variable) 的特性来存储有关shell会话和工作环境的信息。即允许在内存中存储数据,使得在程序或shell中运行的脚本能够访问它们。 在bash shell中,环境变量分为两类: 全局变量 局部变量 全局环境变阅读全文
posted @ 2018-10-13 20:44 Ryan.Miao 阅读(513) 评论(1) 编辑
摘要: PHPMailer A full featured email creation and transfer class for PHP。 在PHP环境中可以使用PHPMailer来创建和发送邮件。 最新版本(20181012)是PHPMailer 6.0.5,这个无法兼容php5.5以下的环境。由于阅读全文
posted @ 2018-10-12 22:44 Ryan.Miao 阅读(116) 评论(0) 编辑
摘要: 安装memcached 安装php pecl memcached php memcache有两个实现类 我们需要装 否则,在PHP中会报错 Fatal error: Class 'Memcache' not found 启动memcached并测试php 新建php mem.php 执行阅读全文
posted @ 2018-09-13 14:14 Ryan.Miao 阅读(65) 评论(0) 编辑
摘要: [TOC] 背景 springboot初始化了日志的默认实现,只要我们在配置文件添加对应的配置即可。 比如 可以指定日志文件名,覆盖默认的pattern,指定不同日志级别。 但依旧有很多局限性。比如,默认的文件方案是: E:\maven\repository\org\springframework\阅读全文
posted @ 2018-09-05 13:49 Ryan.Miao 阅读(767) 评论(0) 编辑
摘要: 有时候我们需要的jar在maven里不存在,需要手动引入。比如,钉钉sdk springboot在打包的时候,调用spring boot maven plugin,执行repackage把tomcat和resource,lib等合成一个新的jar。想要将系统jar打进去,必须配置includeSys阅读全文
posted @ 2018-09-05 09:55 Ryan.Miao 阅读(363) 评论(0) 编辑
摘要: 前言 本次学习面向对象设计的另外一个基本概念:继承(inheritance)。这是Java程序设计中的一项核心技术。另外,还要学习反射(reflection)的概念。 继承 类、超类、子类 关键字extends表明正在构造的新类派生于一个已存在的类。已存在的类称为 超类(superclass) 、 阅读全文
posted @ 2018-07-11 08:40 Ryan.Miao 阅读(274) 评论(0) 编辑
摘要: 回顾基础知识过程中遇到的感觉需要记录一下的知识点。 封装 我们设计的class应当尽可能的高内聚,体现为封装的程度。一个class的属性应该只能自己修改,其他class都只是与本class沟通,而不应该有能力修改。比较常见的一个问题是Date属性。 业务开发中经常需要设计class的日期属性,比如b阅读全文
posted @ 2018-07-07 15:34 Ryan.Miao 阅读(147) 评论(0) 编辑
摘要: 数据类型 整形 | type | 存储 | 取值范围 | | | | | |int | 4字节 | 2 147 483 648 ~ 2 147 483 647 (超过20亿) | short | 2字节 | 32 768 ~ 32 7677 | | long | 8字节 | 9 223 372 03阅读全文
posted @ 2018-07-06 17:05 Ryan.Miao 阅读(97) 评论(0) 编辑
摘要: 上一节 "如何创建一个服务提供者provider" 已经启动了一个provider的server,提供用户信息查询接口。接下来,我们启动另一个provider,由于是同一台机器本地测试,我们换一个端口 通过启动传参数覆盖port。这样,我们就有两个provider实例了。接下来,可以使用我们cons阅读全文
posted @ 2018-07-05 06:43 Ryan.Miao 阅读(628) 评论(0) 编辑
摘要: 前几篇主要集中在注册中心eureka的使用上,接下来可以创建服务提供者provider来注册到eureka。 demo源码见: https://github.com/Ryan Miao/spring cloud Edgware demo/tree/master/provider demo 为了方便版阅读全文
posted @ 2018-07-04 08:51 Ryan.Miao 阅读(606) 评论(0) 编辑