数据库 - 随笔分类 - Boblim

driud调优

摘要：基础参数说明由于DruidDataSource大部分属性都是参考DBCP的所以可以参考下DBCP配置说明 <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy- 阅读全文

posted @ 2022-12-15 19:52 Boblim 阅读(648) 评论(0) 推荐(0)

mysql update语句加order by进行指定顺序的更新

摘要：Mysql单表更新的语法： UPDATE [LOW_PRIORITY] [IGNORE] table_reference SET assignment_list [WHERE where_condition] [ORDER BY ...] [LIMIT row_count] 在更新语句中可用 O 阅读全文

posted @ 2022-11-17 11:30 Boblim 阅读(2140) 评论(0) 推荐(0)

hive的insert语句列顺序问题以及新增字段遇到的坑

摘要：讲问题之前，先简单创建一个表： CREATE TABLE IF NOT EXISTS `my.test_table`( `col1` int COMMENT "第一列", `col2` int COMMENT "第二列" ) COMMENT "测试表" PARTITIONED BY (`pt` in 阅读全文

posted @ 2020-08-10 21:25 Boblim 阅读(11608) 评论(0) 推荐(2)

Hive对字段进行urlDecode

摘要：最近项目中需要对埋点日志hive表进行分析，并且按一定的规则统计出来满足要求的用户pin。本来以为是一件比较简单的事，结果在查看导出的词表时发现很多带有"%"的明显具有url encode特征的用户pin，于是就开启了这篇文章用hive对字段进行urlDecode的探索。在查看了一些资料后，刚开始阅读全文

posted @ 2020-08-05 21:12 Boblim 阅读(7409) 评论(0) 推荐(0)

spark sql/hive小文件问题

摘要：针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并：参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 阅读全文

posted @ 2020-08-03 18:21 Boblim 阅读(3573) 评论(0) 推荐(0)

Hive SQL优化方式及使用技巧

摘要：HIVE简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询，可以将sql语句转换为MapReduce任务进行运行同时，hive也允许熟悉map-reduce的开发者开发自定义的mapper和reducer来处理内建的mapper和r 阅读全文

posted @ 2020-06-10 19:20 Boblim 阅读(12356) 评论(0) 推荐(2)

hive 时间戳函数之unix_timestamp，from_unixtime

摘要：一. 日期>>>>时间戳1.unix_timestamp() 获取当前时间戳例如：select unix_timestamp() --1565858389 2.unix_timestamp(string timestame) 输入的时间戳格式必须为'yyyy-MM-dd HH:mm:ss',如不符阅读全文

posted @ 2020-06-09 21:29 Boblim 阅读(6279) 评论(0) 推荐(1)

Hive实现自增列的两种方法

摘要：多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UD 阅读全文

posted @ 2020-06-09 21:17 Boblim 阅读(8242) 评论(0) 推荐(1)

OTL调用存储过程/函数及注意事项

摘要：OTL 是 Oracle, Odbc and DB2-CLI Template Library 的缩写，是一个 C++ 编译中操控关系数据库的模板库，它目前几乎支持所有的当前各种主流数据库。 OTL 使用起来比较方便，其官方网站也提供了详细的文档和例子（ http://otl.sourceforge 阅读全文

posted @ 2017-05-19 16:13 Boblim 阅读(1212) 评论(0) 推荐(0)

SQL Sever 2012 如何建立数据库连接

摘要：一、下载 http://www.microsoft.com/zh-cn/download/details.aspx?id=29062 下载后直接安装即可。二、打开数据库 1.点击连接，进入到以下界面。 2.右击下图选中中的属性 3.在安全性中选中右侧的“SQL Server 和 Windows 身阅读全文

posted @ 2017-04-18 17:20 Boblim 阅读(4921) 评论(0) 推荐(0)

sql 内连接、外连接、自然连接等各种连接

摘要：1、内联接（典型的联接运算，使用像 = 或 <> 之类的比较运算符）。包括相等联接和自然联接。内联接使用比较运算符根据每个表共有的列的值匹配两个表中的行。例如，检索 students和courses表中学生标识号相同的所有行。 2、外联接。外联接可以是左向外联接、右向外联接或完整外部联接。在 F 阅读全文

posted @ 2017-01-23 12:41 Boblim 阅读(35037) 评论(0) 推荐(2)

多个程序对sql server中的表进行查询和插入操作导致死锁

摘要：最近在做一个项目，是要用多个程序对sql server中的相同的数据库进行操作（查询和插入），所以在开始的时候常会出现死锁问题，后来在网上进行了咨询，发现了一些解决方法，留作大家参考：并发去操纵一张表，会产生表锁或行锁，以下几种方案可以尝试 1.查询语句from后的表名加with(nolock)，阅读全文

posted @ 2016-10-18 19:01 Boblim 阅读(1637) 评论(0) 推荐(1)

otl中遇到的一些字符数组长度问题

摘要：最近做的项目中对于数据库的操作为了有一个统一的操作，所以采用了otl技术作为中间媒介，当然，由于是用了别人的库，所以还是出现了很多问题。通过对问题进行分析，也形成了一些常用问题的处理方法。在用otl绑定otl_stream的字符串或者字符类型变量中，总是会出现Incompatible data t 阅读全文

posted @ 2016-09-30 09:32 Boblim 阅读(2167) 评论(1) 推荐(0)

otl使用存储过程或是LEFT JOIN时提示输出类型未知的问题

摘要：otl_stream的构造函数或成员函数open的第四个参数const int implicit_select 默认是otl_explicit_select。当使用存储过程时，必须指定为otl_implicit_select。以上是OTL官方的说明，在实际使用中，我碰到过使用SQL SERVER2 阅读全文

posted @ 2016-09-24 15:21 Boblim 阅读(297) 评论(0) 推荐(0)

开启otl的64位长整数支持

摘要：要开启OTL的64位长整数支持，必须先定义宏或者同时，因为OTL只是一个头文件，具体的64位长整数支持还得靠底层，对于底层驱动本身就支持64位长整数的情况，就不需要定义其他宏了，而对于那些底层驱动不支持64位长整数的情况，例如OCI版本小于11.2或是ODBC本身不支持64位整数，则需要额外定义阅读全文

posted @ 2016-09-24 15:20 Boblim 阅读(677) 评论(0) 推荐(0)

otl翻译(11) -- OTL的迭代器

摘要：OTL stream read iterator 这个类是一个像传统的JDBC中的getter()操作一样扩展了OTL流的模板类。它现在还不支持UNICODE字符集。它对otl_refcur_stream和otl_stream的使用基本相同（在ORACLE8版本里面）。模板的定义如下： templ 阅读全文

posted @ 2016-09-24 15:18 Boblim 阅读(792) 评论(0) 推荐(0)

OTL翻译(10) -- OTL的流缓冲池

摘要：OTL的流缓冲池一般来讲，流一般作为一个局部的变量被使用，当使用完毕后就立刻关闭，如果需要再次使用就需要再次的声明变量，如此循环。OTL流的缓冲池（内存池）是一个解决以往的流性能低下的一个机制。当流被关闭后，实际上流的相关变量被保存在一个流缓冲池里面，以便再利用。每一个流在解析SQL或与数据库层阅读全文

posted @ 2016-09-24 15:17 Boblim 阅读(600) 评论(0) 推荐(0)

OTL翻译(9) --常量的SQL语句

摘要：常量的SQL语句一个没有绑定变量的SQL语句、SQL语句块或是存储过程就被称为常量的SQL语句。OTL通过一个静态的函数来执行这样的SQL语句。例如： // static otl_cursor::direct_exec() otl_cursor::direct_exec (db, // connect object "create table test_tab(f1 ... 阅读全文

posted @ 2016-09-24 15:16 Boblim 阅读(974) 评论(0) 推荐(0)

OTL翻译(8) -- otl_long_string/otl_long_unicode_string类

摘要：otl_long_string/olt_long_unicode_string 这两个类主要用来处理大对象数据。从OTL4.0版本开始，otl_long_string还可以处理任何类型的RAW/BIANRY类型。下面列出了常见数据库的一些大对象类型： · Oracle 7: LONG, RAW, L 阅读全文

posted @ 2016-09-24 15:15 Boblim 阅读(956) 评论(0) 推荐(0)

OTL翻译(7) -- otl_exception类

摘要：otl_exception 这个类是OTL用来抛出异常的类。如果数据库API返回一个非0的错误值，则OTL会将会抛出一个otl_exception的异常。一个otl_exception异常有可能是一个数据库错误或是一个OTL定义的错误。序号函数、成员变量说明 1 char stm_text[2 阅读全文

posted @ 2016-09-24 15:14 Boblim 阅读(1297) 评论(0) 推荐(0)

Boblim

随笔分类 - 数据库

公告