zhjh256 - 博客园

2023年1月2日

摘要： int ret = log4c_init(); if (ret) printf("log4c_init() failed\n"); log4c_category_t* mycat = log4c_category_get("log4ctest"); log4c_category_log(mycat, 阅读全文

posted @ 2023-01-02 22:50 zhjh256 阅读(154) 评论(0) 推荐(0) 编辑

c删除文件remove/unlink区别

摘要：我们知道，Linux环境下经常使用rmdir来删除一个空文件夹，使用unlink函数删除文件链接。除此之外，C中的remove函数的功能也是删除文件，那么他们之间有什么区别？通过man来查看remove函数的定义我们可知：可以看到，remove函数底层会直接调用unlink()函数和rmdir( 阅读全文

posted @ 2023-01-02 14:59 zhjh256 阅读(447) 评论(0) 推荐(0) 编辑

2022年12月30日

lightdb/postgresql中的MemoryContext out of memory原因分析及解决思路

摘要：内存上下文的设计思路可以参考src/backend/utils/mmgr/README。 https://www.pgcon.org/2019/schedule/attachments/514_introduction-memory-contexts.pdf http://www.light-pg. 阅读全文

posted @ 2022-12-30 14:02 zhjh256 阅读(231) 评论(0) 推荐(1) 编辑

2022年12月29日

oracle、mysql&mariadb、postgresql中表名、列名的默认大小写问题

摘要：从https://zhuanlan.zhihu.com/p/378495347、https://blog.csdn.net/qq_43454016/article/details/123231325，可知，mysql表名的大小写敏感取决于lower_case_table_names参数的设置，而字段阅读全文

posted @ 2022-12-29 15:43 zhjh256 阅读(364) 评论(0) 推荐(0) 编辑

lightdb获取建表ddl

摘要： select dbms_metadata.get_ddl('table', 'act_hi_identitylink','etfpub'); CREATE TABLE etfpub.act_hi_identitylink ( id_ character varying(64) NOT NULL, g 阅读全文

posted @ 2022-12-29 14:25 zhjh256 阅读(26) 评论(0) 推荐(0) 编辑

2022年12月23日

lightdb数据库链接之postgresql_fdw

摘要： FDW简介 FDW(Foreign Data Wrapper)是lightdb的一个插件。通过FDW，可以将远程pg数据库映射到本地(映射为server)，将远程数据库table映射为本地的foreign table。通过FDW映射的foreign table，实际数据只存在于远端数据库，本地并不实阅读全文

posted @ 2022-12-23 09:43 zhjh256 阅读(84) 评论(0) 推荐(0) 编辑

2022年12月20日

lightdb相关系数计算函数corr

摘要：相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数(Person)。相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。相关系数阅读全文

posted @ 2022-12-20 23:17 zhjh256 阅读(148) 评论(0) 推荐(0) 编辑

2022年12月19日

lightdb extra_float_digits--控制浮点数精度

摘要： lightdb中extra_float_digits参数可以用来控制浮点数输出的精度，其采用原生c语言的float4/float8实现，可能我们在平时使用中并不太会留意，但是显示的时候会有一些问题。建一张表，两个字段类型分别是float和numeric，然后插入数据，如下： zjh@postgre 阅读全文

posted @ 2022-12-19 13:54 zhjh256 阅读(51) 评论(0) 推荐(0) 编辑

2022年12月17日

c语言中float类型的存储及IEEE规范

摘要： float是浮点型数据类型。也是postgresql/sql server中float/float4都指的是单精度(real在pg中就是单精度，保证6位而非7位精度，范围从1E-37~1E+37)，使用c语言的浮点数直接存储实现。 float是C语言的基本数据类型中的一种，表示单精度浮点数。C语言规阅读全文

posted @ 2022-12-17 21:35 zhjh256 阅读(485) 评论(0) 推荐(0) 编辑

2022年12月15日

lightdb切换wal日志

摘要： zjh@mydb_for_ora=# insert into big_table select id,uuid() from generate_series(1,1000) id; INSERT 0 1000 zjh@mydb_for_ora=# select pg_switch_wal(); pg 阅读全文

posted @ 2022-12-15 15:37 zhjh256 阅读(24) 评论(0) 推荐(0) 编辑

2022年12月13日

postgresql 9.4引入的with ordinaly在lightdb中使用rownum替换

摘要： pg 9.4为表函数引入了自动生成行号的功能，如下： =# SELECT * FROM generate_series(4,1,-1) WITH ORDINALITY; generate_series | ordinality + 4 | 1 3 | 2 2 | 3 1 | 4 但是它不能用于普通表阅读全文

posted @ 2022-12-13 20:44 zhjh256 阅读(74) 评论(0) 推荐(0) 编辑

2022年12月7日

lightdb vacuum用法--功能与参数

摘要： lightdb没有像Oracle那样的undo来存放旧版本；而是将旧版本直接存放于relation文件中。那么带来的问题就是dead tuple过多，导致relation文件不断增大而带来空间膨胀问题。为了解决这个问题，lightdb中引入了vacuum后台进程，专门来清理这些dead tuple，阅读全文

posted @ 2022-12-07 19:45 zhjh256 阅读(52) 评论(0) 推荐(0) 编辑

2022年12月4日

开源一体化文档编写工具sgml/sphinx/markdown各自的适用场景

摘要：一体化文档编写工具主要有sgml（pg采用）和sphinx（python社区和read the docs采用）两大类，官方文档推荐、索引全面，跟HTML高度雷同，当然也有一些采用markdown（github wiki或非正式文档推荐）。在lightdb中，三种文档均有采用。github上的文档采用阅读全文

posted @ 2022-12-04 13:25 zhjh256 阅读(99) 评论(0) 推荐(0) 编辑

2022年11月27日

lightdb/postgresql中的事务回卷原理解析及避免

摘要：在pg中，由于事务id采用32位实现，所以是采用循环复用的，如下：虽然最大支持4 billion个事务（32位无符号数，xid最大可以到40亿），但是新老事务相差2 billion是上限，当达到2 billion的时候，PostgreSQL就会强制关闭。在此之前，pg会有一系列的提示（以下为默认阅读全文

posted @ 2022-11-27 10:38 zhjh256 阅读(458) 评论(0) 推荐(0) 编辑

2022年11月26日

lightdb修改字段int类型为xid(报错)

摘要： zjh@lt_test=# select pg_set_next_xid(2941144647::xid);ERROR: cannot cast type bigint to xidLINE 1: select pg_set_next_xid(2941144647::xid); ^ 先转为text，阅读全文

posted @ 2022-11-26 22:07 zhjh256 阅读(38) 评论(0) 推荐(0) 编辑

linux重置core文件生成目录

摘要：查看/proc/sys/kernel/core_pattern文件或kernel.core_pattern里面的内容默认是core，也就是core文件的生成路径和工作路径一致，如果内容为其他值，那么对应的core文件就会生成到对应的目录下。/proc/sys/kernel/core_pattern表阅读全文

posted @ 2022-11-26 17:20 zhjh256 阅读(349) 评论(0) 推荐(0) 编辑

lightdb分布式版使用入门及性能提升对比

摘要： lightdb默认采用分布式、集中式一体化架构，单实例仍然可以启用分布式架构。环境配置假设已经安装了lightdb，默认情况下，安装分布式的时候会自动为create database创建canopy插件，也就是分布式版。可通过show %lib%确认，如下： [zjh@hs-10-20-30-1 阅读全文

posted @ 2022-11-26 16:24 zhjh256 阅读(416) 评论(0) 推荐(0) 编辑

2022年11月24日

lightdb 22.4新特性及开启mysql兼容模式

摘要：首先，从www.hs.net/lightdb下载最新版本并在安装时选择oracle模式，如下： http://www.light-pg.com/docs/LightDB_Install_Manual/13.8-23.1/install.html#guilightdb 选择mysql模式，安装完成后，阅读全文

posted @ 2022-11-24 15:08 zhjh256 阅读(87) 评论(0) 推荐(0) 编辑

lightdb开启oracle兼容模式

摘要：首先，从www.hs.net/lightdb下载最新版本并在安装时选择oracle模式，如下： http://www.light-pg.com/docs/LightDB_Install_Manual/13.8-22.3/install.html#guilightdb 选择oracle模式，安装完成后阅读全文

posted @ 2022-11-24 15:04 zhjh256 阅读(88) 评论(0) 推荐(0) 编辑

postgresql 15新特性

摘要： PostgreSQL 15 已发布，此版本在本地管理和分布式部署中的工作负载方面有明显的优化，包括改进的排序性能。此版本还添加了流行的 MERGE 命令、启用 Zstd 和 LZ4 压缩支持，以及更多用于观察 / 调整数据库状态的功能。改进的排序性能和压缩在最新版本中，PostgreSQL 改进阅读全文

posted @ 2022-11-24 11:29 zhjh256 阅读(612) 评论(0) 推荐(0) 编辑

postgresql 14新特性

摘要：再说PostgreSQL 14之前，先来带大家回复一下之前发布的各个版本和特性。 PostgreSQL 9.0 ：支持64位windows系统，异步流数据复制、Hot Standby； PostgreSQL 9.1 ：支持数据同步复制，unlogged tabels、serializable sna 阅读全文

posted @ 2022-11-24 11:18 zhjh256 阅读(242) 评论(0) 推荐(0) 编辑

2022年11月6日

lightdb fdw性能测试

摘要：首先造测试表和数据， [zjh@hs-10-20-30-193 ~]$ ltsql -p23456 postgres ltsql (13.8-22.3) Type "help" for help. zjh@postgres=# CREATE USER fdw_user WITH ENCRYPTED 阅读全文

posted @ 2022-11-06 13:44 zhjh256 阅读(89) 评论(0) 推荐(0) 编辑

2022年11月5日

pgpool ii在lightdb下的性能测试

摘要： 1、从https://www.pgpool.net/下载最新版pgpool ii，如4.3.2。 2、假设安装了postgresql或lightdb，百度一搜即可 3、解压包，执行./configure && make && make install 4、修改配置pgpool.conf，拷贝一个pg 阅读全文

posted @ 2022-11-05 20:08 zhjh256 阅读(138) 评论(0) 推荐(0) 编辑

2022年11月3日

c/c++访问lightdb

摘要： /* * src/test/examples/testlibpq3.c * * * testlibpq3.c * Test out-of-line parameters and binary I/O. * * Before running this, populate a database with 阅读全文

posted @ 2022-11-03 16:33 zhjh256 阅读(22) 评论(0) 推荐(0) 编辑

postgresql闪回查询及其问题

摘要：其实早在2018年，Postgres Professional就实现了一个闪回查询的原型，基于vacuum_defer_cleanup_age和track_commit_timestamp。这本质上和LZ所想一致。但是存在的问题是膨胀对性能的影响太大，可参见postgresql/lightdb v 阅读全文

posted @ 2022-11-03 11:46 zhjh256 阅读(116) 评论(0) 推荐(0) 编辑

2022年10月23日

postgresql中work_mem的实现及临时文件的实现

摘要：在postgresql中，work_mem不足（包括物化、hashjoin、某些table函数如generate_series）时写临时文件的实现在src/backend/utils/sort/tuplestore.c（它本质上是 tuplesort.c （logtape.c协助其实现multipl 阅读全文

posted @ 2022-10-23 17:14 zhjh256 阅读(401) 评论(0) 推荐(0) 编辑

postgresql/lightdb vacuum对性能的影响及彻底理解表膨胀

摘要：先来看测试结果zjh@postgres=# create table big_table(id int,v text); CREATE TABLE zjh@postgres=# ALTER TABLE big_table SET (autovacuum_enabled = off); # 关闭自动v 阅读全文

posted @ 2022-10-23 12:23 zhjh256 阅读(205) 评论(0) 推荐(0) 编辑

2022年10月20日

postgresql/lightdb patroni高可用搭建与测试

摘要：之前我们讲述了repmgr，这一篇我们来看patroni的高可用实现（不管是哪种高可用方案，底层都是基于流复制，这才是核心，上面只是尽可能自动化，异常时兜底能力仍然是最重要的，无之一）。对于patroni，cybertec的评价如下： What does Patroni do? Basically, 阅读全文

posted @ 2022-10-20 22:20 zhjh256 阅读(116) 评论(0) 推荐(0) 编辑

2022年10月19日

LightDB 22.3与龙芯LoongArch完成认证适配

摘要： LightDB近日与龙芯中科完成适配认证，龙芯方一起验证了一个网卡软中断不均衡的问题，升级固件后，lightdb在kylinv10龙芯下性能还是挺不错的。其实，lightdb很早就已经发布龙芯架构lightdb-x-13.3-22.2-5950-kylinV10sp1.loongarch64-be 阅读全文

posted @ 2022-10-19 17:38 zhjh256 阅读(41) 评论(0) 推荐(0) 编辑

2022年10月15日

postgresql/lightdb ctas与no space available error

摘要： ctas实现逻辑 > log_newpage C++ (gdb) _bt_blwritepage C++ (gdb) _bt_uppershutdown C++ (gdb) _bt_load C++ (gdb) _bt_leafbuild C++ (gdb) btbuild C++ (gdb) in 阅读全文

posted @ 2022-10-15 23:05 zhjh256 阅读(31) 评论(0) 推荐(0) 编辑

2022年10月11日

lightdb lt_bulkload，比copy更高效的导入方式以及jdbc copy实现

摘要： https://www.cnblogs.com/liuyuanyuanGOGO/archive/2013/05/08/3066646.html https://jdbc.postgresql.org/documentation/publicapi/org/postgresql/copy/packag 阅读全文

posted @ 2022-10-11 17:14 zhjh256 阅读(41) 评论(0) 推荐(0) 编辑

2022年10月5日

postgresql各版本不向后兼容重大特性

摘要： pg 13不兼容的重大改变 wal_keep_segments(最初PR的名字是standby_keep_segments)->wal_keep_size pg 12不兼容的重大改变不在具有recovery.conf文件，它本来是standby promote的时候的启动配置文件。新增了stand 阅读全文

posted @ 2022-10-05 14:57 zhjh256 阅读(190) 评论(0) 推荐(0) 编辑

2022年9月21日

Oracle 23c? What happened 20c&22c

摘要： As you know Oracle has been chaned release name. In this post we talk about Oracle Realeases. Before we start let use see current Oracle Database Real 阅读全文

posted @ 2022-09-21 23:07 zhjh256 阅读(117) 评论(0) 推荐(0) 编辑

2022年9月20日

LightDB 22.3发布说明

摘要： LightDB 22.3于国庆后正式发布，用户可从www.hs.net/lightdb下载。主要新特性包括： 1、oracle模式、mysql模式、pg模式完全隔离，任何时候只能启用一种模式，升级时将检查模式兼容性，完全监控pgcenter/navicat/pgadmin等开源周边客户端工具，jdb 阅读全文

posted @ 2022-09-20 16:20 zhjh256 阅读(65) 评论(0) 推荐(0) 编辑

postgresql与lightdb中的null行为及oracle、mysql的兼容性

摘要： null首先跟char、varchar、bpchar（blank padded character）、text有关系。在oracle中，则与char、varchar2、clob有关。其次，涉及的范围比较广，''、null、=、!=、is null、is not null、替换、计算长度、类型强转如阅读全文

posted @ 2022-09-20 15:33 zhjh256 阅读(183) 评论(0) 推荐(0) 编辑

2022年9月18日

postgresql/lightdb大数据量导入导出之copy/ltuldr/ltldr/lt_bulkload及最佳实践推荐

摘要：注：无论是copy to还是copy from，都有一个缺点，要求文件位于服务器上，这就限制了使用范围。为此，对于导出，lightdb提供了高性能导出版本ltuldr。对于导入，lightdb在23.1之前提供lt_bulkload，见下文；从23.1开始，支持和oracle sql*loader对阅读全文

posted @ 2022-09-18 15:53 zhjh256 阅读(187) 评论(0) 推荐(0) 编辑

2022年9月15日

postgresql中的MAXIMUM_ALIGNOF

摘要： > The MAXIMUM_ALIGNOF value is set to 8 bytes in a Windows- 32-bit> environment. I have very little knowledge about Windows, but at> the face of it, t 阅读全文

posted @ 2022-09-15 12:59 zhjh256 阅读(44) 评论(0) 推荐(0) 编辑

2022年9月13日

lightdb lt_probackup 归档模式和流模式的区别

摘要： ARCHIVE Mode ARCHIVE is the default WAL delivery mode. For example, to make a FULL backup in ARCHIVE mode, run: pg_probackup backup -B backup_dir --in 阅读全文

posted @ 2022-09-13 20:57 zhjh256 阅读(39) 评论(0) 推荐(1) 编辑

postgresql/lightdb数据文件丢失和损坏恢复--系统表

摘要：文件删除 rm -rf 1255 # pg_proc select * from pg_class [order by oid]; ##不报错 select * from pg_class where oid = 1255; ## 报错 ERROR: could not open file "bas 阅读全文

posted @ 2022-09-13 13:02 zhjh256 阅读(228) 评论(0) 推荐(0) 编辑

2022年9月10日

postgresql/lightdb的notify机制--可靠缓存、MQ消息事务的救星

摘要： http://www.light-pg.com/docs/lightdb/13.3-22.2/sql-notify.html http://www.light-pg.com/docs/lightdb/13.3-22.2/sql-listen.html https://wiki.postgresql. 阅读全文

posted @ 2022-09-10 14:56 zhjh256 阅读(121) 评论(0) 推荐(0) 编辑

公告