linkman

学习记录,兴趣方面:工控软件、C++编程、人机界面、嵌入式软件、可视化等

最新评论

共3页: 1 2 3 下一页 
虽然在用实时库,但对压缩不感兴趣,因为做基于实时库的应用,看的是性能,我更关心创建、释放连接的性能损耗,读点值的效率。 请问博主,PI或eDNA有连接池吗? 如果持有一个连接后永不释放,可行否。
Re:写给一位有程序员心结的朋友 南通SEO 2010-05-30 12:48  
@yellowyu up
你好.我最近正研究这类相关信息. 可发份给我吗 unicheer@163.com
你好.我最近正研究这类相关信息. 可发份给我吗 dream2412@foxmail.com
和3楼zcf探讨 多文件,单文件不固定,PI用600M的大文件组成,eDNA用多小文件。 大文件,为了兼容设计不得大于2G,为了备份考虑不得大于一张CD即600M 大文件同样需要频繁移动磁头,大文件内部也需要建立索引,需要有效利用磁盘空间,不能固定的为每个标签分配多少空间,需要建立和COM复合文档类似的机制,这也就导致了磁头的频繁移动。微软也没能做好复合文档,你可以打开一个600M的复合文档试试,我测试在笔记本上第一次打开(无缓冲)20秒,第2次打开4秒。 小文件是充分利用了文件系统的目录文件检索功能。但同样也需要避免磁盘碎片,小文件可以每标签每天一个文件,存放时要尽量保证在磁盘上扇区连续。一次读入包括打开这样一个文件在普通台式机硬盘上也就10-20毫秒左右,如果是第二次打开,系统有缓存,在1毫秒即可打开读入。 至于采用哪种方式,主要看你的存储方式,一定要考虑磁盘的平均磁道定位时间,一般在5-9毫秒,如果频繁移动磁道,大文件小文件都无法满足要求。
Re:此实时数据库非彼实时数据库 kipway 2009-07-26 10:05  
读了博主的文章,觉得博主在实时库方面有相当的造诣。对于SIS系统,我最近做个其中的数据平台,使用的代理方式访问实时库,支持PI、eNDA,对使用PI的感受是2万点能流畅的读写,也就是每秒能读写2万个标签实时值。对于历史数据的访问,如果读一个标签2月内的1分钟插值。第一次(非缓冲态)也需要约2-3秒时间。PI的压缩的确很厉害,但是没有PI的数据精度指标。 对于压缩的理解,压缩是基于几个假设条件下的,最重要的是工业数据在某时间段内有规律增减或小幅波动。如果数据是完全离散的,无任何规律,那么是无法压缩的。压缩是一个很重要的辅助技术,必须要有。 我最近在做一个小型实时库,设计标签数在5000-10000。采用增量压缩。压缩后如下: digital 1字节 int32 3字节 float32 3字节 int64 3字节 float64 3字节 这几天正为磁盘存储方式优化头痛,是按大文件分卷还是按没标签每天一个小文件组织做测试。大文件分卷不能用COM的复合文档,打开文件太慢,如果自己组织大文件,测试了一下,不可避免要磁头频繁提供,效率同样不理想。感觉按小文件组织速度要快些。 我目前图形平台包括和PI完全相同的趋势控件都做好了,也投运了,很想做一个能替代商业实时库的自己的实时库,这样整个企业数据平台就做好了。 没看到博主的邮箱,很想向博主请教。我的邮箱idoorsoft@163.com 希望博主能留下邮箱,我把我的数据平台介绍资料发给你请教。
招货车司机1名,财务1名,业务员多名,试用期2个月。工资面议。 有意者请电13564329108.

中国大唐河南分公司实时数据库平台建设


关键词:33万点实时数据 IntelBase实时数据库 中国大唐河南分公司 实时数据库系统 DCS 组态 辅控网 发电厂 SIS系统


目前,发电厂纷纷建立实时数据库平台。用来存储电厂DCS系统的实时/历史数据,为生产决策提供有力的支持。在集团公司所属下的分公司这一层次如何建设对所属电厂实时数据库平台以及建立在其上的应用系统,已经变的越来越重要。中国大唐河南分公司的实时数据库平台的建设为国内同类机构的实时数据库平台的建设提供有力的借鉴。
中国大唐河南分公司所属六个大型发电企业:三门峡华阳电厂(4台机组)、信阳华豫电厂(2台机组)、许昌龙港电厂(2台机组)、洛阳热电厂(4台机组)、首阳山电厂(4台机组)、安阳电厂(4台机组)。根据统计各电厂已有的DCS和辅控网实时数据测点数共计:331080点,各电厂分布在河南的不同地区,各电厂与分公司通过VPN相连接。
在项目确立之初,分公司对目前国内发电企业集团或分公司侧的实时数据库平台的建设情况进行了调研,通过调研发现,几乎所有的相似企业都是从电厂的每台机组接入有限的实时数据。有的接入50点、有的接入100点、最多的接入150点左右。具体到限制每台机组接入的主要原因有两个:
(1) 在集团侧实时数据库系统的测点数有限制。
(2) 各电厂通过VNP的方式与集团联网,数据通讯能力有限,不能接入太多实时数据。
调查中还发现,大部分实时数据库平台的应用系统非常少,功能简单,不能满足目前中国大唐河南分公司的需求。通过分析知道,造成这种现象的原因是,接入的数据量太少,后续的应用需要的数据有无法再继续得到。造成实时数据库平台的建设与应用系统的开发脱节。
为保证分公司实时数据库系统的建设顺利实施,同时,保证后续开发不受影响最后决定,将分公司所属的所有电厂的所有机组的实时数据全部接入到分公司的实时数据库中,以确保不做重复性工作。做出这一方案的主要原因是:
(1) 从机组中确定哪些测点需要接入,哪些不需要接入是困难的。因为,当前永远不能预测三年甚至五年后应用系统的开发会用到哪些测点。实时数据库平台要立足于长远,不做重复性工作,为应用开发提供服务。
(2) 如果采用选择有限测点数的方法,实施有相当大的难度。电厂一台机组的实时数据少的上万点,多的有几万点。从其中找出几十点数据需要个专业的专工精心工作很长时间,并且容易出差错。在厂内几台机组同时实施,要做大量的工作。对整个分公司来说这可能要占区2到3个月的时间,同时效果会很差。
(3) 将电厂所有实时数据全部接入,即可以省去专工多余劳动,有能保证一劳永逸,避免将来重新接入实时数据的过程。

实时数据库系统的选择。实现上述方案的实时数据库系统要满足两个条件:
(1) 大规模实时数据存储能力,由于分公司需要接入的实时数据共有33万点。
(2) 高效的数据通讯能力。各电厂与分公司采用2M带宽的VPN组成网络,在这个网络中还有很多其他应用,如:MIS系统、视频会议等。要求不能占用过多带宽影响其他系统的应用。
通过市场调研,发现目前国内实时数据库应用中几乎没有一个实时数据库能够支持单机到33万点数据,也没有通过VPN同时传输33万点实时数据的成功案例。
在产品测试中发现IntelBase实时数据库系统,在大规模实时数据存储,大规模实时数据通讯方面有着极高的性能。
(1) 极高的压缩比,IntelBase采用混合压缩方式,提高压缩比10倍。一万点数据年占用空间<1G。720G硬盘可以将33万点的实时数据保存20年,并且实时数据无失真。这个指标是任何实时数据库系统无法比拟的。
(2) 对服务器的性能要求比较低,IntelBase运行效率极高,33万点实时数据的存储,恢复等过程,在一台IBM3650中实现,CPU平均占用<5%。这是一个奇迹性的指标,减少了用户的硬件投资。
(3) IntelBase本身具有多对一的远程通讯功能,多个电厂对一个集团数据传送,数据通讯采用独特的数据压缩通讯方式,只占用极少的带宽,就能实现大规模的实时数据传送。
基于需求考虑,中国大唐河南分公司采用IntelBase实时数据库系统作为基础,构建分公司侧实时数据库平台。

项目2008年2月开始实施,2008年3月实施完成。整个工期只用一个月的时间。目前,系统共接入所属六个大型发电企业的实时数据33万点。系统正常运行一年。系统稳定可靠,为生产管理、决策提供了有力的保证。

招仓库管理员1名,要求25周岁以上,喜欢物流行业,学历大专以上,能吃苦,服从公司调动,试用期三个月,每月工资800,试用后1200基本工资加奖金,6天7小时,有意者请电15884451882
小弟也在研究实时数据库,但是在20万点的情况下,我们设计的结构就会占用很多的不可忍受的内存,我想请教一下,你怎么设计采集数据在内存中的缓冲区的结构使其不占用太多的内存?????
我看到的资料内存索引结构一般用T树吧,但一个tag点一个T树的话,受不了啊!!
还有历史数据库为什么采用多文件呢,单文件不是可以减少磁头的移动吗???
我也要招人! 租车公司 2009-02-11 15:05  
诚聘电话业务员,底薪1100加提成。 公司做租车行业,公司提供客户基本不用自己开发!需要口齿灵力!健谈女士!
电话:13760366658

别说删了,现在压根都登录不上去了。。。
多么珍贵的资料哇。。就这样没了。。
re: 写给一位有程序员心结的朋友 pauldlx 2009-01-18 10:58  
博主说的太对了
诚聘电话业务员 孙先生 2008-12-17 10:06  
诚聘电话业务员,底薪1600加提成。
电话;13701210189
联系人:孙先生
好样的
re: 此实时数据库非彼实时数据库 fli2100@163.com 2008-10-11 11:57  
个人认为“实时数据库”概念如此复杂是由于“实时”二字导致的。“实时”二字有两个:一个是“仿真”的对应面,就是“场景”意义下的实时。这在计算机发展的早期有很大的意义;第二个意义现在用的多了些,就是与时间有关的“确定性”,时效意义下的实时。
以这个观点来看,PI、InfoPlus、三维力控、浙大自控等公司的产品,属于“场景”意义下的实时数据库,主要是为了数据的历史保存,核心技术是数据压缩;另一些产品,如内存数据库(内数据库是实时数据库的实现手段),要求数据保存和提取有期限性要求,应用系统的未来取决于当前数据,这样,保存数据就不是核心了。
大家看看我的这个划分是不是把这里的争论说清楚了?
fli2100@163.com
re: [导入]实时数据库理论与技术演讲PPT 蜡笔小王 2008-09-09 15:00  
谢谢分享。:)
re: [导入]实时数据库理论与技术演讲PPT 蜡笔小王 2008-09-09 15:00  
不错。很全面。
LZ是MCGS的啊
请问一下:而liyaoer123同学在他的博客上帖出了osisoft关于旋转门压缩的技术文章,大家有兴趣可以去看看

这篇文章在哪里呢?没有链接和标题
我试着搜索作者也没有找到
能否告知一下
万分感谢
我要招人 马贼施 2008-03-16 19:00  
现在招聘广东发展银行上海分行信用卡专员,高中以上学历,欢迎有意向在金融业发展,有志于挑战高薪者。有意者打电话13564583308.施小姐
学习,学习
大家都是文化人,请不要说脏话,实在看不下去了,为linkman大哥打抱不平一把!刚才那道题目应该可以用红黑树作为数据结构吧。
这个实时数据库的叫法有点牵强,那么多国际大公司、企事业单位,关系型数据库+存储方案都能解决,难道就我们有特殊情况无法解决的
是不是好好研究一下现有关系型数据库和存储方案就能实现这些了

你做的这个项目或者说这个行业,不能指望所有的程序员都有跟你一样的见解,都能达到你理解的高度,所以,需要你自己多做,多指导他们去做。
你的经验很不错。

不过,楼主的心态需要重新摆正一下了,安心的做你的实时数据库,不要到处炫耀了。
re: 悲观程序员的五件武器 鼠标王 2007-11-06 09:16  
我发现楼主也是一个快被时代淘汰的人了。
会经常来关注你的文章的!
我要开发重新回归数据库行业里!呵呵!
re: 夜游天安门 aspnetx 2007-11-03 14:51  
夜幕下的天安门果然另有一番味道
请各位新朋老友代为宣传,感激不尽!
请有意者加我MSN或给我发邮件。
re: 图记2007年北京国际马拉松比赛 afalon(张扬) 2007-10-30 12:17  
是从知春路附近跑过啊?
要是能跑过西三旗就好了
公路自行车赛是不是会路过西三旗呢?
re: 悲观程序员的五件武器 天方 2007-10-30 11:01  
挺不错的,经验之谈。
re: 关于VCF(Visual Component Framework) Merlin Ran 2007-09-12 18:21  
今天第一次看到VCF,深深地被它吸引了。完全像其主页上Tom Archer所说:
when they see something that is truly inspiring, they say it in a very low, respectful tone.
看项目可不能光看健全与否,就像选股票还可以选潜力股呢。它的理念非常打动人心,同时看到它活跃的的发展状态,我相信它以后会大有前景,甚至有超越wxWidgets的可能。
re: 关于VCF(Visual Component Framework) 康国庆--thinkinlove 2007-08-22 19:29  
c++ 下gui很多的, 何必和一个文档和社区不健全的项目过不去,
qt ,gtk 。。
迷糊,这么多书,看完了这辈子也结束了,迷糊。。。。。。
羡慕你有时间写一些粗浅的话题
说来说去还是夸自己,文字游戏没意思。
re: 写给一位有程序员心结的朋友 笨小苏 2007-07-25 15:30  
当年比较变态,学汇编学了4年
不知道现在我自学的visual c++和java还有没意义了,看了这篇文章。。。。
美国现在越来越少的人从事编程工作,因为中国,印度有这么多人帮它在做。写程序本身就不是最困难的东西,产品的构思,创意这才是企业成功的关键。
为什么中国的计算机水平跟美国相差很远,我觉得就是你们这些人一天在讨论那个语言好,那个工具棒,说白了就是个生产工人。
假设博主的东西是一个商品,那么批C++ Builder绝对是一个卖点。
我见过bcb的很多牛人,rad的好处是能让大家更关注业务。vb一样,很多菜鸟喜欢把业务逻辑和UI做在一起,但不影响VB横扫开发界若干年。
我一直特不理解的一件事情:用VC++做普通数据库系统。
re: [导入]写给一位有程序员心结的朋友 续 YAO.NET(三千)℡ 2007-07-18 20:30  
没看出有什么反驳.


雾里看花,水中望月
搂主,你真的了解自己么?

学习应该是无限靠近真理的捷径,但捷径往往也是歧途。
第一个吃螃蟹的人,书可能曾经告诫过他螃蟹是不可以吃的。
re: 写给一位有程序员心结的朋友 木野狐 2007-07-17 18:30  
值得思考
re: 写给一位有程序员心结的朋友 随风飘散 2007-07-16 17:31  
人是有惯性的,一旦进入了这个惯性后就很难突破的,所以突破的人成功了,没有突破的人依然辛勤劳作。
感触颇深
re: 写给一位有程序员心结的朋友 afalon(张扬) 2007-07-16 09:23  
楼主分析得很是透彻啊!
要是这位仁兄早点认识你就好了!
要是我能早点读到这样的文章,就好了。。。。
收藏了!
共3页: 1 2 3 下一页