2017 年 8月 7 日随笔档案 - Holyz

2017年8月7日

摘要：文件传输特点这是一种all-or-nothing批处理方法,所以如果文件传输过程中出现错误,则不会写入或读取任何数据.这种方法与Flume,Kafka之类的采集方法不同,后者提供一定程度的错误处理功能.并且有传输保障文件传输默认为单线程,不能并行文件传输... 阅读全文

posted @ 2017-08-07 08:42 Holyz 阅读(138) 评论(0) 推荐(0)

摘要：文件系统中采集数据时,应该考虑以下内容.数据源系统设备的读取速率在所有处理流水线中,磁盘I/O通常都是主要瓶颈.但是优化采集流程时通常要看一下检索数据的系统系统.一般来说,Hadoop的读取速度在20MB/s到100MB/s之间,而且主板或者控制器从系统所有... 阅读全文

posted @ 2017-08-07 08:07 Holyz 阅读(196) 评论(0) 推荐(0)