代码改变世界

关于播放模式的选择

2018-01-03 14:36  wulizhi  阅读(6425)  评论(0)  编辑  收藏  举报

一。 简介：

我们知道，在Android Audio框架中，主要有四种播放模式： Deep buffer Playback, Low latency Playback, Offload playback和Mutichannel Playback。

Deep buffer Playback:音频文件是在AP侧解码成PCM文件，然后再送到ADSP中处理，音效部分处理的话是在AP侧或者ADSP中进行的。

　　　　　　　　　　标志： AUDIO_OUTPUT_FLAG_PRIMARY

　　　　　　　　　　支持的声道： 双声道

　　　　　　　　　　支持的采样率： 44.1Khz和48Khz

　　　　　　　　　　应用场景： 铃声，音视频播放，YouTube等

Low Latency Playback :  和Deep buffer Playback方式类似，但是它所分配的buffer更小些，并且在ADSP侧只做很少或者基本不做处理， 主要是播放一些对延迟要求较高的音频，

　　　　　　　　　　　　比如触碰音和游戏音。

　　　　　　　　　　　　标志：AUDIO_OUTPUT_FLAG_FAST

　　　　　　　　　　　　支持的声道：双声道

　　　　　　　　　　　　支持的采样率：44.1Khz和48Khz

　　　　　　　　　　　　应用场景： 触碰音，游戏音等

Offload Playback:     音频解码部分的工作是在ADSP中完成，AP侧只负责把音频数据送到ADSP中，送出去后，AP侧会进行休眠，ADSP中会分配一块较大的buffer去处理此数据，

　　　　　　　　　　在ADSP中进行解码，音效的处理工作，在ADSP解码器处理完数据之前，它会唤醒AP侧去送下一包数据。

　　　　　　　　　支持的格式：MP3, AC3, EAC3, AAC, FLAC, 24bit PCM, 16 bit PCM

　　　　　　　　　 标志：AUDIO_OUTPUT_FLAG_DIRECT，AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD，AUDIO_OUTPUT_FLAG_NON_BLOCKING

　　　　　　　　　支持的声道：1, 2, 2,1, 4, 5, 5.1, 6, 7.1

Mutichannel Playback: 和Deep buffer playback类似，但是，它多应用于处理多声道音频数据，采样的解码器是Multichannel Decoder

　　　　　　　　　　标志： AUDIO_OUTPUT_FLAG_DIRECT

                                       支持的采样率： 44.1KHZ, 48k

　　　　　　　　　    应用场景：播放AAC格式5.1声道音源， 播放杜比AC3/eAC3格式音频

至于每个平台支持哪几种播放模式，以及个播放模式的标志，支持的格式，声道数，输出设备等信息，都是在audio_policy.conf文件里配置的。如下：

 1 primary {
 2         sampling_rates 44100|48000
 3         channel_masks AUDIO_CHANNEL_OUT_STEREO
 4         formats AUDIO_FORMAT_PCM_16_BIT
 5         devices AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM|AUDIO_DEVICE_OUT_FM_TX
 6         flags AUDIO_OUTPUT_FLAG_PRIMARY
 7       }
 8       low_latency {
 9          sampling_rates 44100|48000
10          channel_masks AUDIO_CHANNEL_OUT_STEREO
11          formats AUDIO_FORMAT_PCM_16_BIT
12          devices AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM|AUDIO_DEVICE_OUT_FM_TX
13          flags AUDIO_OUTPUT_FLAG_FAST
14       }
15       compress_offload {
16         sampling_rates 8000|11025|16000|22050|32000|44100|48000
17         channel_masks AUDIO_CHANNEL_OUT_MONO|AUDIO_CHANNEL_OUT_STEREO
18         formats AUDIO_FORMAT_MP3|AUDIO_FORMAT_AAC_LC|AUDIO_FORMAT_AAC_HE_V1|AUDIO_FORMAT_AAC_HE_V2
19         devices AUDIO_DEVICE_OUT_SPEAKER|AUDIO_DEVICE_OUT_EARPIECE|AUDIO_DEVICE_OUT_WIRED_HEADSET|AUDIO_DEVICE_OUT_WIRED_HEADPHONE|AUDIO_DEVICE_OUT_ALL_SCO|AUDIO_DEVICE_OUT_PROXY|AUDIO_DEVICE_OUT_ANLG_DOCK_HEADSET|AUDIO_DEVICE_OUT_FM_TX
20         flags AUDIO_OUTPUT_FLAG_DIRECT|AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD|AUDIO_OUTPUT_FLAG_NON_BLOCKING
21       }

 

二. 播放模式的选择

1. 在AudioPlayer::start()中会选择一次播放模式：

 1 status_t AudioPlayer::start(bool sourceAlreadyStarted) {
 2     if (mAudioSink.get() != NULL) {
 3 
 4         uint32_t flags = AUDIO_OUTPUT_FLAG_NONE;
 5 
 6         /*如果支持DeepBuffer Playback模式，mCreateFlags & ALLOW_DEEP_BUFFERING != 0*/
 7         if (allowDeepBuffering()) {
 8             flags |= AUDIO_OUTPUT_FLAG_DEEP_BUFFER;
 9         }
10         /*如果支持Offload模式，mCreateFlags & USE_OFFLOAD != 0*/
11         if (useOffload()) {
12             flags |= AUDIO_OUTPUT_FLAG_COMPRESS_OFFLOAD;
13         }
14     }
15 }
mCreateFlags 是在创建AudioPlayer的时候传入的：
void AwesomePlayer::createAudioPlayer_l()
{
    /*如果mOffloadAudio为true，选择OFFLOAD, 否则如果是纯音频，并且播放时长大于5s，就选择deep-buffer模式*/
    if (mOffloadAudio) {
        flags |= AudioPlayer::USE_OFFLOAD;
    } else if (mVideoSource == NULL
            && (mDurationUs > AUDIO_SINK_MIN_DEEP_BUFFER_DURATION_US ||
            (getCachedDuration_l(&cachedDurationUs, &eos) &&
            cachedDurationUs > AUDIO_SINK_MIN_DEEP_BUFFER_DURATION_US))) {
        flags |= AudioPlayer::ALLOW_DEEP_BUFFERING;
    }
}
mOffloadAudio的值是在初始化解码器的时候赋值的：
 1 status_t AwesomePlayer::initAudioDecoder() {
 2     /*查询是否支持Offload模式播放，*/
 3     mOffloadAudio = canOffloadStream(meta, (mVideoSource != NULL), vMeta,
 4                                      (isStreamingHTTP() || isWidevineContent()),
 5                                      streamType);
 6 
 7 
 8     if (!mOffloadAudio && mAudioSource != NULL) {
 9         ALOGI("Could not offload audio decode, try pcm offload");
10         sp<MetaData> format = mAudioSource->getFormat();
11         if (durationUs >= 0) {
12             format->setInt64(kKeyDuration, durationUs);
13         }
14         /*又查询了一次是否支持Offload模式播放，*/
15         mOffloadAudio = canOffloadStream(format, (mVideoSource != NULL), vMeta,
16                                      (isStreamingHTTP() || isWidevineContent()), streamType);
17     }
18 }
canOffloadStream()函数会从音频数据中获取格式，采样率，采样精度，播放时长，声道数，是否有视频源等信息，然后调用AudioSystem::isOffloadSupported()去进行查询，最终的判断是在
AudioPolicyManager中进行的，它主要有以下判断标准：
1). stream type必须是 AUDIO_STREAM_MUSIC
2). 如果音源是PCM格式，audio.offload.pcm.enable 属性必须为true
3). audio.offload.disable 属性必须为false
4). 如果音源是Multichannel类型的，例如声道数大于2，并且是AAC或者FLAC格式的，也不行
5). 如果有视频源，即has_video为true, av.offload.enable属性必须为true, av.streaming.offload.enable也要为true
6). 如果播放的音源格式是MP3, AAC， FLAC或者PCM，长度要大于audio.offload.min.duration.secs配置的值，例如该值被配置成30s，播放音源就得大于30s， 其他格式的，例如杜比AAC/AC3, ARMWB+格　　式的没有这个要求。
7). 如果有其他基于PCM进行调试的音效处理的话，也不支持Offload模式
8). 最后一个， offload模式下的参数，采样率，格式，声道，必须要符合audio_policy.conf文件里面的配置

另外，播放时长，是在音视频分离器中计算出来的，例如AMR，是在AMRExtrator.cpp文件中：
 1 AMRExtractor::AMRExtractor(const sp<DataSource> &source)
 2     : mDataSource(source),
 3       mInitCheck(NO_INIT),
 4       mOffsetTableLength(0) {
 5     String8 mimeType;
 6     float confidence;
 7     /*读取文件类型，NB或者WB, 它们的解码方式，采样率都是不一样的*/
 8     if (!SniffAMR(mDataSource, &mimeType, &confidence, NULL)) {
 9         return;
10     }
11 
12     mIsWide = (mimeType == MEDIA_MIMETYPE_AUDIO_AMR_WB);
13 
14     mMeta = new MetaData;
15     mMeta->setCString(
16             kKeyMIMEType, mIsWide ? MEDIA_MIMETYPE_AUDIO_AMR_WB
17                                   : MEDIA_MIMETYPE_AUDIO_AMR_NB);
18 
19     mMeta->setInt32(kKeyChannelCount, 1);
20     mMeta->setInt32(kKeySampleRate, mIsWide ? 16000 : 8000);
21 
22     off64_t offset = mIsWide ? 9 : 6;
23     off64_t streamSize;
24     size_t frameSize, numFrames = 0;
25     int64_t duration = 0;
26 
27     if (mDataSource->getSize(&streamSize) == OK) {
28          while (offset < streamSize) {
29              /*计算每一frame的数据的大小*/
30             if (getFrameSizeByOffset(source, offset, mIsWide, &frameSize) != OK) {
31                 return;
32             }
33 
34             if ((numFrames % 50 == 0) && (numFrames / 50 < OFFSET_TABLE_LEN)) {
35                 CHECK_EQ(mOffsetTableLength, numFrames / 50);
36                 mOffsetTable[mOffsetTableLength] = offset - (mIsWide ? 9: 6);
37                 mOffsetTableLength ++;
38             }
39             
40             offset += frameSize;
41             /*每一帧数据播放20ms*/
42             duration += 20000;  // Each frame is 20ms
43             numFrames ++;
44         }
45 
46         mMeta->setInt64(kKeyDuration, duration);
47     }
48 
49     mInitCheck = OK;
50 }