01｜iOS平台音频渲染（一）：使用AudioQueue渲染音频

2022-07-25 16:53:00

你好，我是展晓凯。

记得在开篇的时候我说过，我们最后的目标之一就是要实现一个视频播放器项目。而想要实现这个项目，需要我们先掌握音频渲染、视频渲染以及音视频同步等知识。所以今天我们就来迈出第一步——音频的渲染。

音频渲染相关的技术框架比较多，平台不同，需要用到的技术框架也不同。这节课我们就先来看一下iOS平台都有哪些音频框架可供我们选择，以及怎么在iOS平台做音频渲染。

我们先看一下图1，iOS平台的音频框架，里面比较高层次的音频框架有Media Player、AV Foundation、OpenAL和Audio Toolbox（AudioQueue），这些框架都封装了AudioUnit，然后提供了更高层次的、功能更精简、职责更加单一的API接口。这里你先简单地了解一下这些音频框架之间的关系，以及AudioUnit在整个音频体系中的作用，下节课我会给你详细地讲解AudioUnit框架。

如果我们想要低开销地实现录制或播放音频的功能，就需要用到iOS音频框架中一个非常重要的接口——AudioQueue，它是实现录制与播放功能最简单的API接口，作为开发者的我们无需知道太多内部细节，就可以简单地完成播放PCM数据的功能，可以说是非常方便了。

在实际学习AudioQueue框架之前，我会先把AudioSession给你讲清楚，因为AudioSession是我们与系统对话的重要窗口，它能够向系统描述应用需要的音频能力，所以需要在学会使用AudioSession基础上，再去学习具体的框架。

AVAudioSession

在iOS的音视频开发中，使用具体API之前都会先创建一个会话，而音频这里的会话就是AVAudioSession，它以单例的形式存在，用于管理与获取iOS设备音频的硬件信息。我们可以使用以下代码来获取AudioSession的实例：

AVAudioSession *audioSession = [AVAudioSession sharedInstance];

基本设置

获得AudioSession实例之后，就可以设置以何种方式使用音频硬件做哪些处理了，基本的设置如下所示：

根据我们需要硬件设备提供的能力来设置类别：

[audioSession setCategory:AVAudioSessionCategoryPlayback error:&error];

设置I/O的Buffer，Buffer越小说明延迟越低：

NSTimeInterval bufferDuration = 0.002;
[audioSession setPreferredIOBufferDuration:bufferDuration error:&error];

设置采样频率，让硬件设备按照设置的采样率来采集或者播放音频：

double hwSampleRate = 44100.0;
[audioSession setPreferredSampleRate:hwSampleRate error:&error];

当设置完毕所有参数之后就可以激活AudioSession了，代码如下：

[audioSession setActive:YES error:&error];

经过上述几个简单的调用，我们就完成了对AVAudioSession的设置。当我们使用具体API的时候，系统就会按照上述设置的参数进行播放或者回调给开发者进行处理。

深入理解AudioSession

除了上述基本的设置之外，我们再从以下几个层面深入理解一下AudioSession，在AVAudioSession设置Category的时候是有很多细节的，分别是Category和CategoryOptions，在某些场景下，它可能会产生奇效。

Category是向系统描述应用需要的能力，常用的分类如下：

AVAudioSessionCategoryPlayback：用于播放录制音乐或者其它声音的类别，如要在应用程序转换到后台时继续播放（锁屏情况下），在xcode中设置 UIBackgroundModes 即可。默认情况下，使用此类别意味着，应用的音频不可混合，激活音频会话将中断其它不可混合的音频会话。如要使用混音，则使用AVAudioSessionCategoryOptionMixWithOthers。
AVAudioSessionCategoryPlayAndRecord : 同时需要录音（输入）和播放（输出）音频的类别，例如K歌、RTC场景。注意：用户必须打开音频录制权限（iPhone 麦克风权限）。

CategoryOptions是向系统设置类别的可选项，具体分类如下：

AVAudioSessionCategoryOptionDefaultToSpeaker：此选项只能在使用PlayAndRecord类别时设置。它用于保证在没有使用其他配件（如耳机）的情况下，音频始终会路由至扬声器而不是听筒。而如果类别设置的是Playback，系统会自动使用Speaker进行输出，无需进行此项设置。
AVAudioSessionCategoryOptionAllowBluetooth：此选项代表音频录入和输出全部走蓝牙设备，仅可以为PlayAndRecord还有Record这两个类别设置这个选项，注意此时播放和录制的声音音质均为通话音质（16kHz），适用于RTC的通话场景，但不适用于K歌等需要高音质采集与播放的场景。
AVAudioSessionCategoryOptionAllowBluetoothA2DP：此选项代表音频可以输出到高音质（立体声、仅支持音频输出不支持音频录入）的蓝牙设备中。如果使用Playback类别，系统将自动使用这个A2DP选项，如果使用PlayAndRecord类别，需要开发者自己手动设置这个选项，音频采集将使用机身内置麦克风（在需要高音质输出和输入的场景下可以设置成这种）。

监听音频焦点抢占，一般在检测到音频被打断的时候处理一些自己业务上的操作，比如暂停播放音频等，代码如下：

[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(audioSessionInterruptionNoti:) name:AVAudioSessionInterruptionNotification object:[AVAudioSession sharedInstance]];
 
- (void)audioSessionInterruptionNoti:(NSNotification *)noti {   
AVAudioSessionInterruptionType type = [noti.userInfo[AVAudioSessionInterruptionTypeKey] intValue];
if (type == AVAudioSessionInterruptionTypeBegan) {
//Do Something
}
}

监听声音硬件路由变化，当检测到插拔耳机或者接入蓝牙设备的时候，业务需要做一些自己的操作，代码如下：

[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(audioRouteChangeListenerCallback:) name:AVAudioSessionRouteChangeNotification object:nil];
 
- (void)audioRouteChangeListenerCallback:(NSNotification*)notification {
NSDictionary *interuptionDict = notification.userInfo;
NSInteger routeChangeReason = [[interuptionDict valueForKey:AVAudioSessionRouteChangeReasonKey] integerValue];
if (routeChangeReason==AVAudioSessionRouteChangeReasonNewDeviceAvailable || routeChangeReason == AVAudioSessionRouteChangeReasonOldDeviceUnavailable || routeChangeReason == AVAudioSessionRouteChangeReasonWakeFromSleep ) {
//Do Something
} else if (
routeChangeReason == AVAudioSessionRouteChangeReasonCategoryChange ||
routeChangeReason == AVAudioSessionRouteChangeReasonOverride) {
//Do Something
}
}

申请录音权限，首先判断授权状态，如果没有询问过，就询问用户授权，如果拒绝了就引导用户进入设置页面手动打开，代码如下：

AVAuthorizationStatus status = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeAudio];
    if (status == AVAuthorizationStatusNotDetermined) {
        [[AVAudioSession sharedInstance] requestRecordPermission:^(BOOL granted) {
            //granted代表是否授权
        }];
    } else if (status == AVAuthorizationStatusRestricted || status == AVAuthorizationStatusDenied) {// 未授权
        //引导用户跳入设置页面
    } else {
        // 已授权
    }

注意：从iOS 10开始，所有访问任何设备麦克风的应用都必须静态声明其意图。为此，应用程序现在必须在其Info.plist文件中包含NSMicrophoneUsageDescription键，并为此密钥提供目的字符串。当系统提示用户允许访问时，这个字符串将显示为警报的一部分。如果应用程序尝试访问任何设备的麦克风而没有此键和值，则应用程序将终止。

现在，音频渲染第一步——会话创建就完成了，接下来就可以进入音频渲染框架的学习了，我们就先来看AudioQueue渲染音频的部分。

AudioQueue详解

iOS为开发者在AudioToolbox这个framework中提供了一个名为AudioQueueRef的类，AudioQueue内部会完成以下职责：

连接音频的硬件进行录音或者播放；
管理内存；
根据开发者配置的格式，调用编解码器进行音频格式转换。

接下来让我们一起看一下AudioQueue播放音频的结构图：

AudioQueue暴露给开发者的接口如下：

使用正确的音频格式、回调方法等参数，创建出AudioQueueRef对象；
为AudioQueueRef分配Buffer，并将Buffer入队，启动AudioQueue；
在AudioQueueRef的回调中填充指定格式的音频数据，并且重新入队；
暂停、恢复等常规接口。

了解了AudioQueue的内部职责和暴露给开发者的接口之后，就让我们一起看一下AudioQueue的运行流程吧！

AudioQueue运行流程

AudioQueue的整体运行流程分为启动和运行阶段，启动阶段主要是应用程序配置和启动AudioQueue；运行阶段主要是AudioQueue开始播放之后回调给应用程序填充buffer，并重新入队，3个buffer周而复始地运行起来；直到应用程序调用AudioQueue的Pause或者Stop等接口。下图是一个详细的运行流程：

启动阶段

配置AudioQueue：

AudioQueueNewInput(&dataformat, playCallback, (__bridge void *)self, NULL, NULL, 0, &queueRef);

dataformat就是音频格式，后面我们会重点讲解，playCallback是当AudioQueue需要我们填充数据时的回调方法，函数返回值为OSStatus类型，如果为noErr则说明配置成功。

分配3个Buffer，并且依次灌到AudioQueue中：

for (int i = 0; i < kNumberBuffers; i++) {
  AudioQueueAllocateBuffer(queueRef, bufferBytesSize, &buffers[i]);
  AudioQueueEnqueueBuffer(queueRef, buffers[i], 0, NULL);
}

Buffer类型为AudioQueueBufferRef，是AudioQueue对外提供的数据封装，具体每个Buffer的大小是如何决定的，我会在后面与dataformat一起讲解。

调用Play方法进行播放：

AudioQueueStart(queueRef, NULL)

运行阶段

启动完毕后，接下来就到运行阶段了，运行阶段主要分为4步：

AudioQueue启动之后会播放第一个buffer；
当播放完第一个buffer之后，会继续播放第二个buffer，但是与此同时将第一个buffer回调给业务层由开发者进行填充，填充完毕重新入队；
第二个buffer播放完毕后，会继续播放第三个buffer，与此同时会将第二个buffer回调给业务层由开发者进行填充，填充完毕重新入队；
第三个buffer播放完毕后，会继续循环播放队列中的第一个buffer，也会将第三个buffer回调给业务层由开发者进行填充，填充完毕重新入队。

static void playCallback(void *aqData, AudioQueueRef inAQ, AudioQueueBufferRef inBuffer) {
  KSAudioPlayer *player = (__bridge KSAudioPlayer *)aqData;
  //TODO: Fill Data
  AudioQueueEnqueueBuffer(player->queueRef, inBuffer, numPackets, player.mPacketDescs);
}

这样一来，整个AudioQueue的运行流程就讲解完了，还记得我们在前面说过AudioQueue内部会进行调用编解码器进行音频格式转换吗？接下来我们就详细介绍一下AudioQueue中的Codec运行流程。

AudioQueue中Codec运行流程

值得一提的是，AudioQueue的强大之处在于开发者可以不用关心播放的数据的编解码格式，它内部会帮助开发者将Codec的事情做好，所以这部分的流程我们是有必要单拎出来看一下的。

如图所示，主要分为3个步骤：

开发者配置AudioQueue的时候告诉AudioQueue具体编码格式；
开发者在回调函数中按照原始格式填充buffer；
AudioQueue会自己采用合适的Codec将压缩数据解码成PCM进行播放。

介绍完Codec相关的流程，你可能还有一个疑问，就是数据格式以及音频数据到底应该如何设置以及填充呢？这个其实就是之前我们说要重点讲解的音频格式（dataformat），接下来我们就一起来学习一下吧！

iOS平台的音频格式

iOS平台的音频格式是ASBD（AudioStreamBasicDescription），用来描述音频数据的表示方式，结构体如下：

struct AudioStreamBasicDescription
{
    AudioFormatID       mFormatID;
    Float64             mSampleRate;    
    UInt32              mChannelsPerFrame;    
    UInt32              mFramesPerPacket;
    AudioFormatFlags    mFormatFlags;
    UInt32              mBytesPerPacket;
    UInt32              mBytesPerFrame;
    UInt32              mBitsPerChannel;
    UInt32              mReserved;
};
typedef struct AudioStreamBasicDescription  AudioStreamBasicDescription;

针对结构体中每个字段，我们需要配上一个实际的案例来逐个讲解一下，先看下面这个格式的配置：

UInt32 bytesPerSample = sizeof(Float32);
AudioStreamBasicDescription asbd;
bzero(&asbd, sizeof(asbd)); 
asbd.mFormatID = kAudioFormatLinearPCM;
asbd.mSampleRate = _sampleRate; 
asbd.mChannelsPerFrame = channels; 
asbd.mFramesPerPacket = 1; 
asbd.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;
asbd.mBitsPerChannel = 8 * bytesPerSample;
asbd.mBytesPerFrame = bytesPerSample;
asbd.mBytesPerPacket = bytesPerSample;

mFormatID这个参数是用来指定音频的编码格式，此处音频编码格式指定为PCM格式；
接下来设置声音的采样率、声道数以及每个Packet有几个Frame这三个参数；
mFormatFlags是用来描述声音表示格式的参数，代码中的第一个参数指定每个sample的表示格式是Float格式。这个类似于我们之前讲解的每个sample使用两个字节（SInt16）来表示；然后是后面的参数NonInterleaved，表面理解这个单词的意思是非交错的，其实对音频来说，就是左右声道是非交错存放的，实际的音频数据会存储在一个AudioBufferList结构中的变量mBuffers中。如果mFormatFlags指定的是NonInterleaved，那么左声道就会在mBuffers[0]里面，右声道就会在mBuffers[1]里面，而如果mFormatFlags指定的是Interleaved的话，那么左右声道就会交错排列在mBuffers[0]里面，理解这一点对后续的开发是十分重要的；
接下来的mBitsPerChannel表示的是一个声道的音频数据用多少位来表示，前面我们已经知道每个采样使用Float来表示，所以这里就使用8乘以每个采样的字节数来赋值；
最后是参数mBytesPerFrame和mBytesPerPacket的赋值，这里需要根据mFormatFlags的值来分配。如果在NonInterleaved的情况下，就赋值为bytesPerSample（因为左右声道是分开存放的）；但如果是Interleaved的话，那么就应该是bytesPerSample * channels（因为左右声道是交错存放的），这样才能表示一个Frame里面到底有多少个byte。

如果要播放的是一个MP3或者M4A的文件，这个ASBD应该如何确定呢？请看下面这个代码：

// 打开文件
NSURL *fileURL = [NSURL URLWithString:filePath];
OSStatus status = AudioFileOpenURL((__bridge CFURLRef)fileURL, kAudioFileReadPermission, kAudioFileCAFType, &_mAudioFile);
if (status != noErr) {
  NSLog(@"open file error");
}    
// 获取文件格式
UInt32 dataFromatSize = sizeof(dataFormat);
AudioFileGetProperty(_mAudioFile, kAudioFilePropertyDataFormat, &dataFromatSize, &dataFormat);

第一步是用AudioFile打开文件，如果打开成功的话，直接获取出这个AudioFile的DataFormat就好了，是不是很简单呢？对于填充数据也比较简单，直接从AudioFile中读取原始数据就可以了。

学到这里可能你会有疑问，绕了一大圈，用AudioQueue就直接播放了一个音频文件，那我直接使用AVAudioPlayer或者AVPlayer来播放这个音频文件不更简单吗？的确是的，但我更想通过这个例子来告诉你：这就是iOS给开发者提供的强大的多媒体处理能力，而AudioQueue更适合开发者在一些更底层的数据处理的场景下使用。

小结

最后，我们可以一起来回顾一下。

这节课我们对iOS的音频框架有了一个大致的了解。其中最重要的两个就是AudioQueue和AudioUnit。AudioQueue使用起来非常方便，它是实现录制与播放功能最简单的API接口，就算你不知道内部的细节，也可以简单地完成播放PCM数据的功能。所以如果你的输入是PCM，比如视频播放器场景、RTC等需要业务自己Mix或者处理PCM的场景，那么使用AudioQueue是非常适合的一种方式。

AudioUnit是iOS中最底层的音频框架，对音频能够实现更高程度的控制，所以也是我们的必学内容之一，下节课我会详细地讲一讲怎么使用AudioUnit实现音频的渲染，期待一下吧！

今天我通过代码带你创建并设置了AVAudioSession，还带你详细了解了AudioQueue的运行流程以及iOS平台的音频格式ASBD，希望你学完之后可以自己动手练一练，把今天学习的内容内化到自己的知识网络中。

思考题

学而不思则罔，最后我给你留一道思考题：你思考一下AudioQueue相比于AVPlayer或者AVAudioPlayer，它的灵活性或者说好处在哪儿呢？欢迎在评论区分享你的思考，也欢迎你把这节课分享给更多对音视频感兴趣的朋友，我们一起交流、共同进步。下节课再见！