直播系统开发直播app啊

音视频采集

音视频采集是直播软件中至关重要的环节，不同的操作系统有着不同的特点和开发方案。

iOS 系统音视频采集特点和方案：

在 iOS直播技术中，音视频采集大致分为几个步骤。需要获取系统的授权，请求获取访问摄像头权限时，根据不同的授权状态进行相应处理。当许可对话没有出现时，发起授权许可，一旦用户授予权限，便可继续进行后续操作。请求获取访问麦克风权限的过程类似。

音频录制方面，通过配置相关参数，如设置码率、采样率等，利用特定的任务队列和音频会话进行处理。视频采集则通过一系列系统类进行管理，如AVCaptureSession（音视频管理对象）、AVCaptureDevice（视频设备对象，可用于操作闪光灯、聚焦、摄像头切换等）、AVCaptureDeviceInput（视频输入对象）、AVCaptureVideoDataOutput（视频输出对象）、AVCaptureVideoPreviewLayer（用来展示视频的layer 对象）等。

在 WebRTC 的 iOS视频采集实现中，初始化AVCaptureSession，创建并配置AVCaptureVideoDataOutput，设置其videoSettings，包含输出图像与视频格式定义。接着将视频输出对象添加到AVCaptureSession中，根据视频类型创建AVCaptureDevice对象，再以该设备为参数创建AVCaptureDeviceInput对象并添加到AVCaptureSession中。后设置AVCaptureSession的属性，建立输入与输出的连接，并调用startRunning方法开始视频采集。

Android 系统音视频采集特点和方案：

在 Android设备中，音视频的采集主要依赖摄像头和麦克风这两个硬件设备。摄像头负责图像的采集，麦克风则负责音频的采集。

对于音频采集，音频数据既能与图像结合组成音视频数据，也支持单纯的音频数据输出。音频的采集过程主要是通过设备设置采样率、采样数，将音频信号采集为PCM 编码的原始数据，编码压缩成 MP3、AC3 等封装格式的数据发送出去。常见的音频封装格式有MP3、AAC、OGG、WMA、FLAC、MP4、AMR等。在音频采集阶段，主要技术包括合理设置采样率、位宽和声道数等参数。采样率越高，数据量越大，音质越好，但并非越高越好，不同声音有一定的采样率阈值。位宽表示一次能传递的数据宽度，常用的有8 位或 16 位。声道数是声音录制时音源数量或回放时相应的扬声器数量，分为单声道和双声道等。

对于图像采集，图像采集是通过摄像头或可以采集图像的设备，获取一段时间内的图像内容，如手机摄像头采集的 NV21格式数据，再经过压缩成 H.264等格式的数据，可以编码成不同的封装格式传递或直接通过流媒体协议传递到服务器。在图像采集阶段，主要技术有选择合适的图像格式（通常采用YUV 格式存储原始数据信息）、确定传输通道（包括获取模块、数据类型模块及传输模块，如可用 TCP 或 UDP传输）、设置合适的分辨率（代表图像中存储的信息量，指每英寸图像内有多少个像素，图像分辨率表达式为 “水平像素数 *垂直像素数”）、调整采样率（每秒从连续信号中提取并组成离散信号的采样个数）以及设置合适的fps（指画面中每秒传输的帧数，直播一般设置为 15 - 20fps）。

在 Android 中进行视频采集，可以使用 Camera2 API。Camera2 整体工作结构包括 CameraDevice（代表一个摄像头，如前置摄像头、后置摄像头等）、CameraCaptureSession（表式 AndroidDevice 与 CameraDevice 之间的会话层）、CaptureRequest（APP 向 CameraDevice发送的捕获请求）、CameraMetadata（CameraDevice 将捕获到的数据封装成 CameraMetadata 通过Session 传给 APP）、Surface（存放数据的类，将其告诉CaptureRequest.Builder，系统底层就会将数据存放到其中）以及 Android Device（可以想象成 APP应用）。使用 Camera2 的基本流程包括创建专门的线程用于 Camera 的具体操作，创建预览 view 用于观看采集到的结果，在CameraManager 中找到合适的 Camera 设备并获取其设备号和参数，调用 CameraManager的openCamera方法打开指定摄像头，拿到 CameraDevice设备后创建CaptureRequest.Builder对象，设置预览或录制的 Surface 以及摄像头参数，调用CameraDevice的createCaptureSession方法创建CameraCaptureSession，后调用CameraCaptureSession对象的setRepeatingRequest方法向Camera 发送命令请求。