1. 实时音频流与文本 delta、工具调用事件混流时,前端应如何维护统一时间线,使转写、工具进度与播放顺序不错位
实时音频流与文本 delta、工具调用事件混流时,前端应如何维护统一时间线,使转写、工具进度与播放顺序不错位?
- 多模态事件混流
- 统一时间线
- 转写/工具/播放对齐
实时会话中音频流、文本 delta、工具调用事件混流,前端需维护统一时间线:所有事件(音频帧、transcript delta、tool_call、tool_result)都打上"统一时间戳 + 序号",按序进入同一条时间线;转写(transcript)与音频播放绑定同一时间轴,工具调用事件在时间线上标注其发生时刻,使"用户说话→转写→工具调用→回复"的顺序清晰。前端用"时间线渲染器"消费统一事件流,按时间戳对齐播放音频与显示转写/工具进度,避免音频与文本错位。工具进度插在时间线对应位置,保证转写、工具、播放顺序一致。
错位源于"各通道各自为政"。统一时间戳 + 序号 + 单条时间线,让音频、转写、工具事件按同一顺序呈现,才能保证对齐。