通过音频(字幕)和视觉(帧提取加图像分析)双通道对YouTube视频进行多模态分析。尤其适用于教程、演示和说明类视频,其中所展示的内容(截图、UI演示、图表、代码、肢体动作)与所说的内容同等重要。当用户希望分析、总结YouTube视频内容,或从视频中生成分步指南时,或当用户分享YouTube链接并希望了解视频内容时,即可使用此功能。触发条件包括“分析这个YouTube视频”“根据这段视频创建分步指南”“这个视频展示了什么”“总结这个教程”或任何带有分析意图分享的YouTube链接。
通过音频(字幕)和视觉(帧提取加图像分析)双通道对YouTube视频进行多模态分析。尤其适用于教程、演示和说明类视频,其中所展示的内容(截图、UI演示、图表、代码、肢体动作)与所说的内容同等重要。当用户希望分析、总结YouTube视频内容,或从视频中生成分步指南时,或当用户分享YouTube链接并希望了解视频内容时,即可使用此功能。触发条件包括“分析这个YouTube视频”“根据这段视频创建分步指南”“这个视频展示了什么”“总结这个教程”或任何带有分析意图分享的YouTube链接。
快速将音频上传至AIOZ Stream API。使用默认或自定义编码配置创建音频对象,上传文件,完成上传,然后将音频链接返回给用户。
使用多模态参考(图像/视频/音频/文本)为 Seedance 2.0 和 Seedance 2.0 Fast 创建高精度英文提示
OpenClaw 的智能 Telegram 回复流程:若用户发送文本,则回复文本;若用户发送语音或音频,则利用本地安装的 mlx_audio(Apple Silicon 默认使用 Qwen3-ASR)进行本地转录,随后以相同语言生成有意义的回复。通过 Telegram 发送包含字幕的语音消息,确保用户收到一条同时包含语音和文字的消息(字幕文本须与语音内容完全一致)。除非用户明确要求其他语言,否则始终遵循输入语言(中文→中文,英文→英文)
使用 BytePlus Seedance API(国际版)生成 AI 视频,适用于以下场景:(1)通过文本提示生成视频,(2)通过图像生成视频(首帧、首帧加末帧、参考图像),或(3)查询和管理视频生成任务。支持 Seedance 1.5 Pro(含音频和草稿模式)、1.0 Pro、1.0 Pro Fast 和 1.0 Lite 模型
安装并使用 speechall 命令行工具进行语音转文本转录。适用于用户需要:(1)将音频或视频文件转录为文本,(2)在 macOS 或 Linux 上安装 speechall,(3)列出可用的语音识别模型及其功能,(4)通过终端使用说话人分离、字幕或其他转录功能。当提及 speechall、音频转录命令行工具或命令行语音转文本时触发。
根据图片和用户自己的音频录制生成唇形同步视频 ✅ 适用场景: - 用户提供自己的音频文件(语音录制) - 需要将图像与特定音频/语音同步 - 用户自行录制了配音内容 - 需要精确保留原音频的时间点 ❌ 不适用场景: - 用户提供的是文本脚本(非音频)→ 请使用 veed-ugc - 需要AI生成语音→ 请使用 veed-ugc - 尚未准备好音频文件→ 请使用 veed-ugc 配合脚本 输入:图片 + 音频文件(用户录制) 输出:与所提供音频唇形同步的MP4视频 关键区别:veed-ugc = 脚本 → AI语音 → 视频 ugc-manual = 用户音频 → 视频(不生成语音)
Seedance 2.0 通过 EvoLink API 实现 AI 视频生成,支持文本转视频、图像转视频,并自动添加音频(语音、音效、背景音乐),兼容 OpenClaw、Claude Code 和 Cursor,基于字节跳动 Seedance 模型驱动