infinite-livestream
一个端到端、由聊天驱动、永不结束的AI视频直播。观众在Twitch或YouTube聊天中输入!prompt <想法>;一个LLM将每个想法扩展为带风格的场景序列;fast-h3模型将其生成为带同步音频的768p视频片段;最终通过RTMP作为一场不间断的直播播出。
两个部分,一份契约:
| 文件夹 | 简介 | 运行环境 |
|---|---|---|
fast-h3/ | 模型:一个由提示词驱动的片段生成队列,支持显式/自动播放。一个reactor CLI工作区。 | Reactor Runtime,8x B200 |
streaming-client/ | 客户端:聊天 → 提示词上采样 → 场景组 → 模型队列 → 节奏化的RTMP输出。 | reactor-sdk(Python),任何装有ffmpeg的机器 |
两者在线路上汇合:fast-h3/fasth3_types.py是面向客户端的契约(命令、消息、媒体轨道),流媒体客户端完全按照该契约通信——通过reactor-sdk,即Reactor Python SDK,它承载会话、命令与消息,以及WebRTC媒体轨道。
模型
视频生成器是FastH3 Preview v1:由FastVideo项目将MiniMax-H3(35B)蒸馏为四次transformer前向传播、90%稀疏视频注意力,从文本联合生成视频与音频。该模型、蒸馏方法以及本仓库所服务的推理引擎均为FastVideo的工作成果——fast-h3/将它们封装进Reactor平台的队列与播放契约中。
快速开始
先启动模型服务(在fast-h3/目录下用reactor run本地运行,或将其部署),然后:
cd streaming-client
pip install -r requirements.txt # RTMP需要PATH中存在ffmpeg
cp .env.example .env # 密钥、风格、输出端、聊天频道
python main.py --local --sink noop # 对本地运行时进行空跑测试
python main.py # 一切按.env配置运行
文档
fast-h3/README.md— 模型:队列契约、权重布局、GPU/CUDA前置要求、性能概况与部署经验。streaming-client/README.md— 客户端:架构、输出端与聊天源、内容审核、空闲填充内容、预设,以及RTMP/ffmpeg实践经验。fast-h3/client/README.md— 一个极简的reactor-sdk冒烟测试客户端,完整走一遍原始队列契约。AGENTS.md— 面向编码代理的地图:系统全貌、关键不变量,以及各类改动应放置的位置。在修改任何内容前请先阅读。
许可证
代码采用Apache License 2.0——参见LICENSE与NOTICE。模型权重则基于MiniMax H3 Community License单独授权,继承自基础模型MiniMaxAI/MiniMax-H3。