ESC
开源 1 分钟阅读

infinite-livestream开源:聊天驱动的永不落幕AI视频直播

开源项目infinite-livestream实现端到端AI无限直播:观众在Twitch或YouTube聊天输入!prompt指令,LLM将想法扩展为场景序列,FastH3模型生成带同步音频的768p视频片段,经RTMP持续输出不间断直播。其核心FastH3 Preview v1由FastVideo项目将MiniMax-H3(35B)蒸馏为4步推理、90%稀疏视频注意力,从文本联合生成视频与音频,

来源:GitHub

infinite-livestream

一个端到端、由聊天驱动、永不结束的AI视频直播。观众在Twitch或YouTube聊天中输入!prompt <想法>;一个LLM将每个想法扩展为带风格的场景序列;fast-h3模型将其生成为带同步音频的768p视频片段;最终通过RTMP作为一场不间断的直播播出。

两个部分,一份契约:

文件夹简介运行环境
fast-h3/模型:一个由提示词驱动的片段生成队列,支持显式/自动播放。一个reactor CLI工作区。Reactor Runtime,8x B200
streaming-client/客户端:聊天 → 提示词上采样 → 场景组 → 模型队列 → 节奏化的RTMP输出。reactor-sdk(Python),任何装有ffmpeg的机器

两者在线路上汇合:fast-h3/fasth3_types.py是面向客户端的契约(命令、消息、媒体轨道),流媒体客户端完全按照该契约通信——通过reactor-sdk,即Reactor Python SDK,它承载会话、命令与消息,以及WebRTC媒体轨道。

模型

视频生成器是FastH3 Preview v1:由FastVideo项目将MiniMax-H3(35B)蒸馏为四次transformer前向传播、90%稀疏视频注意力,从文本联合生成视频与音频。该模型、蒸馏方法以及本仓库所服务的推理引擎均为FastVideo的工作成果——fast-h3/将它们封装进Reactor平台的队列与播放契约中。

快速开始

先启动模型服务(在fast-h3/目录下用reactor run本地运行,或将其部署),然后:

cd streaming-client
pip install -r requirements.txt     # RTMP需要PATH中存在ffmpeg
cp .env.example .env                # 密钥、风格、输出端、聊天频道
python main.py --local --sink noop  # 对本地运行时进行空跑测试
python main.py                      # 一切按.env配置运行

文档

  • fast-h3/README.md — 模型:队列契约、权重布局、GPU/CUDA前置要求、性能概况与部署经验。
  • streaming-client/README.md — 客户端:架构、输出端与聊天源、内容审核、空闲填充内容、预设,以及RTMP/ffmpeg实践经验。
  • fast-h3/client/README.md — 一个极简的reactor-sdk冒烟测试客户端,完整走一遍原始队列契约。
  • AGENTS.md — 面向编码代理的地图:系统全貌、关键不变量,以及各类改动应放置的位置。在修改任何内容前请先阅读。

许可证

代码采用Apache License 2.0——参见LICENSE与NOTICE。模型权重则基于MiniMax H3 Community License单独授权,继承自基础模型MiniMaxAI/MiniMax-H3。