diff --git a/.env.example b/.env.example index 1c1b5b8..ed0fcd1 100644 --- a/.env.example +++ b/.env.example @@ -1,18 +1,32 @@ # ============================================================ # Nex Animation Studio · 运行时配置(复制为 .env 后按需修改) # 变量名 = backend/app/config.py 中 Settings 字段的大写下划线形式 +# +# 这份文件里**没有模型配置**,是刻意的(v0.1.1 起取消): +# 用哪家 ComfyUI / 哪个大模型、模型名、步数、超时、并发与限流、单价、默认位, +# 全部存在数据库 model_specs 表的行与 config_json 里, +# 页面入口「调度中心 → 模型中心」,服务器上的初值由部署包 scripts/seed/ 带进来。 +# 为什么搬进库:① 换模型、换 GPU 机是日常操作,不该要求改 .env 再重启容器; +# ② API、worker、beat 三个进程必须看到同一份模型事实,写在 .env 里就是三份; +# ③ 地址和 Key 进库才能被审计(谁改的、什么时候改的、上一次的探测结果)。 +# 于是排障口径也跟着变:**「模型连不上」先去页面点 🔌 探测,别回来翻 .env**。 +# +# 剩下的变量都是**进程与调度参数**:端口、库、媒体目录、鉴权、执行后端、 +# 派发节奏、重试与质检阈值、ffmpeg 与本地听写权重——它们不属于任何一个模型, +# 换模型时不会动,换机器时才动。 # ============================================================ # ---------- Docker 部署(docker compose 读这份文件做变量插值并注入容器)---------- # 只有这一节是「给 compose 看的」,其余都是应用运行时配置(app/config.py 的字段)。 # 默认形态是一个容器(单端口整站 + SQLite + inline 调度),见 docker-compose.yml 头部。 # HOST_PORT 对外端口;容器内固定 8000,与 Dockerfile 的 EXPOSE/健康检查对齐 -# AUTO_SEED 容器首启灌 ./scripts/seed 数据包的方式: +# AUTO_SEED 容器首启灌 ./scripts/seed 数据包(= 模型配置 + 主密钥 + 管理员)的方式: # only-missing 只补库里没有的(默认,不动服务器上改过的默认位) # force 包里说的算 / off 跳过 # APP_DATABASE_URL / APP_MEDIA_ROOT -# 容器内的库与媒体路径。默认落在挂载点 /app/data 下 —— 别在 .env 里 -# 写宿主机相对路径(./media 之类),那会让库和产物落在容器可写层里, +# 容器内的库与媒体路径,各自落在独立挂载点:库和 .db-wal 在 /app/data, +# 出片产物在 /app/media(宿主对应 ./data 与 ./media)。别在 .env 里写 +# 宿主机相对路径(./media 之类),那会让它们落在容器可写层里, # 下次 `up --force-recreate` 直接蒸发;宿主路径只在 compose 的挂载那一行改。 # BASE_IMAGE / NODE_IMAGE / PIP_INDEX_URL / NPM_REGISTRY # 拉不到 docker.io 或装包慢时覆盖成公司内网/国内镜像源 @@ -30,7 +44,11 @@ POSTGRES_USER=nex POSTGRES_PASSWORD=change_this_password DATABASE_URL=postgresql+psycopg://nex:change_this_password@db:5432/nexanimation REDIS_URL=redis://redis:6379/0 -MEDIA_ROOT=/app/media +# 产物根目录:图片/视频/配音/上传素材/缩略图全在这儿,由后端 /media/* 直出。 +# 相对路径锚定仓库根(app/config.py:get_settings),目录不存在会自动创建; +# Docker 形态下它必须是挂载点里的绝对路径(默认 /app/media ← 宿主 ./media), +# 因为出片体积只会涨不会跌,落在镜像可写层里等于「升级镜像 = 丢产物」。 +MEDIA_ROOT=./media MEDIA_URL_PREFIX=/media CORS_ORIGINS=* LOG_LEVEL=INFO @@ -62,49 +80,20 @@ INLINE_WORKERS=2 CELERY_CONCURRENCY=2 # ---------- 调度中心:限流 / 重试 / 断点续跑 ---------- +# 这一节是**派发层**的节奏,不是模型参数:每个模型自己的并发槽位与 RPM +# 存在 model_specs 的列里(页面上直接改),下面的值只在「新建一条模型、 +# 还没填限额」时当初始值,以及决定调度器自己多久扫一次队列。 DISPATCH_INTERVAL_SECONDS=5 DISPATCH_BATCH_SIZE=32 MAX_SHOT_RETRIES=3 MAX_COMPOSE_RETRIES=2 RETRY_BACKOFF_BASE_SECONDS=5 RETRY_BACKOFF_MAX_SECONDS=300 +# 出片动辄十几分钟,僵死判定必须比「最慢的正常任务」更宽,否则会把在跑的镜头抢回来重跑 STALE_RUNNING_SECONDS=900 DEFAULT_PROVIDER_CONCURRENCY=2 DEFAULT_PROVIDER_RPM=30 -# ---------- 视频模型(mock 便于自检;真实模型请在「调度中心」登记 provider_models)---------- -VIDEO_PROVIDER=mock -VIDEO_MODEL=mock-video-1 -VIDEO_API_BASE_URL= -VIDEO_API_KEY= -VIDEO_POLL_INTERVAL_SECONDS=5 -VIDEO_POLL_TIMEOUT_SECONDS=1800 - -# ---------- ComfyUI(自建大模型,如 MiniMax H3)---------- -# 填了 COMFYUI_BASE_URL 就会自动注册 comfyui/ 到模型注册表。 -# 更细的参数(模型文件名、步数、画布像素、上传子目录)在「调度中心 → 模型注册表 → config」里改, -# 页面上的 🔌 探测会列出机器上真实存在的 UNET / CLIP / VAE / LoRA 文件名。 -COMFYUI_BASE_URL= -COMFYUI_WORKFLOW=minimax_h3 -COMFYUI_MODEL=minimax-h3 -COMFYUI_STEPS=20 -COMFYUI_TIMEOUT_SECONDS=5400 -# 单卡串行即可;并发调高只会让显存争抢、整体更慢 -COMFYUI_CONCURRENCY=1 -COMFYUI_RPM=6 -# 用真实模型作为默认视频模型时:VIDEO_PROVIDER=comfyui / VIDEO_MODEL=minimax-h3 -# VIDEO_PROVIDER=comfyui -# VIDEO_MODEL=minimax-h3 - -# ---------- 配音 TTS ---------- -# 真实配音用 comfyui_tts(IndexTTS2,部署机 ComfyUI 提供,Linux 可用); -# 声线在「资产库 → 声线」配置:绑真人参考音频走 zero-shot 克隆, -# 只填「音色描述」则由描述词直出。 -TTS_PROVIDER=mock -TTS_API_BASE_URL= -TTS_API_KEY= -TTS_VOICE=demo-voice - # ---------- 合成引擎 ---------- DEFAULT_FPS=24 DEFAULT_WIDTH=1920 @@ -114,16 +103,28 @@ XFADE_MAX_DURATION_MS=1200 FFMPEG_THREADS=0 FFMPEG_PRESET=medium FFMPEG_CRF=20 +# 留空 = 自动探测(优先挑带 libass 的完整版构建,能烧字幕);填绝对路径可强制指定 +# FFMPEG_BIN= +# FFPROBE_BIN= # ---------- 自动质检阈值 ---------- QC_DURATION_TOLERANCE=0.35 QC_MIN_BITRATE_KBPS=200 QC_BLACK_THRESHOLD=0.98 +# 画面质检(多模态大模型看帧)与台词听写(whisper.cpp 本地转写)的开关与预算。 +# 「用哪个大模型看图」不在这里——那是默认大模型,在模型中心;这里只管抽几帧、多重。 +QC_VISUAL_ENABLED=true +QC_VISUAL_FRAMES=4 +QC_VISUAL_REFERENCES=3 +QC_VISUAL_WEIGHT=0.4 +QC_ASR_ENABLED=true +# 本地听写权重是**文件路径**(不是模型端点),所以留在 env:server.sh install 会下载它 +ASR_MODEL=models/asr/ggml-small.bin # ---------- 成本台账 ---------- +# 只有币种留在这里;每秒单价 / 每千字单价是**每个模型自己的**属性, +# 写在模型中心那条模型上(列 price_per_second / price_per_1k_chars),登记新模型时按币种建默认 0。 COST_CURRENCY=CNY -DEFAULT_VIDEO_PRICE_PER_SECOND=0.0 -DEFAULT_TTS_PRICE_PER_1K_CHARS=0.0 # ---------- 上传白名单(一般无需修改)---------- # UPLOAD_IMAGE_EXTENSIONS=.png,.jpg,.jpeg,.webp,.gif,.bmp,.tif,.tiff diff --git a/Dockerfile b/Dockerfile index a352898..f90c20e 100644 --- a/Dockerfile +++ b/Dockerfile @@ -5,18 +5,22 @@ # · TASK_EXECUTOR=inline 时 app/services/daemon.py 的守护线程顶替 celery beat 做周期派发; # · SERVE_FRONTEND=on 时 app/main.py 直接托管 frontend/dist 并做 SPA history 回落; # · 于是「nginx 容器 + api + worker + beat + redis」这套拆分在这里没有必然性, -# 剩下的只是一个进程、一个端口、一条数据 volume。升级 = 换镜像,数据在 ./data 不动。 +# 剩下的只是一个进程、一个端口、两个数据挂载点(./data 库 + ./media 产物)。 +# 升级 = 换镜像,库和产物都在挂载点里不动。 # 这正是 scripts/server.sh 在裸机上跑的那套形态,只不过搬进了镜像。 # 真要多机/多 GPU 扩容,再叠加 -f docker-compose.scale.yml 切回 Postgres + Celery。 # -# 日常部署(配置读同目录 .env,模型配置与主密钥读 ./scripts/seed): +# 日常部署(进程配置读同目录 .env,模型配置与主密钥读 ./scripts/seed): # docker compose up -d --build # 然后打开 http://localhost:8000 # docker compose logs -f app -# docker compose down # 数据留在 ./data +# docker compose down # 数据留在 ./data 与 ./media # 等价的裸命令: # docker build -t nex-animation:latest . # docker run -d --name nex-animation -p 8000:8000 \ -# -v $PWD/data:/app/data -v $PWD/scripts/seed:/app/scripts/seed:ro nex-animation:latest +# -v $PWD/data:/app/data -v $PWD/media:/app/media \ +# -v $PWD/scripts/seed:/app/scripts/seed:ro nex-animation:latest +# 少了 -v $PWD/media 会怎样:出片写进容器可写层,`up --force-recreate` 之后 +# 页面上一片 404,而且文件跟着容器一起被删——产物比镜像贵得多,别赌。 # # 国内网络:BASE_IMAGE / NODE_IMAGE / PIP_INDEX_URL / NPM_REGISTRY 都能 --build-arg 覆盖, # 默认值走清华 pip 与 npmmirror(境外构建把后两个换成官方源即可)。 @@ -67,15 +71,19 @@ COPY --from=webbuild /web/dist ./frontend/dist # 容器内一律用绝对路径:宿主 .env 里那套 ./media、./nex_animation.db 是开发机视角, # 换个工作目录就漂;库和媒体必须落在挂载点上才扛得住镜像升级。 +# 库与媒体分家(/app/data 只放 SQLite,/app/media 只放产物):产物会长到几十上百 GB, +# 迟早要单独挪大盘 / 单独备份 / 被 rsync 与剪辑软件直接读,和「一个不能写坏的库文件」 +# 绑在同一个挂载点上,做这些动作时就得先把整目录停服拷走。 ENV DATABASE_URL=sqlite:////app/data/nex_animation.db \ - MEDIA_ROOT=/app/data/media \ + MEDIA_ROOT=/app/media \ PYTHONPATH=/app/backend \ SERVE_FRONTEND=on \ TASK_EXECUTOR=inline \ AUTO_SEED=only-missing -# 镜像以 root 运行:macOS 的 bind mount 只有 root 写 ./data 最省心。 -# Linux 想换非特权账号:在 compose 里加 user: "1000:1000" 并把 ./data 属主对齐。 -RUN mkdir -p /app/data/media +# 模型配置(model_specs 表)不在这里、也不在 .env:首启由入口脚本从 ./scripts/seed 灌进库。 +# 镜像以 root 运行:macOS 的 bind mount 只有 root 写 ./data 与 ./media 最省心。 +# Linux 想换非特权账号:在 compose 里加 user: "1000:1000" 并把两个目录属主对齐。 +RUN mkdir -p /app/data /app/media EXPOSE 8000 # /health 在 AUTH_ENABLED=true 时也免登录(监控探针和 server.sh verify 都靠它)。 # slim 里没有 curl,就用自带 python 探,别为一条健康检查装一串包。 diff --git a/README.md b/README.md index 3cca48a..7b65ea7 100644 --- a/README.md +++ b/README.md @@ -309,14 +309,31 @@ docker compose ps # STATUS 到 healthy 才算起来(探的是 /hea `app/services/daemon.py` 守护线程做。换句话说,**docker 形态和 §3.4 的裸机部署只差一层镜像, 跑的是同一份配置**,一个容器就是一个项目。 -数据全在三处 bind mount 里,换镜像不动数据: +数据全在四处 bind mount 里,换镜像不动数据: | 挂载 | 内容 | 为什么这么放 | | --- | --- | --- | -| `./data` | SQLite 库 + `media/` 出片产物 | 唯一会被写坏的目录,备份它就够了 | +| `./data` | SQLite 库(容器内 `DATABASE_URL`,产物不再落在这里) | 唯一会被写坏的目录:小、每次备份都划算 | +| `./media` | 出片产物与上传素材(容器内 `MEDIA_ROOT=/app/media`,页面经 `/media/*` 直出) | 只涨不跌,迟早要单独挪大盘、单独做增量备份、被 rsync 或剪辑软件直接读——和库分开,做这些才不用停服拷整目录 | | `./scripts/seed` | 模型配置 + 加密主密钥 + 管理员(只读) | `.dockerignore` 刻意排除它:进镜像 = 把机密烘进层里,谁拉镜像谁拿到主密钥 | | `./models` | whisper 听写权重(可选) | 465 MB 不该进镜像层 | +分家的代价是**备份清单变成两条**:`./data` 一天一备(几 MB~几百 MB), +`./media` 走增量(`rsync -a ./media/ backup:nex_animation/media/`)。 +少备 `./media` 不丢配置,但成片要重跑——按 H3 单卡 18 分钟/镜头算,那比配置贵得多。 + +**从上一版镜像升级要搬一次产物**:`MEDIA_ROOT` 早先是 `/app/data/media`,服务器上已经跑过 +的产物就在 `./data/media/`。换镜像后新产物落 `./media/`,旧目录原地不动的话会看到 +「历史镜头全部 404、新镜头另存一处」——文件都在,只是没人指过去。先停再搬,别边写边搬: + +```bash +docker compose down +mkdir -p media && mv data/media/* media/ && rmdir data/media # 只搬产物,库文件留在 data/ 里 +docker compose up -d +``` + +裸机部署(`scripts/server.sh`)不受影响:它一直用的就是仓库根的 `./media`。 + 首启由 `scripts/docker-entrypoint.sh` 拿 seed 目录把库灌好,之后交给 `AUTO_SEED` 三种取值: `only-missing`(默认,只补库里没有的模型,**不动服务器上人工调过的默认位**)、 `force`(包里说的算)、`off`(跳过)。灌失败只告警不拦启动——页面和 API 本身是好的。 @@ -327,8 +344,8 @@ docker compose ps # STATUS 到 healthy 才算起来(探的是 /hea | --- | --- | | 对外端口 | `.env` 里 `HOST_PORT=9000`(容器内固定 8000,与 `EXPOSE`/健康检查对齐) | | 拉不到 docker.io / 装包慢 | `.env` 或 `--build-arg` 覆盖 `BASE_IMAGE`、`NODE_IMAGE`、`PIP_INDEX_URL`、`NPM_REGISTRY` | -| ComfyUI 装在宿主机 | `.env` 里 `COMFYUI_BASE_URL=http://host.docker.internal:9200`(`extra_hosts` 已备 `host-gateway`) | -| 顺带起一个自建 ComfyUI | `docker compose --profile comfy up -d` | +| 换 ComfyUI / 换 GPU 机 | **不在 `.env` 里改**:登录页面「调度中心 → 模型中心」,改那几条模型的 `base_url` 并点 🔌 探测,改完即生效、不用重启。指宿主机写 `http://host.docker.internal:9200`(`extra_hosts` 已备 `host-gateway`),写 `127.0.0.1` 指向的是容器自己 | +| 顺带起一个自建 ComfyUI | `docker compose --profile comfy up -d`,再把 `base_url` 指 `http://comfyui:8188` | 拉不到 docker.io 时不用改 Dockerfile,把两个基础镜像指到能通的 registry 就行(本机实测可用, `npm ci`/`apt`/`pip` 三段都走公网镜像源,构建一次约 5 分钟,之后改代码只重跑 COPY 层): @@ -410,7 +427,7 @@ sudo ./scripts/server.sh systemd > /etc/systemd/system/nex-animation.service \ | --- | --- | | 表结构:应用首启 `app/db.py:init_db()` 自己 `create_all` + 补列 | `media/` 产物库——换环境是「迁移」不是「部署」,单独 rsync | | 模型配置 `model_specs` + 加密主密钥 `model_secret_keys`(`scripts/seed/`) | 项目 / 分镜 / 任务等业务数据(开发库全是过程产物) | -| 管理员账号 `users`(仅 `admin`,沿用导出的口令哈希) | `.env`——ComfyUI 地址、数据库串都是机器相关的 | +| 管理员账号 `users`(仅 `admin`,沿用导出的口令哈希) | `.env`——数据库串、媒体目录、鉴权开关是机器相关的(**模型配置不在 `.env` 里**,见 §4.0) | | 启动脚本与 `DEPLOY-INFO.txt`(包里有什么、服务器三步、默认位是哪几个) | `backend/tests`、`reports/`、`.git/`、`models/`(听写权重远端下载)、`frontend/dist`(远端 build;`--with-dist` 可带上) | 主密钥跟包走是有意的:`model_specs.api_key` 是密文,换机器解不开就等于每台服务器都要重录一遍 @@ -433,22 +450,35 @@ sudo ./scripts/server.sh systemd > /etc/systemd/system/nex-animation.service \ `docker-compose.yml`、`docker-compose.scale.yml`、`scripts/docker-entrypoint.sh`,解包后 `docker compose up -d --build` 就是 §3.2 那个单容器形态。两条路的区别只剩「依赖装在哪」—— `server.sh install` 装在宿主机上,`docker build` 装在镜像层里;`.env`、`scripts/seed/`、 -数据目录三处的相对位置完全一样,所以先用裸机跑起来、之后想切容器不用搬任何东西 -(反过来也一样:容器用久了想落回裸机,`./data` 里的 SQLite 直接就能被 `server.sh` 读)。 +数据目录四处的相对位置完全一样,所以先用裸机跑起来、之后想切容器不用搬任何东西 +(反过来也一样:容器用久了想落回裸机,`./data` 里的 SQLite 与 `./media` 里的产物 +直接就能被 `server.sh` 读——它俩本来就和裸机部署用的是同两个目录名)。 ## 4. 模型与供应商 ### 4.0 真实模型:ComfyUI · MiniMax H3(已实跑通过) -模型接入地址 `http://10.100.53.199:9200`(ComfyUI 0.42 / GB10 单卡)。填好地址即自动登记进模型注册表: +模型接入地址 `http://10.100.53.199:9200`(ComfyUI 0.42 / GB10 单卡)。 + +**配置的唯一事实源是数据库 `model_specs` 表**:地址、模型名、步数、超时、并发与 RPM、 +画布像素、LoRA、单价、默认位,全在那条模型行的列与 `config_json` 里, +页面入口「调度中心 → 模型中心」。`.env` 里**不放模型配置**(v0.1.1 起取消),三条理由: +改模型不该要求重启进程;API / worker / beat 必须读同一份事实;地址与 Key 进库才有审计与探测记录。 ```bash -# .env(放仓库根;backend/ 下启动也会向上找到,见 app/config.py:_dotenv_candidates) -COMFYUI_BASE_URL=http://10.100.53.199:9200 -VIDEO_PROVIDER=comfyui -VIDEO_MODEL=minimax-h3 +# 首次接入新机器:页面「+ 登记模型」→ 选 comfyui 适配器 → 填 base_url → 点 🔌 探测 +# 换服务器:开发机 .venv/bin/python scripts/seed.py export --fix → 随部署包带过去 +# (容器首启 AUTO_SEED=only-missing 自动灌库;裸机 server.sh install 同义) +# 开发机临时试另一台 ComfyUI:用逃生门,只在这条模型还没登记过时才生效 +COMFYUI_BASE_URL=http://10.100.53.199:9200 ./scripts/dev.sh ``` +`app/config.py` 里仍留有 `comfyui_*` / `video_*` / `tts_*` 字段,但它们是**代码级兜底**, +不是配置入口:只在「空库自检」和「首次登记某条模型」时被读到, +已存在的行永远以库为准(`app/providers/registry.py:seed_specs` 的 `ensure` 见 key 就返回)。 +所以「模型连不上」的正确排查顺序是:页面点 🔌 探测 → 看那条模型的 `base_url` 与 `config`, +而不是回去翻 `.env`。 + `cd backend && ../.venv/bin/uvicorn app.main:app --port 8000` 之后, 调度中心 → 模型注册表里 `comfyui/minimax-h3` 的 🔌 探测会列出机器上**真实存在**的 UNET / CLIP / VAE 文件名,可直接照着改 config,不必猜 `unet_name`。 @@ -459,7 +489,7 @@ UNET / CLIP / VAE 文件名,可直接照着改 config,不必猜 `unet_name` | 画布 | 模型原生 16:9 → **1312×736**(短边 768 档,最长边 ≤1344,边长必须是 32 的倍数);**1080p 是交付档**:出片仍按原生像素,合成端 lanczos 放大(`capabilities.upscale_to`),不额外花卡时 | | 时长 | 帧数必须落在 **17k+5** 网格:5s→**124 帧**(5.17s)… 15s→**362 帧**;模型只在 124–362 帧上训练过 | | 音轨 | 原生音画同步:`VAEDecode` + `VAEDecodeAudio` → `CreateVideo(fps=24)` → 一次成片自带 AAC | -| 耗时 | 5s / 20 步 ≈ **18 分钟/镜头**(单卡串行,`COMFYUI_CONCURRENCY=1`;心跳每 `STALE_RUNNING_SECONDS/3` 续租,不会误判重跑) | +| 耗时 | 5s / 20 步 ≈ **18 分钟/镜头**(步数在该模型行 `config.steps` 里;单卡串行:并发上限与 RPM 是这条模型行的列,在模型中心改;心跳每 `STALE_RUNNING_SECONDS/3` 续租,不会误判重跑) | | 反向提示词 | H3 无独立入口,适配器把 `negative_prompt` 折进提示词末尾的自然语言子句 | **踩过的两个坑**(已修 + 已锁测试,改适配器前请先读): diff --git a/backend/app/api/system.py b/backend/app/api/system.py index 3fa0401..be9f7b2 100644 --- a/backend/app/api/system.py +++ b/backend/app/api/system.py @@ -213,20 +213,12 @@ def list_specs(db: Session = Depends(get_db)): row = next((p for p in payload if p["media_type"] == media_type and p["is_default"]), None) defaults[f"{media_type}_provider"] = row["provider"] if row else "" defaults[f"{media_type}_model"] = row["model"] if row else "" - # 环境变量只是历史兜底:必须能拼出注册表里真实存在、且当前启用可用的「provider|model 对」 - # 才允许覆盖默认。以前只覆盖 provider、留下库里默认行的 model,会凭空造出 - # mock|indextts2 这种谁都没登记过的组合,前端只能靠多级回落勉强命中,看着对其实错。 - for media_type, env_provider, env_model in ( - ("video", settings.video_provider, settings.video_model or defaults["video_model"]), - ("tts", settings.tts_provider, defaults["tts_model"]), - ): - if not env_provider: - continue - pair = next((p for p in payload if p["media_type"] == media_type - and p["provider"] == env_provider and p["model"] == env_model - and p["enabled"] and p["available"]), None) - if pair: - defaults[f"{media_type}_provider"], defaults[f"{media_type}_model"] = pair["provider"], pair["model"] + # 默认位**只由数据库决定**:v0.1.1 起模型配置全部搬进 model_specs 表, + # .env 里不再有任何「默认模型」的说法(理由写在 .env.example 开头)。 + # 这里以前会用 VIDEO_PROVIDER / TTS_PROVIDER 覆盖上面的结果,前提是「env 里显式写了值」。 + # 现在 env 里根本不写,settings.* 拿到的是代码默认 mock——继续覆盖就等于把服务器上 + # 真实模型的默认位悄悄降成 Mock:页面显示「默认模型:Mock 视频」,出片跑出来全是占位片段, + # 而没有任何一处配置过 mock。env 兜底只保留在 resolve_*(空库/无 db 时才走)。 return {"providers": payload, "defaults": defaults, "media_types": MODEL_MEDIA_TYPES, "adapters": MODEL_ADAPTERS} diff --git a/backend/app/config.py b/backend/app/config.py index 58aa3ee..890e7f7 100644 --- a/backend/app/config.py +++ b/backend/app/config.py @@ -16,8 +16,8 @@ def _dotenv_candidates() -> tuple[Path | str, ...]: uvicorn 习惯在 backend/ 下启动,而 .env 按约定放在仓库根(和 docker-compose 同级)。 只写 env_file=".env" 时 pydantic-settings 只在当前工作目录找,找不到就**静默** - 用回内置默认值,表现是「.env 明明配了 COMFYUI_BASE_URL,模型注册表里却什么都没有、 - 平台还在跑 mock」。这里显式把两处都纳入。 + 用回内置默认值,表现是「.env 明明配了 DATABASE_URL,库却建在默认串上、 + 上传的文件也找不到」。这里显式把两处都纳入。 顺序很关键:pydantic-settings 是**后加载的覆盖先加载的**,所以仓库根在前、 当前目录在后,实现「就近优先」——在本机临时改配置不用动仓库根那份。 @@ -96,6 +96,13 @@ class Settings(BaseSettings): default_provider_concurrency: int = 2 default_provider_rpm: int = 30 + # ---- 模型相关字段:只保留为**代码级兜底**,.env / .env.example 里不再出现 ---- + # 唯一事实源是数据库 model_specs 表(页面:调度中心 → 模型中心;服务器首启由 + # scripts/seed/ 数据包导入)。下面这些字段只剩两个用处: + # ① 空库 / 无 db 时 resolve_* 造一条伪 spec,保证离线自检能跑完; + # ② seed_specs 首次登记 mock/comfyui 行时的初始值(已存在的行不会被覆盖)。 + # 想临时改模型端点:改库(页面/接口)、改数据包,或用 COMFYUI_BASE_URL 这个逃生门 + # 让首启自动登记;别把它当常规配置项写回 .env——两处都能配,必然出现「改了没生效」。 # ---- 视频模型 ---- video_provider: str = "mock" video_model: str = "mock-video-1" @@ -138,7 +145,7 @@ class Settings(BaseSettings): provider_outage_tolerance: int = 6 provider_outage_seconds: int = 180 - # ---- 语音(TTS)---- + # ---- 语音(TTS)----(同上方模型段:库里的 tts 模型行说了算) tts_provider: str = "mock" tts_api_base_url: str = "" tts_api_key: str = "" @@ -179,7 +186,10 @@ class Settings(BaseSettings): asr_model: str = "models/asr/ggml-small.bin" # 相对仓库根;填绝对路径亦可 asr_timeout: int = 240 # 单镜转写等待上限(秒) - # ---- 成本(单位:元,可在 provider_models 表内覆盖)---- + # ---- 成本 ---- + # 币种留在 env(全站一个口径,跟具体模型无关);单价是**每个模型自己的**属性, + # 存在 model_specs.price_per_second / price_per_1k_chars,在页面上改。 + # 下面两个默认值只在新建模型行没填单价时用一次。 cost_currency: str = "CNY" default_video_price_per_second: float = 0.0 default_tts_price_per_1k_chars: float = 0.0 diff --git a/backend/app/providers/registry.py b/backend/app/providers/registry.py index e611f77..4a410cf 100644 --- a/backend/app/providers/registry.py +++ b/backend/app/providers/registry.py @@ -425,15 +425,19 @@ def seed_specs(db: Session) -> None: existing.add(key) added = True + # Mock 行一律按「可以当默认」登记,真正的裁决在上面的 _has_real_spec 闸门里: + # 这台机器只要有非 mock 的同能力模型,mock 就进不了默认位。 + # 以前这里读 settings.video_provider == "mock",模型配置搬进库之后该字段恒等于代码默认值, + # 读它 = 读一个没人配置的常量,还会让「页面设了真实默认位」看起来被 env 顶掉。 ensure(provider="mock", model="mock-video-1", display_name="Mock 视频(流水线自检)", media_type="video", - adapter="mock", is_default=settings.video_provider == "mock", max_concurrency=2, + adapter="mock", is_default=True, max_concurrency=2, requests_per_minute=60, modes=["t2v", "i2v", "fl"], resolutions=["480p", "720p", "1080p"], aspect_ratios=["16:9", "9:16", "1:1", "4:3", "3:4", "21:9"], min_duration=1.0, max_duration=30.0, max_reference_images=4, price_per_second=settings.default_video_price_per_second, currency=settings.cost_currency, notes="生成模拟运镜片段,用于验证任务编排、质检与合成链路;不是真实 AI 视频") ensure(provider="mock", model="mock-tts-1", display_name="Mock 配音(占位人声)", media_type="tts", - adapter="mock", is_default=settings.tts_provider == "mock", max_concurrency=4, requests_per_minute=120, + adapter="mock", is_default=True, max_concurrency=4, requests_per_minute=120, modes=["voice"], price_per_1k_chars=settings.default_tts_price_per_1k_chars, currency=settings.cost_currency, notes="按文本长度生成占位人声,用于验证配音、字幕对齐与混音") ensure(provider="mock", model="mock-image-1", display_name="Mock 图像(资产自检)", media_type="image", @@ -447,6 +451,8 @@ def seed_specs(db: Session) -> None: modes=["chat", "prompt"], min_duration=0, max_duration=0, max_reference_images=0, currency=settings.cost_currency, notes="离线大模型:仅验证结构化文本与提示词链路;图像生成请使用独立图像模型") + # 逃生门(不是常规配置入口):只有显式设了 COMFYUI_BASE_URL 才自动登记这三条 ComfyUI 模型。 + # 常规路径是数据包导入 + 页面维护;库里已有的行不会被这里覆盖(ensure 见 key 就返回)。 if settings.comfyui_base_url: ensure(provider="comfyui", model=settings.comfyui_model, display_name=f"ComfyUI · {settings.comfyui_model}", media_type="video", @@ -556,20 +562,22 @@ def _dedupe_defaults(db: Session) -> bool: from app.models import ModelSpec changed = False - preferred = { - "video": (settings.video_provider, settings.video_model), - "tts": (settings.tts_provider, settings.tts_voice), - } rows = list(db.scalars(select(ModelSpec))) + for media_type in ("llm", "video", "image", "tts"): defaults = [row for row in rows if row.media_type == media_type and row.is_default] if len(defaults) <= 1: continue - provider, model = preferred.get(media_type, ("", "")) - keep = next( - (row for row in defaults if row.provider == provider and row.model == model), - next((row for row in defaults if row.provider == provider), defaults[0]), - ) + + # 保留哪一条:以前看环境变量(VIDEO_PROVIDER / TTS_PROVIDER 点名的那个), + # 模型配置搬进 model_specs 表之后 env 不再有值,取「真实模型优先于 Mock, + # 启用的优先,再按登记顺序取最早的一条」。理由对应一条真实历史缺陷: + # Mock 只是离线自检通道,让它抢走默认位 = 整条流水线悄悄退回占位产物。 + def _rank(row: ModelSpec) -> tuple: + mock = row.provider == "mock" or str(row.adapter or "").startswith("mock") + return (not mock, bool(row.enabled), -int(row.id or 0)) + + keep = sorted(defaults, key=_rank, reverse=True)[0] for row in defaults: if row.id != keep.id: row.is_default = False diff --git a/backend/app/services/audio.py b/backend/app/services/audio.py index 152f2ba..b52b28d 100644 --- a/backend/app/services/audio.py +++ b/backend/app/services/audio.py @@ -507,9 +507,16 @@ def resolve_voice_asset(db: Session, project: Project, shot: Shot) -> VoiceAsset def resolve_tts_spec(db: Session, voice: VoiceAsset | None): - """按声线资产选择 TTS 模型;找不到对应 ModelSpec 时退回项目默认配音模型。""" + """按声线资产选择 TTS 模型;找不到对应 ModelSpec 时退回库里的默认配音模型。 + + 优先级只有两层:声线自己登记的供应商 → 库里的默认配音模型。 + 中间原本还夹着一层 `settings.tts_provider`,那是「配音模型写在 .env 里」时代的产物: + 模型配置搬进 model_specs 表之后它取不到值、等于代码默认 "mock",于是**没配过供应商的 + 声线会悄悄用 Mock 配音**,把页面上设好的 comfyui/indextts2 默认位顶掉。 + 「配音听起来不对」这件事只有听成片才能发现,所以宁可少一层兜底。 + """ candidates = [voice.provider] if voice and voice.provider else [] - candidates += [settings.tts_provider, None] + candidates.append(None) for provider in candidates: try: spec, adapter = model_registry.resolve_voice(db, provider, None) diff --git a/backend/tests/conftest.py b/backend/tests/conftest.py index d186f5c..53c56e6 100644 --- a/backend/tests/conftest.py +++ b/backend/tests/conftest.py @@ -23,6 +23,11 @@ os.environ.update({ "VIDEO_PROVIDER": "mock", "VIDEO_MODEL": "mock-video-1", "TTS_PROVIDER": "mock", + # ComfyUI 逃生门必须显式钉住:registry.seed_specs 只有在 COMFYUI_BASE_URL 非空时才登记 + # comfyui 的视频/图像/配音三条模型,而模型配置搬进数据库之后开发机 .env 里已经没有它了。 + # 不钉住的话,「IndexTTS2 是否在册」这类断言会跟着**本机 .env** 漂 + # (换台机器 / 换份 .env 就假失败),CI 上更是必挂。适配器只判空不联网,钉成假地址即可。 + "COMFYUI_BASE_URL": "http://comfyui.test:9200", "MEDIA_ROOT": str(MEDIA_ROOT), "DISPATCH_INTERVAL_SECONDS": "1", "DISPATCH_BATCH_SIZE": "32", diff --git a/backend/tests/test_system_and_library.py b/backend/tests/test_system_and_library.py index 12d6885..bb9abd8 100644 --- a/backend/tests/test_system_and_library.py +++ b/backend/tests/test_system_and_library.py @@ -210,7 +210,11 @@ def test_seed_specs_repairs_duplicate_defaults(api, db): ModelSpec.media_type == "video", ModelSpec.is_default.is_(True), ).all() assert len(defaults) == 1 - assert (defaults[0].provider, defaults[0].model) == ("mock", "mock-video-1") + # 留下的是**真实模型**,不是 mock:这正是注释里那个场景要的修法。 + # 旧实现拿环境变量 VIDEO_PROVIDER 当裁判,而模型配置搬进 model_specs 表之后 + # .env 里不再有它,裁判恒等于代码默认 "mock"——于是「已切到 comfyui」的机器 + # 每次启动都被判成「该保留 mock」,真实默认位反而被降级(历史缺陷又换了个方向重演)。 + assert (defaults[0].provider, defaults[0].model) == ("comfyui", "minimax-h3") legacy_llm = db.query(ModelSpec).filter( ModelSpec.media_type == "llm", ModelSpec.model == "mock-llm-1", diff --git a/docker-compose.scale.yml b/docker-compose.scale.yml index 7a1bedb..ffd3b3e 100644 --- a/docker-compose.scale.yml +++ b/docker-compose.scale.yml @@ -56,16 +56,18 @@ services: command: celery -A app.worker.celery_app worker -Q generate,audio,qc,compose,io,default --loglevel=INFO --concurrency=${CELERY_CONCURRENCY:-2} env_file: - path: .env - required: false # 任务的真正配置在这里:COMFYUI_BASE_URL、TTS_*、VIDEO_* + required: false # 只有进程/调度参数;模型端点跟 app 读同一张 model_specs 表 environment: DATABASE_URL: postgresql+psycopg://${POSTGRES_USER:-nex}:${POSTGRES_PASSWORD:-change_this_password}@db:5432/${POSTGRES_DB:-nexanimation} REDIS_URL: redis://redis:6379/0 - MEDIA_ROOT: /app/data/media + MEDIA_ROOT: /app/media TASK_EXECUTOR: celery TZ: ${TZ:-Asia/Shanghai} volumes: - # 必须和 app 挂同一个目录:worker 写出的媒体要能被 app 的 /media 路由读到 + # 必须和 app 挂同两个目录:worker 写出的媒体要能被 app 的 /media 路由读到, + # 库更是同一个文件——两边各挂一份,就会出现「worker 写完了页面看不到」。 - ./data:/app/data + - ./media:/app/media - ./models:/app/models:ro extra_hosts: - "host.docker.internal:host-gateway" @@ -83,10 +85,10 @@ services: environment: DATABASE_URL: postgresql+psycopg://${POSTGRES_USER:-nex}:${POSTGRES_PASSWORD:-change_this_password}@db:5432/${POSTGRES_DB:-nexanimation} REDIS_URL: redis://redis:6379/0 - MEDIA_ROOT: /app/data/media TASK_EXECUTOR: celery TZ: ${TZ:-Asia/Shanghai} volumes: + # beat 只按周期派发任务、不读写产物,所以既不需要 MEDIA_ROOT 也不挂 ./media - ./data:/app/data extra_hosts: - "host.docker.internal:host-gateway" diff --git a/docker-compose.yml b/docker-compose.yml index cabe606..73de312 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -5,8 +5,8 @@ # docker compose up -d --build 首次部署(构建 + 后台启动) # docker compose logs -f app 看日志(首启会打印「导入部署数据包」那一行) # docker compose ps 状态(healthy 才算起来) -# docker compose restart app 改了 .env 之后重启生效 -# docker compose down 停止并删除容器,数据留在 ./data +# docker compose restart app 改了 .env 之后重启生效(改模型配置不用重启) +# docker compose down 停止并删除容器,数据留在 ./data 与 ./media # 打开 http://localhost:8000 默认账号见 BOOTSTRAP_USERNAME / BOOTSTRAP_PASSWORD # # 为什么只有一个服务:库用 SQLite、任务用 TASK_EXECUTOR=inline(进程内线程池 + @@ -17,14 +17,19 @@ # 需要多机 / 多 GPU 扩容时再叠一层(Postgres + Redis + Celery worker + beat): # docker compose -f docker-compose.yml -f docker-compose.scale.yml up -d --build # -# 数据分三处 bind mount(都相对本文件,换镜像不动数据): -# ./data SQLite 库 + media 出片产物 ← 唯一会被写坏的目录,值得单独备份 -# ./scripts/seed 模型配置 + 加密主密钥 + 管理员 ← gitignored 的机密,所以不进镜像层 +# 数据分四处 bind mount(都相对本文件,换镜像不动数据): +# ./data SQLite 库(几 MB~几百 MB) ← 唯一会被写坏的目录,值得单独备份 +# ./media 出片产物与上传素材(只涨不跌) ← 单独一个挂载点:能整目录挪大盘、 +# 能被 rsync/剪辑软件直接读, +# 和库分开才敢单独做备份与迁移 +# ./scripts/seed 模型配置 + 加密主密钥 + 管理员 ← gitignored 的机密,所以不进镜像层 # ./models whisper 权重等(可选) -# 容器首启由 scripts/docker-entrypoint.sh 拿 seed 目录把库灌好(AUTO_SEED 控制)。 +# 容器首启由 scripts/docker-entrypoint.sh 拿 seed 目录把库灌好(AUTO_SEED 控制)—— +# 「用哪个模型、地址是什么」就是这么进库的,不是从 .env 读的。 # # 配置来源:同目录 .env(compose 会替变量插值读它,并整份注入容器)。 # 下面 environment 里点名的键是例外——容器里的路径和宿主机不是一回事,必须覆盖。 +# .env 里不再放模型配置(VIDEO_* / COMFYUI_* / TTS_*),换 ComfyUI 地址去页面改。 # 需要 Docker Compose ≥ v2.24(env_file 的 required: false 写法)。 # ============================================================================= name: nex-animation @@ -47,8 +52,9 @@ services: required: false # 空机器上先起来再配模型,别让缺 .env 变成起不来 environment: # ---- 容器内路径:宿主 .env 里写的是 ./media、./nex_animation.db,直接透传会漂 ---- + # 库落 ./data,产物落 ./media:两个挂载点各管各的,理由见文件头与 Dockerfile。 DATABASE_URL: "${APP_DATABASE_URL:-sqlite:////app/data/nex_animation.db}" - MEDIA_ROOT: "${APP_MEDIA_ROOT:-/app/data/media}" + MEDIA_ROOT: "${APP_MEDIA_ROOT:-/app/media}" # ---- 整站形态的两把开关:后端托管前端 + 进程内执行后端,都必须在容器里成立 ---- SERVE_FRONTEND: "on" TASK_EXECUTOR: "inline" @@ -59,23 +65,27 @@ services: BOOTSTRAP_PASSWORD: "${BOOTSTRAP_PASSWORD:-admin1234}" AUTO_SEED: "${AUTO_SEED:-only-missing}" TZ: "${TZ:-Asia/Shanghai}" - # ComfyUI 常跑在宿主机或另一台 GPU 机上;指宿主机就写 http://host.docker.internal:9200 - COMFYUI_BASE_URL: "${COMFYUI_BASE_URL:-}" + # 这里刻意没有 COMFYUI_BASE_URL / VIDEO_PROVIDER / TTS_*:模型端点存在数据库里 + # (model_specs.base_url / config_json),改完立刻生效,不需要重启容器, + # 也不需要「改 .env + 改页面」两处对齐。页面路径:调度中心 → 模型中心。 ports: # 对外只有这一个端口;容器内固定 8000(与 EXPOSE / HEALTHCHECK 对齐) - "${HOST_PORT:-8000}:8000" volumes: - ./data:/app/data + - ./media:/app/media - ./scripts/seed:/app/scripts/seed:ro - ./models:/app/models:ro extra_hosts: - # Linux 上没有内建的 host.docker.internal,靠 host-gateway 指回宿主机 - # (自建 ComfyUI 装在宿主机时要用)。macOS/Windows 的 Docker Desktop 本来就认这个名字。 + # Linux 上没有内建的 host.docker.internal,靠 host-gateway 指回宿主机。 + # 自建 ComfyUI 装在宿主机时,模型中心里的 base_url 要写 http://host.docker.internal:9200 + # (写 127.0.0.1 指向的是容器自己);装在局域网另一台机器就写那台的实际 IP,本条不影响。 - "host.docker.internal:host-gateway" # 自建 ComfyUI(可选):docker compose --profile comfy up -d 起一份容器实例。 # 已有外部 GPU 机(例如 http://10.100.53.199:9200)时不用开它, - # .env 里把 COMFYUI_BASE_URL 指过去就行;装在宿主机上的话用 http://host.docker.internal:9200。 + # 去「调度中心 → 模型中心」把三条 comfyui 模型的 base_url 改过去就行(改完即生效,无需重启); + # 装在宿主机上的话用 http://host.docker.internal:9200,指本 profile 起的容器用 http://comfyui:8188。 comfyui: profiles: ["comfy"] image: comfyanonymous/comfyui:latest diff --git a/docs/工程规范.md b/docs/工程规范.md index b16ad2e..3b31817 100644 --- a/docs/工程规范.md +++ b/docs/工程规范.md @@ -173,6 +173,13 @@ api/ → app/ → pages/ → components/{ui,forms,media}/ → theme/ · lib/ · **部署包 = 代码 + 表结构定义 + 模型配置 + 管理员账号。别的都不搬。** +**配置分两层,边界要说死**:**模型参数在数据库**(`model_specs` 的列 + `config_json`: +地址、模型名、步数、超时、并发/RPM、单价、默认位),**进程与调度参数在 `.env`** +(端口、`DATABASE_URL`、`MEDIA_ROOT`、鉴权开关、执行后端、派发节奏、重试与质检阈值、 +ffmpeg 与本地听写权重)。判据是一句话:**换模型要不要重启进程**——要,就说明它被写进了 `.env`, +那它就站错了队。`.env` / `.env.example` 里出现 `VIDEO_*` / `COMFYUI_*` / `TTS_*` +即视为回归(`app/config.py` 仍保留这些字段,但它们是空库自检的代码级兜底,不是配置入口)。 + | 内容 | 怎么到新机器上 | |---|---| | 表结构 + 列迁移 | `app/db.py:init_db()`,应用启动自动执行,无需手工 SQL | @@ -180,7 +187,7 @@ api/ → app/ → pages/ → components/{ui,forms,media}/ → theme/ · lib/ · | 加密主密钥(`model_secret_keys`) | 同上,**必须与密文同行**:缺了它 `api_key_encrypted` 解不开 | | 管理员账号(`users` 里 role=admin) | 同上,导 `password_hash`,不带明文口令 | | 项目 / 镜头 / 任务 / 事件日志 | **不部署**,服务器从空库开始 | -| `media/` 媒体、平台资源库 | **不部署**;需要时走 `seed.py --with-platform-library` + 手工拷 `media/platform/` | +| `media/` 媒体、平台资源库 | **不部署**;需要时走 `seed.py --with-platform-library` + 手工拷 `media/platform/`。Docker 形态下它是独立挂载点(`./media` ↔ 容器 `/app/media` = `MEDIA_ROOT`),和 SQLite 所在的 `./data` 分开备份 | | whisper 听写权重 | `server.sh install` 自动下载(`--no-asr` 跳过) | **开发机打包**(`export --fix` 与 `deploy.sh` 都会体检,区别只是拦在哪一步): @@ -216,6 +223,8 @@ sudo ./scripts/server.sh systemd > /etc/systemd/system/nex-animation.service # 主密钥并把 mock 播成默认,导入时还得再纠正一次默认位。 3. **`.env` 不随包走**。它是机器相关配置;`server.sh install` 会生成单机版 (SQLite + inline + `SERVE_FRONTEND=on`),而不是照抄 docker 版 `.env.example`。 + 生成的那份**不含任何模型配置**——换 GPU 机在模型中心改 `base_url`(改完即生效), + 所以 `status` 探的端点也是从库里读的,不是从 `.env` 读的。 4. **灌数据之前先体检**。快照比代码旧时后果是「静默少功能」而不是报错,而 `install` 一旦跑过就改掉了表结构与默认位、回不到原样,所以 `seed.py install` 先量后写。 原因与实测见下面「第四条不变量」。 diff --git a/scripts/deploy.sh b/scripts/deploy.sh index 7849db7..3f45a24 100755 --- a/scripts/deploy.sh +++ b/scripts/deploy.sh @@ -27,12 +27,13 @@ # backend/tests/ 开发自检资产(503 条用例);服务器不需要 pytest 才能跑 # frontend/dist/ 构建产物,server.sh build 在服务器上重建,避免带过期哈希 # .venv/ node_modules/ 跨机的二进制与依赖目录,必须在目标机重装 -# .env 机器相关配置(ComfyUI 地址、数据库串),首装由 .env.example 生成 +# .env 机器相关配置(数据库串、媒体目录、鉴权开关),首装由 server.sh 生成; +# 注意它**不含模型配置**——模型端点跟着 scripts/seed/ 数据包进库 # .local/ reports/ .trash/ 日志、pid、验收证据、回收站 # .git/ 版本历史是开发机资产,服务器只需要工作树 # # 上传用 rsync 而不是 scp:断网可续、只传差异,且 --delete 之外我们不删远端任何东西, -# 因为 /opt/nex_animation 里可能已经有 media/ 与 .env。解压目录与包同名, +# 因为 /opt/nex_animation 里可能已经有 media/(产物)、data/(库)与 .env。解压目录与包同名, # 老版本留在原地,出问题直接把 .env 指回旧目录就能回滚。 # ============================================================ set -euo pipefail diff --git a/scripts/dev.sh b/scripts/dev.sh index 08849c4..699b305 100755 --- a/scripts/dev.sh +++ b/scripts/dev.sh @@ -14,8 +14,9 @@ # --backend-port N --frontend-port N --host ADDR(默认 0.0.0.0,局域网可直接访问) # # 手工启动反复踩到的四个坑,本脚本已逐一处理: -# 1) 后端必须在能读到仓库根 .env 的位置启动。.env 里配了 COMFYUI_BASE_URL 却被静默忽略时, -# 平台照旧跑 mock 且不报错——这里统一用 --app-dir 从仓库根启动,路径永远唯一。 +# 1) 后端必须在能读到仓库根 .env 的位置启动。读不到时 DATABASE_URL / MEDIA_ROOT 退回代码默认值 +# (库和产物各落另一处),平台照旧起来且不报错——这里统一用 --app-dir 从仓库根启动,路径永远唯一。 +# 注意模型配置不在 .env 里(v0.1.1 起全在数据库 model_specs):换模型去「调度中心 → 模型中心」,改完即生效。 # 2) 后台进程必须自成会话,否则启动它的终端一退出就把 uvicorn/vite 一起带走(macOS 无 setsid, # 改用 python start_new_session)。 # 3) vite 端口被占会静默换端口,前端代理与 e2e 自检随之失效——这里用 --strictPort 直接报错。 @@ -92,11 +93,6 @@ wait_http() { # wait_http <超时秒> return 1 } -env_value() { # 从 .env 读一个键(最后一行为准,去引号) - [ -f "$ROOT/.env" ] || return 0 - sed -n "s/^[[:space:]]*$1=//p" "$ROOT/.env" | tail -1 | tr -d '\r"' || true -} - # ------------------------------------------------------------------ 依赖自检 prepare() { head2 "环境自检" @@ -106,7 +102,8 @@ prepare() { if [ ! -f "$ROOT/.env" ]; then if [ -f "$ROOT/.env.example" ]; then cp "$ROOT/.env.example" "$ROOT/.env" - warn "已从 .env.example 生成 .env(默认走 mock 适配器);要连真实模型请填 COMFYUI_BASE_URL" + warn "已从 .env.example 生成 .env(空库只有 mock 模型可用);真实模型在「调度中心 → 模型中心」登记," + warn " 或导入数据包:.venv/bin/python scripts/seed.py install --only-missing(模型配置不在 .env 里)" else die "缺少 .env 且没有 .env.example" fi @@ -217,9 +214,7 @@ report() { fi info "${C_B}日志${C_0} .local/logs/backend.log .local/logs/frontend.log ${C_D}跟踪:./scripts/dev.sh logs${C_0}" info "${C_B}停止${C_0} ./scripts/dev.sh stop" - local model - model="$(env_value VIDEO_MODEL)" - info "${C_B}模型${C_0} $(env_value VIDEO_PROVIDER)/${model}${C_D}(.env 改完重启生效;页面「模型管理中心」也可切换)${C_0}" + info "${C_B}模型${C_0} 默认位在数据库 ${C_D}model_specs${C_0};换模型走「调度中心 → 模型中心」,改完即生效不用重启" status_runtime } @@ -240,21 +235,36 @@ status_runtime() { fi done - # 后端细节:执行后端 / 当前默认模型 / ComfyUI 连通性——这三项决定「是不是真在跑真实模型」 + # 后端细节:执行后端 / 当前默认模型 / 模型端点连通性——这三项决定「是不是真在跑真实模型」。 + # 端点地址存在 model_specs.config_json 里(.env 早就不放了),所以只能问进程: + # 以前这里 curl 的是 .env 里的 COMFYUI_BASE_URL,改过地址后探的是废弃端点,绿字反而误导。 if curl -fsS --max-time 3 -o /dev/null "http://$PROBE_HOST:$BACKEND_PORT/health" 2>/dev/null; then - "$PYBIN" - "$PROBE_HOST" "$BACKEND_PORT" <<'PY' || true -import json, sys, urllib.request -host, port = sys.argv[1], sys.argv[2] -base = f"http://{host}:{port}" + NEX_STATUS_BASE="http://$PROBE_HOST:$BACKEND_PORT" "$PYBIN" - <<'PY' || true +import http.cookiejar +import json +import os +import sys +import urllib.error +import urllib.request + +base = os.environ["NEX_STATUS_BASE"].rstrip("/") +GREEN, YELLOW, DIM, RESET = (("\033[32m", "\033[33m", "\033[2m", "\033[0m") + if sys.stdout.isatty() else ("", "", "", "")) +_jar = http.cookiejar.CookieJar() +_opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(_jar)) -def get(path): - with urllib.request.urlopen(base + path, timeout=8) as r: +def call(path, payload=None, timeout=8): + url = base + path + data = json.dumps(payload).encode() if payload is not None else None + req = urllib.request.Request(url, data=data, + headers={"Content-Type": "application/json"} if data else {}) + with _opener.open(req, timeout=timeout) as r: return json.loads(r.read().decode()) try: - h = get("/health") + h = call("/health") caps = h.get("ffmpeg_capabilities") or {} print(f" executor={h.get('executor')} database={h.get('database')} " f"ffmpeg={h.get('ffmpeg')} xfade={caps.get('xfade')} model_specs={h.get('model_specs')}") @@ -263,26 +273,55 @@ except Exception as exc: raise SystemExit(0) try: - specs = get("/api/providers")["providers"] - for p in specs: - if p.get("media_type") != "video": - continue - flag = "默认" if p.get("is_default") else " " - print(f" [{flag}] {p['provider']}/{p['model']} adapter={p['adapter']} " - f"时长 {p['min_duration']}-{p['max_duration']}s 可用={p.get('available')}") + # AUTH_ENABLED 默认 true,未登录时 /api/providers 是 401——上一版把异常打成 + # 「模型注册表读取失败」,看起来像没配模型,其实只是没带会话。开发机口令见 .env.example。 + state = call("/api/auth/state") + if state.get("auth_enabled") and not state.get("authenticated"): + call("/api/auth/login", { + "username": os.environ.get("NEX_USER") + or (state.get("login_hint") or {}).get("username") or "admin", + "password": os.environ.get("NEX_PASS") or "admin1234"}) + providers = call("/api/providers")["providers"] except Exception as exc: print(f" 模型注册表读取失败:{type(exc).__name__}: {exc}") -PY - fi + raise SystemExit(0) - local comfy; comfy="$(env_value COMFYUI_BASE_URL)" - if [ -n "$comfy" ]; then - if curl -fsS --max-time 4 -o /dev/null "$comfy/system_stats" 2>/dev/null; then - printf ' %sreachable%s ComfyUI %s\n' "$C_G" "$C_0" "$comfy" - else - printf ' %sunreachable%s ComfyUI %s %s真实出图会失败,只有 mock 可用%s\n' \ - "$C_Y" "$C_0" "$comfy" "$C_D" "$C_0" - fi +for p in providers: + if p.get("media_type") != "video": + continue + flag = "默认" if p.get("is_default") else " " + print(f" [{flag}] {p['provider']}/{p['model']} adapter={p['adapter']} " + f"时长 {p['min_duration']}-{p['max_duration']}s 可用={p.get('available')}") +for p in providers: + if p.get("is_default") and p.get("media_type") != "video": + print(f" [默认] {p['media_type']:5s} {p['provider']}/{p['model']} " + f"可用={p.get('available')}") + +# 端点连通性:库里在册且启用的地址逐个探(真实模型未注册时这里应该什么都不显示)。 +# 一台 GPU 机同时挂视频/图像/配音三条是常态,去重后只探一次,否则会刷三行同样的结果。 +endpoints = {} +for p in providers: + if not p.get("enabled"): + continue + url = str((p.get("config") or {}).get("base_url") or "").rstrip("/") + if url and not p.get("uses_mock"): + endpoints.setdefault(url, []).append(f"{p['provider']}/{p['model']}") +for url, users in sorted(endpoints.items()): + probe = f"{url}/system_stats" if "comfy" in url.lower() else url + try: + urllib.request.urlopen(probe, timeout=4) + print(f" {GREEN}reachable{RESET} {url} ← {', '.join(sorted(users))}") + except urllib.error.HTTPError as exc: + # 有 HTTP 应答就算机器活着:LLM 的 base_url 直接 GET 多半回 401/404 + # (没带 key、根路径没有路由),urllib 把非 2xx 当异常抛,这里不能据此判死。 + # 真正的鉴权与模型可用性看页面 🔌 探测(它打的是各自适配器认得的接口)。 + color, tag = (GREEN, "reachable ") if exc.code < 500 else (YELLOW, "error ") + print(f" {color}{tag}{RESET} {url} ← {', '.join(sorted(users))}" + f" {DIM}(HTTP {exc.code}){RESET}") + except Exception: + print(f" {YELLOW}unreachable{RESET} {url} ← {', '.join(sorted(users))}" + f" {DIM}(这几条模型真实出片会失败,页面点 🔌 探测看细节){RESET}") +PY fi } diff --git a/scripts/server.sh b/scripts/server.sh index 754a64c..3efe2a8 100755 --- a/scripts/server.sh +++ b/scripts/server.sh @@ -62,8 +62,6 @@ head2() { printf '\n%s%s%s\n' "$C_B" "$*" "$C_0"; } pid_of() { [ -f "$RUN_DIR/$NAME.pid" ] && cat "$RUN_DIR/$NAME.pid" 2>/dev/null || true; } alive() { local p="${1:-}"; [ -n "$p" ] && kill -0 "$p" 2>/dev/null; } port_pids() { lsof -nP -iTCP:"$1" -sTCP:LISTEN -t 2>/dev/null | tr '\n' ' ' | sed 's/[[:space:]]*$//' || true; } -env_value() { [ -f "$ROOT/.env" ] && sed -n "s/^[[:space:]]*$1=//p" "$ROOT/.env" | tail -1 | tr -d '\r"' || true; } - # 独立会话里起进程(同 dev.sh:`cmd &` 会被启动它的终端一起带走,SSH 断开即挂) spawn() { mkdir -p "$RUN_DIR" "$LOG_DIR" @@ -179,15 +177,14 @@ SERVE_FRONTEND=on AUTH_ENABLED=true LOG_LEVEL=INFO -# ---- 模型 ---- -# 真实模型端点写在模型中心(数据库)里;这里的值只在「首次播种」时生效, -# 已注册过的模型改这里不会覆盖库里的配置(见 app/providers/registry.py:seed_specs)。 -COMFYUI_BASE_URL= -VIDEO_PROVIDER=comfyui -VIDEO_MODEL=minimax-h3 +# ---- 模型配置不在这份文件里 ---- +# 用哪个模型、ComfyUI/大模型的地址与 Key、步数、超时、并发限流、单价、默认位, +# 全部在数据库 model_specs 表里:install 时随 scripts/seed/ 数据包导入, +# 之后在「调度中心 → 模型中心」改(改完即生效,不用重启服务)。 +# 这里只留一个本地文件路径:whisper 听写权重不属于任何模型端点,装在机器上就有。 ASR_MODEL=models/asr/ggml-small.bin ENV - warn "已生成单机版 .env(SQLite + inline);真实模型请填 COMFYUI_BASE_URL 或在模型中心直接配置" + warn "已生成单机版 .env(SQLite + inline + 托管前端);模型配置在数据库里,页面「调度中心 → 模型中心」可改" } do_install() { @@ -199,8 +196,9 @@ do_install() { fetch_asr_model seed_data head2 "下一步" - info "1) 编辑 .env:COMFYUI_BASE_URL、DATABASE_URL(默认 SQLite,够用)、AUTH_ENABLED" + info "1) 编辑 .env:只有 DATABASE_URL / MEDIA_ROOT / AUTH_ENABLED 这类进程参数——模型地址不在这里" info " (模型配置已在导入时随包带过来:$(ls "$ROOT/scripts/seed" 2>/dev/null | tr '\n' ' '))" + info " 换 GPU 机 / 改模型参数:登录页面「调度中心 → 模型中心」改 base_url 并点 🔌 探测" info "2) ./scripts/server.sh start" info "3) 浏览器打开 $BASE,用部署包里的管理员登录,随后立刻改密码" info "4) ./scripts/server.sh verify # 用 mock/真实模型跑一遍全流程自检" @@ -280,20 +278,16 @@ status_server() { fi [ -f "$ROOT/frontend/dist/index.html" ] && ok "前端产物 frontend/dist" || warn "前端产物缺失:./scripts/server.sh build" [ -f "$ASR_MODEL" ] && ok "听写模型 $(basename "$ASR_MODEL")" || warn "听写模型缺失:台词听写质检不生效" - local comfy; comfy="$(env_value COMFYUI_BASE_URL)" - if [ -n "$comfy" ]; then - if curl -fsS --max-time 4 -o /dev/null "$comfy/system_stats" 2>/dev/null; then - printf ' %sreachable%s ComfyUI %s\n' "$C_G" "$C_0" "$comfy" - else - printf ' %sunreachable%s ComfyUI %s %s真实出片会失败%s\n' "$C_Y" "$C_0" "$comfy" "$C_D" "$C_0" - fi - fi if curl -fsS --max-time 3 -o /dev/null "$BASE/health" 2>/dev/null; then NEX_BASE="$BASE" "$PYBIN" <<'PY' || true import os, sys, httpx +GREEN, YELLOW, DIM, RESET = (("\033[32m", "\033[33m", "\033[2m", "\033[0m") + if sys.stdout.isatty() else ("", "", "", "")) base = os.environ["NEX_BASE"].rstrip("/") # 部署形态默认 AUTH_ENABLED=true,/api/* 要会话;未登录时这里会退化成 # 「HTTP 401 读不到模型」,看不出来是配置没导入还是没登录,所以先登录再读。 +# 模型端点也在这里探:地址存在 model_specs 表里(不在 .env),页面/数据库说是什么就是什么, +# 以前那种「curl .env 里的 COMFYUI_BASE_URL」现在会探到一个已经不用的旧地址。 c = httpx.Client(base_url=base, timeout=10, trust_env=False) h = c.get("/health").json() print(f" executor={h.get('executor')} database={h.get('database')} ffmpeg={h.get('ffmpeg')} " @@ -308,14 +302,32 @@ try: # 登录不进去多半是首登强制改密没走界面,这里只提示,不阻塞 status print(f" 模型注册表跳过:登录失败 {r.status_code}(改 NEX_USER/NEX_PASS 后重试)") sys.exit(0) - for p in c.get("/api/providers").json()["providers"]: + listing = c.get("/api/providers").json() + for p in listing["providers"]: if p.get("is_default"): print(f" [默认] {p['media_type']:6s} {p['provider']}/{p['model']} 可用={p.get('available')}") + # 端点连通性:把库里真实用到的地址逐个探一遍(自建 ComfyUI 探 /system_stats)。 + # 同一台机器常常同时挂视频/图像/配音三条模型,去重后只探一次。 + endpoints = {} + for p in listing["providers"]: + if not p.get("enabled"): + continue + url = str((p.get("config") or {}).get("base_url") or "").rstrip("/") + if url and not p.get("uses_mock"): + endpoints.setdefault(url, []).append(f"{p['provider']}/{p['model']}") + for url, users in sorted(endpoints.items()): + probe = f"{url}/system_stats" if "comfy" in url.lower() else url + try: + c.get(probe, timeout=4) + print(f" {GREEN}reachable{RESET} {url} ← {', '.join(sorted(users))}") + except Exception: + print(f" {YELLOW}unreachable{RESET} {url} ← {', '.join(sorted(users))}" + f" {DIM}(这几条模型真实出片会失败,页面点 🔌 探测看细节){RESET}") except Exception as exc: print(f" 模型注册表读取失败:{type(exc).__name__}: {exc}") PY else - info "${C_D}服务未启动,健康检查与默认模型跳过${C_0}" + info "${C_D}服务未启动:健康检查、默认模型与模型端点连通性都要等进程起来才能读(地址在库里)${C_0}" fi # 数据边界:这台机器上「部署包带来的」与「本机业务跑出来的」各多少行。 # 直接读库而不是打 HTTP——装完还没 start 时也需要知道导入了什么,