lujingze
b6c22a54f8
- 按文件哈希区分当前八路工程和历史 Amesim 基准，修复测试与清单中的旧路径。 - 四路审计从 JSON 按需生成 XML，八路新增只核对模式，并显式使用 UTF-8 与 LF。 - 将缺失高刚度夹具的测试替换为当前八路完整 BDF 运行，明确未恢复原 RK45 专项覆盖。 - 更新前端大型工程测试、历史活动回放入口、数据说明、现行规范和相关报告。 验证：全量后台 374 项通过、1 项条件跳过；前端 11 项通过、历史独立服务用例 1 项跳过；四路八路 AME 审计通过。 环境、缓存和运行产物保持忽略；本次未实施工程 JSON 字段精简。
111 lines
14 KiB
Markdown
111 lines
14 KiB
Markdown
# C 数值后端
|
||
|
||
后端 Python 校验 XML、检查连接、生成系统专用 C 并编译；独立 EXE 执行完整数值循环。原生运行不调用 Python。当前构建支持 Windows x64 和 Linux x86_64；Linux 使用静态链接的 SUNDIALS。
|
||
|
||
平台相关修改遵循 [Windows 与 Linux 交付约定](../docs/standard/跨平台交付约定.md)。缓存时间戳更新按 `os.supports_follow_symlinks` 检测运行平台能力，Windows 不支持该可选操作时对已校验的普通缓存目录使用常规 `utime`。缓存集成回归可在两平台使用真实工具链执行：`python -m unittest tests.test_native_cache_storage tests.test_native_cache_platform -v`；设置 `SIMULATION_NATIVE_REQUIRE_TOOLCHAIN=1` 时工具链缺失将失败而不会跳过。
|
||
|
||
## 启用网页后端
|
||
|
||
当前默认使用 `native`。也可在启动后端的 PowerShell 中显式设置：
|
||
|
||
```powershell
|
||
$env:SIMULATION_NUMERIC_ENGINE = 'native'
|
||
$env:SIMULATION_NATIVE_CC = 'F:/Projects/mingw64/bin/gcc.exe'
|
||
$env:SUNDIALS_ROOT = 'F:/Anaconda/Library'
|
||
.venv-win/Scripts/python.exe -m uvicorn app.main:app --host 127.0.0.1 --port 8000
|
||
```
|
||
|
||
Linux 使用现有 Python 虚拟环境，并将 C 依赖独立放在 `.venv/native/`：
|
||
|
||
```bash
|
||
bash bat/setup-native-linux.sh
|
||
.venv/bin/python -m uvicorn app.main:app --host 127.0.0.1 --port 8000
|
||
```
|
||
|
||
脚本下载并校验固定版本 SUNDIALS 7.4.0，在本地构建静态库；不会安装系统包。构建器先读取 `SUNDIALS_ROOT`，未指定时查找当前 Python 环境的 `native/sundials-7.4.0`、`/usr/local` 和 `/usr`。Linux 安装需包含静态 `.a` 库；生成的 ELF 程序名为 `model`，不依赖 SUNDIALS 共享库或 Python。`.venv/`、`app/data/` 和 `test/` 均在 Git 忽略范围。
|
||
|
||
沿用 `/api/system-xml/simulate` 与 `/api/system-xml/simulate-stream`。`native` 遇到不支持的组件或方法时报告错误，不静默切换。旧 Python 后端已退役，显式选择 `python` 会报错。
|
||
|
||
`bat/start-backend.bat`、`bat/start-backend.sh` 及其 `start-all` 上层入口默认设置 `native`，保留明确指定的环境变量覆盖。直接通过 uvicorn 启动也使用相同的默认选择。启动日志显示所选内核；C 模式只检查工具链与 XML Schema，不再预热 SciPy 积分/代数求解器。工具链检查失败会记录启动诊断，编辑器仍可使用，提交仿真时会明确报错，不会自动调用 Python 数值后端。
|
||
|
||
通用诊断包含 `stateCount`、`sampleCount`。`pressureFlow`、`stream` 属于 Python 后端的可选诊断；C 后端不报告未计算的方程残差，网页仅在该值存在时显示它。
|
||
|
||
原生运行库已在本机 GCC 8.1 / SUNDIALS 7.4.0 验证。构建需要对应 C 头文件、导入库和 DLL，单纯安装 Python 包不能代替这些文件。构建器根据环境变量或当前 Python 基础环境查找 SUNDIALS，根据环境变量或 PATH 查找 GCC。
|
||
|
||
## 独立生成与运行
|
||
|
||
```powershell
|
||
.venv-win/Scripts/python.exe -m app.simulation.native_codegen tests/fixtures/native-skill-test.xml --output-dir test/native-v1/example-run --runs 3 --solve-only
|
||
```
|
||
|
||
输入支持 XML，或带普通算术表达式的工程 JSON。JSON 普通数字已经是 SI 值；算术表达式按编辑器所选单位换算，例如 `3.14*10**2/4 mm2` 转为 `0.0000785 m2`。较复杂的表达式应先在网页导出 XML。CLI 不执行任意 Python/JavaScript 表达式。
|
||
|
||
输出目录包含 `input.xml`、`model-manifest.json`、`program/`、预热和各次运行结果，以及 `summary.json`。`program/` 包含 EXE、生成的模型 C/头文件、SUNDIALS DLL 和依赖声明，可以复制整目录独立运行：
|
||
|
||
```powershell
|
||
test/native-v1/example-run/program/model.exe --method RK45 --start 0 --stop 10 --sample-step 0.02 --max-step 0.001 --rtol 1e-6 --output test/native-v1/standalone-result.json
|
||
```
|
||
|
||
EXE 不需要 Python、SciPy、XML 或原工程文件。DLL 需要与 EXE 一同保留。默认运行设置是 RK45、0–10 s、最大步长 0.001 s；按需要传入运行选项。
|
||
|
||
`--solve-only` 关闭轨迹采样，只输出最终状态与诊断。`solveSeconds` 是程序内部数值求解墙钟时间，包含求解必需的 RHS 和事件定位，排除模型初始化、结果投影和文件写入；`processWallSeconds` 另含进程启动与结果处理。预热一次后报告三次求解的中位数。
|
||
|
||
## 雅可比分组差分与诊断
|
||
|
||
BDF 默认使用结构着色差分，无需环境变量或网页选项。修正八路的 132 个状态合并为 27 个扰动组，每次另算 1 次专用基准 RHS，共 28 次系统求值。普通积分 RHS、`rtol=1e-8` 和 Dense LU 沿用当前设置。用户已接受报告中的数值差异，正式网页与独立 C 程序采用同一默认策略。
|
||
|
||
旧 `SIMULATION_NATIVE_JACOBIAN` 选择器和 `--jacobian dense|auto|verify` 入口已删除。独立 C 程序仅保留无参数诊断标志 `--verify-jacobian`，它会逐次核对完整 canonical 雅可比矩阵，增加计算量，不用于速度测量。RK45 不构造雅可比。
|
||
|
||
无法证明结构、没有分组收益的模型继续使用必要的逐列差分；分组扰动失败时也保留 canonical 逐列恢复。这些是当前算法的兼容与恢复路径。当前启用及网页验证见 [正式启用报告](../docs/other/雅可比算法正式启用与网页验收-2026-09-11.md)，机制、历史性能与误差见 [试验报告](../docs/other/雅可比结构着色试验与八路验证-2026-09-11.md)。
|
||
|
||
## 能力与限制
|
||
|
||
- 已实现当前注册的 27 类组件：22 类 Amesim 公开组件（含空气、氦气两种介质定义）和 5 类实验组件。完整清单及验证说明见 [组件覆盖记录](../docs/other/C内核组件库覆盖记录.md)。介质定义在编译期选择对应的 C 物性函数。
|
||
- 管路覆盖 PNL00R、PNL0001/2/3；阀覆盖 PNOR001、固定/信号开度 PNVO001 及面积/Cv/Kv 模式；连接件覆盖 PN3NODE2、P4NODE2、LMECHN1。支持串联阻力的压力求解、节点焓混合及温度参考、刚性质量合并、兼容管路容腔的等密度状态投影。
|
||
- MECMAS21 支持现有 Python 方程中的摩擦、风阻、柔性限位和 `stoptype=1/2/3/4`，含反弹系数与速度阈值；气腔和管路支持换热。LSTP00A 接受两种刚度模式及接触力符号模式，严格沿用当前组件方程。已有参数中尚未参与 Python 方程的物理效应不会在 C 端凭空补造，详见覆盖记录。
|
||
- 扩展编译器上限 1024 状态、16384 输出；无连续状态的信号系统使用隐藏常量状态驱动输出。气动网络必须有压力状态锚点；独立气腔之间不能无阻力直接相连。兼容固定管路容腔是已实现的合并例外。闭合未收敛或方程欠定时明确失败，不静默回退。
|
||
- 支持原生 RK45 与 CVODE BDF。CVODE 默认按可证明的结构启用着色差分，使用稠密线性求解；不支持分组的模型自动保留逐列差分。
|
||
- 网页和 Python CLI 默认 `rtol=1e-8`；生成的状态绝对误差限为质量 `1e-14 kg`、内能 `1e-8 J`、速度/位移 `1e-12`（各自 SI 单位）。独立 C 程序默认 `rtol=1e-6`，对照时应显式传入。CLI 可覆盖 rtol；本版不支持自定义 atol 或 first_step。不同积分器相同局部容差不保证全局曲线误差完全相同。
|
||
- 时间信号显式分段，塑性/反弹端挡用稠密插值定位并重启。试探 RHS 不修改已接受状态。柔性接触沿用现有分段力公式，不改变刚度或阻尼来提速。
|
||
- 每任务独立进程，支持进度、取消及超时。进程崩溃不会作为成功返回，受控失败保留最后接受状态。
|
||
- 编译缓存位于 `app/data/native-builds/`：`models/<SHA>/` 保存完整模型，`objects/<SHA>/` 保存可跨模型复用的模块目标文件。按当前模型使用的元件函数及其依赖选择模块，最多并行编译 4 个缺失单元。预处理后的实际 C 内容、工具链和编译选项组成对象键；完整模型键另含生成源码、组件合同及链接依赖。模型数值参数仍特化入 C，但仅重编受到影响的单元；时间、步长、rtol、采样选项仍是运行参数。
|
||
- 完整模型默认预算 256 MiB、对象预算 128 MiB，可分别设置非负整数环境变量 `SIMULATION_NATIVE_MODEL_CACHE_MB`、`SIMULATION_NATIVE_OBJECT_CACHE_MB`。按目录最近使用时间执行 LRU；活跃构建/运行及最后一个单独超额的条目保留并报告超额，因此是安全软上限。预算计算受管理文件的逻辑字节，不含旧版根级缓存、锁及文件系统元数据。
|
||
- 缓存读写带跨进程使用锁，命中时核验工件和身份，损坏缓存明确失败。对象复制到构建私有目录后再链接；模型使用锁一直保留到进程退出和结果读回。失败正常清理临时文件；进程被杀遗留的新格式构建目录在下一次清理时按锁状态回收。旧格式缓存保留，不自动迁移或删除，避免影响旧服务。
|
||
- Python 调用者若长期保留 `NativeBuild`，需在最后一次执行/打包后调用 `build.close()` 释放使用保护并触发清理；网页 runner 自动处理。返回的 `buildDetails` 区分完整命中、目标文件命中/编译次数、预处理、并行编译墙钟、编译任务耗时之和、链接和容量清理结果。
|
||
|
||
## 代码职责
|
||
|
||
- `app/simulation/native_codegen/input.py`：CLI 输入适配。
|
||
- `contracts.py`：逐组件 C 实现版本白名单，新增模型或版本不会自动视为已支持。
|
||
- `compiler.py` / `extended.py`：能力检查、状态/输出布局、连接分组、常系数约束消元、C 生成。保留已验证的简单拓扑快速生成路径，两条路径均只运行 C 数值代码。
|
||
- `build.py` / `modules.py` / `cache_storage.py`：按需模块、两层编译缓存、完整性校验与有界 LRU；`runner.py`：隔离执行、使用保护与结果适配。
|
||
- `native/components/modules/`：物性、孔口、管路、机械和信号模块。`kernels.c` 仅供诊断的聚合入口，生产构建不再将聚合入口与模块重复编译。
|
||
- `native/runtime/`：RK45、CVODE 适配、事件定位、采样与 CLI。
|
||
- `app/simulation/backends.py` / `results.py`：共用执行入口与结果合同。
|
||
|
||
执行 `.venv-win/Scripts/python.exe -m unittest tests.test_native_catalog tests.test_native_codegen tests.test_simulation_warmup` 可验证全部注册合同、空气/氦气正反向流、换热/摩擦、节点和串联闭合、刚性与管路状态合并、反弹事件、纯信号系统、缓存、独立 EXE、取消及默认 C 的 XML 接口。新增组件库对照测试需要可用的 C 工具链。
|
||
|
||
## Python 保留范围
|
||
|
||
- `app/main.py`、`system_xml.py`：HTTP、XML 校验与结果返回。
|
||
- `registry.py`、`core/`、`components/`、`systems/network.py`：参数、端口、介质常量、输出与方程结构声明；不执行模型数值公式。
|
||
- `native_codegen/`：生成系统 C、构建缓存、管理独立进程。
|
||
- `config.py`、`sampling.py`、`results.py`：配置、进度、采样合法性和结果合同。
|
||
- `performance.py`：Python 编排阶段计时，求解耗时读取 C 报告。
|
||
|
||
`solvers/`、`systems/generic.py`、旧示例、Python 物性/流量/机械公式和物性缓存已删除。数值回归读取 `tests/baselines/native/native-python-reference.json` 的 50 个网络、112 组冻结参考状态，不需要 Python 求解器。旧算法及历史对照资料可从 Git 历史找回。
|
||
|
||
测试安装：`python -m pip install -r requirements-test.txt`。完整数值测试需要 GCC 与 SUNDIALS；Windows x64 使用导入库/DLL，Linux x86_64 使用静态库。
|
||
|
||
## AME 对齐后的工程输入
|
||
|
||
当前用户运行请使用 `tests/data/test-mql-4-corrected.json` 或 `tests/data/test-mql-8-corrected.json`。执行 XML 从当前 JSON 按需生成；原独立四路 XML 和 legacy 八路夹具已删除。历史八路 JSON/XML 在 `tests/baselines/simulation/test_mql_8/sources/`，其 AME 在 `tests/data/AmesimModels/test_mql.ame`，仅用于冻结基准核对，不能与当前 corrected 输入混用。路径、生成方式和测试入口见 [测试文件说明](../tests/data/README.md)。`test-mql-4-amesim-reference.json` 是曲线基准，不是工程输入。模型复核、P4 端口图形修正、默认 `rtol=1e-8` 的验收和速度记录见 [本轮验证报告](../docs/other/牛顿管流求根与四路网页验证-2026-09-11.md)。
|
||
|
||
后续优化和网页计时默认使用修正后的八路工程；仅当八路无法运行且短期不能解决时退回四路。选择规则见 [优化验证约定](../docs/standard/optimization-benchmark-model.md)，当前效率、迭代触顶与网页分阶段记录见 [八路评估报告](../docs/other/八路模型计算效率与网页阶段计时-2026-09-11.md)。
|
||
|
||
## 结果传输与网页后处理
|
||
|
||
网页流式请求使用 C 的可选 `--result-index` 字节索引，Python 只解析小元数据，将原有 JSON 的 `series` 原样放入 NDJSON 结果事件；任务结果查询同样支持原样返回。独立 CLI 与默认同步调用仍返回普通 JSON/结果对象，JSON结构、积分和采样保持一致。前端结果保存改为打包 Float64 块的原子事务，CSV 由工作线程本地生成，兼容旧缓存及旧 HTTP CSV 接口。完整结果、取消与刷新回归及八路前后计时见 [结果处理优化报告](../docs/other/八路结果处理与网页保存优化-2026-09-11.md)。
|
||
|
||
C结果的 `series/final/finalState` 现使用固定版本Ryu binary64编码及64 KiB批量写出；在精确回读前提下选择更短的普通/科学token，负零保留为 `-0.0`，非有限值或写出失败阻止索引发布。数字文本允许变化，索引元数据保持整数。嵌套Ryu头文件参与缓存哈希；源码和Boost许可随项目保留。本轮研究、逐位验证和八路网页前后计时见 [C结果编码优化报告](../docs/other/C端结果编码与写出优化-2026-09-11.md)。
|