关于分部署部署提升单个文件处理速度问题

[star20245]

首先 我申明一下 源码看的不深如果有错误请指出
我想把现在按照文件维度得切分，改造成按照页维度得，多个节点处理页数据，最总在做一个节点用于做统一得数据合并。
我现在得疑问两个点：vlm模型在执行时会有上一页下一页得上下文感知解析嘛，因为按照页维度改造可能会带来这个影响。
第二点：后续miner 得整个架构是否会考虑往页维度这边迁移。也就是router做页得任务切分，work节点处理数据，合并节点汇总合并。

[dosubot[bot]]

你好！关于你的两个问题，我根据源码研究做了一些总结：

1. VLM 模型是否有跨页上下文感知？

没有。VLM 推理时每一页都是独立处理的，不会引用上一页或下一页的内容 [1]。跨页智能仅在后处理阶段体现，例如 cross_page_table_merge() 会识别并合并跨连续页的表格 [2]。所以如果你按页维度拆分到不同节点处理，VLM 推理本身不会受影响，但需要注意后处理的跨页合并逻辑（如跨页表格）需要在合并节点重新执行。

2. 当前架构及是否会迁移到页维度？

当前分布式架构（v3.0+）是 文件级别任务分发：

• Router 将整个 PDF 文件请求路由到某个 Worker [3]
• Worker 内部通过 processing window（默认64页）分批处理页面，但这是内存优化手段，不是跨节点的页级并行 [4]
• 多 GPU 利用需要客户端并发提交多个文件请求 [5]

目前没有发现官方关于迁移到页级分布式处理的公开讨论或计划。

你想做的改造（页级拆分 → 多 Worker 处理 → 合并节点）是可行的，因为 VLM 推理本身不依赖跨页上下文。需要注意的点：

• 跨页表格合并等后处理逻辑需要在合并节点统一执行
• 底层 C/C++ 库（PyPDFium2、CUDA 资源）不是线程安全的，需要进程级隔离 [6]
• 页面处理结果的序列化和合并需要自行实现

希望对你有帮助！如果需要更深入了解某个模块的实现细节，可以继续追问。

To reply, just mention @dosu.

---

Share context across your team and agents. Try Dosu.