Vinculum research questions, limitations and risks
状态：Research framing。 本文把 Vinculum 的 gap hypotheses 转为可证伪研究问题、评价维度与限制；它不是 novelty claim。Canonical system definition 见 architecture.md，effects 与 adaptation 细节见 effects-and-replay.md 和 adaptive-harness.md，当前实现边界见 pysolate-mapping.md。
1. 当前最困难的问题
1.1 非确定性不只来自程序
传统 record/replay 关注系统调用、调度、设备输入、时钟和 network bytes。Agent workload 还加入：
- 模型 sampling 与 silent model updates；
- tool catalog/policy 变化；
- prompt/memory/context compaction；
- human approval 和 out-of-band input；
- external service 与网页变化；
- 多 Agent / 用户共同修改环境。
仅冻结 Python RNG 无法得到 Agent replay。
1.2 “相同结果”的语义难以定义
- 文本不同但数据库最终状态相同，是否等价？
- 调用次数不同但满足预算和安全 policy，是否等价？
- 外部世界已经变化时，旧动作是否仍正确？
- 不可逆历史存在时，compensation 后算不算恢复？
因此必须从 byte equality 转向显式 state projection、task oracle、safety invariant 与 causal scope。
1.3 隐藏状态和未知副作用
外部系统可能存在：
- hidden queues / cron / webhooks；
- anti-fraud / rate-limit / user reputation；
- reads that mutate counters/session；
- eventual consistency；
- UI 与 authoritative state 脱节；
- undocumented API coupling。
黑盒观察无法证明完整 effect footprint。Unknown tier 的诚实上限就是 record/infer/document uncertainty。
1.4 并发与歧义完成
- timeout 后 provider 可能已 commit；
- concurrent actor 使 rollback 覆盖新状态；
- idempotency window 过期；
- webhook/readback 顺序不一致；
- distributed system 的“最后状态”本身不是单点事实。
这使 exactly-once 通常只能被限定为业务操作层面的 evidence-backed approximation，而不是传输层保证。
1.5 可审计性与隐私冲突
忠实 replay 可能需要 prompt、tool bodies、provider outputs、checkpoint bytes 和用户数据；审计最小化则希望只保留 digest/metadata。研究问题是：
对每一种 claim，最小充分证据是什么？
Digest 能证明 later-provided bytes 与 commitment 一致，却无法让 verifier 在没有原文时重建语义。
1.6 证据生产者本身是否可信
如果同一 Host 同时：
- 执行效果；
- 写 ledger；
- 持有签名 key；
- 运行 verifier；
那么 hash chain/signature 主要防 accidental corruption 和 outsider tampering，不能抵抗 Host 全面失陷。需要按风险选择：
- isolated signer；
- append-only external transparency service；
- cross-domain readback；
- remote attestation；
- independent final-state oracle。
即使如此也只增强特定 claim，不证明 Agent 决策正确。
1.7 高密度与强隔离的耦合
COW/prepared state 可以降低启动与 ready memory，但会引入：
- dirty-page amplification；
- allocator/runtime hidden state；
- shared-cache side channel；
- reset incompleteness；
- memory pressure 下 tail collapse；
- refill 与 active execution 竞争 CPU/I/O；
- timeout/trap 后 retirement storm。
研究应报告 latency-density Pareto frontier，而非单一 speedup。
1.8 环境与 benchmark 会腐化
WebArena/BrowserGym 等工作说明 web-agent evaluation 依赖可复现环境和统一 harness；真实网站、商业模型和 API 持续变化。Benchmark 分数可能混合：
- Agent 能力变化；
- 环境 drift；
- evaluator bug；
- task state contamination；
- provider/version update。
所以 benchmark run 也应携带 environment/evaluator evidence。
2. Research questions
RQ1 — Authority-preserving tool-call lowering
在什么 workload 和 model/tool cost 下，将多轮工具交互编译为 generated program 能降低模型往返与 orchestration overhead；又需要哪些 contract、grant、budget、effect 和 evidence invariants，才能保证 lowering 不改变 authority？
RQ2 — Minimum sufficient evidence
什么最小证据能把 outcome 绑定到 artifact、base state、code、authority、nondeterministic inputs、effects 与 final state，同时控制隐私和运行成本？
RQ3 — Typed replay semantics
针对 read-only、reversible、compensatable、irreversible 和 unknown effects，哪些 replay level 是可实现、可验证且对调试/恢复真正有用的？
RQ4 — Reset / retirement contract
高密度 prepared execution 中，哪些 state classes 可恢复，哪些必须隔离，哪些 failure 强制 retirement？
RQ5 — Adaptive environment qualification
如何从 recording 逐步构建 fixture/twin/adapter，并在不让推断自动获得 authority 的前提下量化 confidence、coverage 与 drift？
RQ6 — Cost of guarantees
artifact reproducibility、input capture、effect ledger、independent oracle、attestation 与 replay 各带来多少 latency、memory、throughput、storage 和 privacy 成本？
RQ7 — Evidence under partial trust
当 Runtime、Host、provider、store 和 verifier 只部分可信时，怎样组合证据才能定位哪个 claim 仍成立？
3. 从 Pysolate foundation 到 Vinculum
3.1 From execution receipts to claim-scoped evidence
当前 Pysolate 的 execution identity/receipt 是基础；Vinculum 还需要：
- claim manifest；
- artifact/base/authority/effect/outcome 的统一 graph；
- unresolved uncertainty；
- verifier status；
- replay qualification identity。
3.2 From structural playback to Qualified Replay
需要：
- captured nondeterministic inputs 或 blob refs；
- Harness-owned checkpoint；
- dependency graph；
- side-effect-free stubs/twins；
- state/outcome oracle；
- old-version replayer。
3.3 From separate paths to One Effect Plane
Direct tool 和 Python wrapper 应共用 registry、policy、journal、budget、adapter、receipt 与 reconciliation。
3.4 From static fixtures to Environment Crystallization
把 external system 固定化的过程本身做成可审计 state machine，而不是靠手工 fixture 与隐式假设。
3.5 From isolated speedups to the guarantee–cost frontier
同一 workload 比较：
- fresh / prepared / COW；
- evidence level；
- replay level；
- effect tier；
- failure/drift；
- task success / final-state correctness；
- ready/active/burst/dirty/refill。
4. 评价设计
4.1 Workload classes
- deterministic local computation；
- Host-mediated read tools；
- controlled internal reversible effects；
- known provider with idempotency + ambiguous failures；
- unknown dynamic webpage, record-only；
- multi-step Agent task with model/tool version substitution；
- concurrency and cancellation failure injection。
4.2 Primary metrics
- task completion and final-state correctness；
- authority containment；
- effect classification correctness；
- ambiguous outcome handling；
- replay fidelity relative to claimed level；
- evidence completeness and independent verifiability；
- drift detection / false promotion / quarantine correctness。
4.3 Efficiency metrics
- admission/start/queue/execute/reset/refill；
- ready and active memory；
- dirty rate；
- burst saturation and stable capacity；
- evidence bytes and retention；
- oracle/reconciliation overhead；
- harmless extra tool calls 单列 trace efficiency，不直接判任务失败。
5. Limitations
5.1 不可能完整控制真实世界
未知外部系统无法仅靠 recorder 变成完全可重放环境。物理世界、人类、商业 API 和 hidden state 保留不可消除的不确定性。
5.2 Semantic oracle 可能不完整
如果 oracle 只检查表面状态，系统可“通过测试但做错事”。Oracle 本身需要版本、provenance、负例和独立审查。
5.3 证据不等于因果证明
Event parentage 与时间顺序可帮助分析，但不能自动证明某 observation 导致某 action。Counterfactual replay 也依赖模型化假设。
5.4 Attestation 与 reproducibility 的边界
它们能加强 artifact/loader identity，但不能证明 source 无恶意、runtime 无 bug、policy 正确或外部效果完成。
5.5 高密度机制依赖平台
Linux COW、memory mapping、runtime internals 和 page behaviour 可能不可移植。Portable baseline 与 optimized path 必须独立声明。
5.6 历史可重放需要长期兼容成本
保留旧 artifact、adapter、fixture、schema、key material 和 replayer 会形成 storage/security/maintenance burden。
5.7 观察改变系统
Probe、readback 和 canary 可能触发 rate limit、audit log、cache 或风控；“只读”不是天然无副作用。
6. Risks 与缓解
| Risk | 后果 | 缓解 |
|---|---|---|
| evidence theatre | 有大量日志但 claim 不可验证 | claim manifest + independent verifier + non-claims |
| over-recording | 泄漏 prompt/PII/secret | metadata-first、raw 隔离、retention、redaction gate |
| silent adapter drift | 错误写入或 replay divergence | digest/version pin、canary、quarantine、requalification |
| blind retry | 重复扣款/消息/删除 | intent journal、idempotency、readback、ambiguous state |
| false rollback claim | 覆盖并发新状态 | version guard；compensation 不称 rollback |
| inferred authority | 学习系统扩大权限 | promotion gate；Host-only policy/credentials |
| verifier monoculture | 同一 bug 同时影响 producer/verifier | independent implementation/oracle、differential checks |
| density benchmark gaming | slot count 高但任务失败 | workload success + stable capacity + failure recovery |
| replay of harmful action | 调试重复真实效果 | default stub/twin；live write replay 禁止 |
| stale historical evidence | 老证据被新 verifier 误读 | schema/cohort binding、old-history corpus、expiry |
7. Claims and non-claims
Vinculum 当前研究命题是：
Vinculum studies how a Harness and Runtime can co-design programmatic agent execution around explicit authority, economical isolation, accountable effects, claim-scoped evidence, and qualified replay.
它不声称：
- 该抽象在学界完全不存在；
- 当前 Pysolate 已实现 semantic/counterfactual replay；
- 所有外部系统都可被自动固定化；
- COW 同时解决隔离、确定性和副作用；
- 一个 Evidence Bundle 可以证明 Agent 的意图或道德正确性。
Novelty claim 只有在 references.md 所述 comparison dimensions 完成 representative literature coverage 后才成立。