restricted-corpus-acquisition 装配层

skill-restricted-corpus-acquisition · skill · A6q-知识库构建 · Layer 0

① 作用

受限/付费语料采集与私有化装配方法论。当任务涉及采集受版权/付费墙限制的书籍、论文、数据集语料,多来源解析与稳定下载,私有语料永不上传公开仓,声明式装配与 fail-closed 门控时使用。触发关键词:受限语料、私有语料、书籍采集、影子库、来源解析、manifest provenance、双仓隔离、git check-ignore、fail-closed

② 提供能力

暂无

③ 依赖(上游)

无内部依赖(或为叶子/外部)

④ 被依赖(下游)

无下游依赖

⑤ 为什么存在(why)

历史引入动机

源自 0910-软件工程架构方法论阶段 2 书籍语料采集实战(30 本 paid/user-copy 经典著作「零购买最大可得」私有语料落地,76 文件/309MB + 官方结构层 11 源 613 文件,全程零进入公开仓,cycle_20260911_se_arch_book_collection)。

当前需求驱动

需求驱动:受限语料的合规边界分层、有状态取用链的可靠性、来源可追溯、私有/公开隔离落机制层、装配默认拒绝(fail-closed)。

⑥ 怎么用(how)

触发方式

采集受版权/付费墙/机构库限制的语料(书籍/论文/数据集)、目标零购买最大可得、采集结果必须私有保存永不进入公开仓(含公开镜像/Pages)、需多来源解析/稳定下载/来源可追溯/多形态装配交付时加载。

工作流/用法

①来源分层与合规边界(合法免费/机构库/版权不明三层,仅落私有层);②来源解析(并行 search-worker,允许替代镜像,版次匹配或标 edition_mismatch);③直链由 Agent 下、登录/借阅/网盘转用户手动;④有状态取用链(Referer + session cookie + 退避重试 + 镜像轮换);⑤JS 风控壳改用 GitHub 镜像 + PDF /Title 校验;⑥manifest 逐文件固化 provenance(http_status/source_url/license/sha256 去重);⑦私有隔离落 git 层(双仓 .gitignore + git check-ignore 实测);⑧装配 fail-closed(publish-manifest + binary_allowlist 默认拒绝);⑨可机械派生;⑩主Agent 回盘复验(版次用内容特征判定)。

协作关系

依赖 search-worker/search-methodology(来源解析)、github-bulk-upload(公开侧上传与 Git Data API);关联 kb-construction(语料资产型);依赖 config-main。