受限/付费语料采集与私有化装配方法论。当任务涉及采集受版权/付费墙限制的书籍、论文、数据集语料,多来源解析与稳定下载,私有语料永不上传公开仓,声明式装配与 fail-closed 门控时使用。触发关键词:受限语料、私有语料、书籍采集、影子库、来源解析、manifest provenance、双仓隔离、git check-ignore、fail-closed
暂无
无内部依赖(或为叶子/外部)
无下游依赖
源自 0910-软件工程架构方法论阶段 2 书籍语料采集实战(30 本 paid/user-copy 经典著作「零购买最大可得」私有语料落地,76 文件/309MB + 官方结构层 11 源 613 文件,全程零进入公开仓,cycle_20260911_se_arch_book_collection)。
需求驱动:受限语料的合规边界分层、有状态取用链的可靠性、来源可追溯、私有/公开隔离落机制层、装配默认拒绝(fail-closed)。
采集受版权/付费墙/机构库限制的语料(书籍/论文/数据集)、目标零购买最大可得、采集结果必须私有保存永不进入公开仓(含公开镜像/Pages)、需多来源解析/稳定下载/来源可追溯/多形态装配交付时加载。
①来源分层与合规边界(合法免费/机构库/版权不明三层,仅落私有层);②来源解析(并行 search-worker,允许替代镜像,版次匹配或标 edition_mismatch);③直链由 Agent 下、登录/借阅/网盘转用户手动;④有状态取用链(Referer + session cookie + 退避重试 + 镜像轮换);⑤JS 风控壳改用 GitHub 镜像 + PDF /Title 校验;⑥manifest 逐文件固化 provenance(http_status/source_url/license/sha256 去重);⑦私有隔离落 git 层(双仓 .gitignore + git check-ignore 实测);⑧装配 fail-closed(publish-manifest + binary_allowlist 默认拒绝);⑨可机械派生;⑩主Agent 回盘复验(版次用内容特征判定)。
依赖 search-worker/search-methodology(来源解析)、github-bulk-upload(公开侧上传与 Git Data API);关联 kb-construction(语料资产型);依赖 config-main。