交易所域名分流规则自动化:Mac + Android 抓包,Surge 按交易所分流

交易所域名分流规则自动化:Mac + Android 抓包,Surge 按交易所分流

第1章 引言:从手动维护到可信自动化的范式转变

对于长期依赖代理工具进行网络分流的使用者而言,维护一份准确、可用的交易所域名规则库,往往是一项隐性的沉重负担。表面上看,这似乎只是往规则文件里添加几行 DOMAIN-SUFFIX 的简单操作;但在实际使用中,Bybit、Binance、OKX 等头部交易所的 App 并非静态的客户端,其背后是一套持续演进的分布式服务架构。App 版本的频繁迭代、多活架构下的 CDN 节点轮换、API 网关的弹性扩容,以及为了应对网络审查或优化访问速度而进行的域名切换,都使得手工维护的分流规则很快陷入滞后。维护者常常在遇到访问异常时,才临时抓包、手动比对、再逐条添加规则,整个过程不仅效率低下,而且高度依赖个人经验。更严重的是,手工操作容易在匆忙中引入错误:要么遗漏了关键的交易或行情域名,导致应用部分功能走错线路;要么误将通用公共基础设施域名纳入交易所专属规则,造成分流策略的交叉污染与不可预期的网络行为。

这种困境促使我们重新思考规则库的建设方式。如果完全依赖人工,那么规则更新速度永远追不上基础设施的变动速度;但如果走向另一个极端,即让脚本自动抓取域名并直接发布,又会引入新的风险。自动化采集工具可以高效地发现大量域名,然而它无法理解这些域名背后的业务语义与信任边界。一个域名出现在交易所 App 的流量中,并不意味着它属于交易所的专属资产;它可能只是某个通用云服务商的节点、一个公共 CDN 的边缘缓存,或是系统级的证书校验与更新服务。若将这些公共基础设施域名不加甄别地纳入交易所专属分流规则,不仅会导致规则库迅速膨胀、管理混乱,更可能在代理策略切换时,让本应直连的基础设施流量被迫绕行,或者反过来让交易所流量意外泄漏到不安全的网络路径中。因此,我们必须确立一条不可妥协的安全原则:自动化采集仅作为“发现线索”,而非“信任依据”。任何公共基础设施域名,无论是通用 CDN、DNS 解析服务、证书颁发机构验证端点,还是云服务商的基础节点,都必须被严格隔离,绝不纳入任何交易所的专属分流规则。

在这一原则下,一套以“机器发现、人工裁决、自动发布”为核心的可信自动化闭环逐渐成型。整个体系的物理载体与调度中心是一台常驻低功耗运行的 Mac mini M4,它负责协调移动端的流量采集、运行本地的域名提取与数据库服务,并作为对照分析的脱敏 HAR 与 Surge 请求日志的汇聚点。在移动端,Android 设备通过 PCAPdroid 应用在无 Root 权限下实施精准抓包,按 App 过滤目标交易所的流量,覆盖冷启动、登录、行情、交易、资产管理等关键场景,并完整记录 DNS 查询、TLS SNI、Host 与 URL 信息。采集所得的 PCAP 文件与导出的结构化数据,随后由基于 Python 标准库编写的提取脚本进行归一化处理,从 URL、端口、末尾点等噪声中还原出纯净的候选域名列表,写入本地数据库。这些候选条目只是待审清单,脚本本身不具备任何批准权限;只有经过维护者结合来源、抓包场景与业务语义逐条裁定后,被写入批准清单的域名,才会进入规则生成环节。

最终,这些经过人工批准的域名通过 CNB Mononoke 仓库的自动化流水线生成独立的规则文件,并由 Surge 通过远程规则集为 Bybit、Binance、OKX 分别配置独立的分流策略组。这种设计既利用了自动化在数据采集与格式生成上的高效率,又通过人工审批环节守住了安全底线。它标志着域名规则维护从过去零散、被动、高错误率的人肉操作,转向了一套边界清晰、全程可追溯、且对公共基础设施始终保持警惕的工程化范式。

第2章 采集层:Mac mini M4 与 PCAPdroid 的流量捕获体系

在整套自动化体系中,采集层是一切规则的源头,它的稳定性直接决定了后续提取、审批与发布的效率。如果源头数据本身混乱、缺失或被无关流量污染,那么再完善的规则库也只是在放大错误。因此,这一层的设计目标非常朴素:在尽量不干扰日常使用、不触碰交易安全的前提下,持续、可控、可复现地获取交易所 App 真实访问过的域名线索。

选择 Mac mini M4 作为常驻采集中心,首先是出于功耗与体积的考量。相比传统服务器或高性能台式机,Mac mini 在长期开机运行时的电力消耗极低,可以安静地放在家庭网络的一角,承担抓包解析、脚本执行、本地数据库存放等基础工作。它不需要像专业采集设备那样部署在机房,却足以处理单个家庭网络环境下产生的 PCAP、HAR 与日志文件。其次,Mac 端的网络环境相对稳定,具备以太网与 Wi-Fi 双通道,可以确保在不同网络切换时仍能维持一致的采集策略。更重要的是,Mac mini 可以同时运行多个轻量服务:既作为 PCAP 文件的落地与分析节点,也作为 Chrome DevTools 导出脱敏 HAR 的对照来源,还承载着后续 Python 提取脚本与 CSV 数据库的本地存储。这种“一台设备、多重角色”的紧凑架构,避免了把采集与分析分散到不同机器上导致的同步成本。

在 Mac 端,除了作为文件汇聚点,还承担着另一条重要的采集支线。当需要从 Web 侧补充交易所域名线索时,可以通过 Chrome DevTools 的 Network 面板导出 HAR 文件。由于 HAR 中可能包含 Cookie、Token 等敏感信息,导出后必须经过脱敏处理,只保留域名、路径与资源类型等字段,供后续脚本提取。与此同时,Surge 的请求日志也是重要的对照来源。Surge 日志记录了经过代理的请求,可以帮助区分哪些域名已经命中现有规则,哪些是尚未收录的新域名。这两类数据与 Android 端抓取的 PCAP 形成三角验证关系:PCAP 提供 App 侧最原始的 DNS 与 TLS 握手记录,HAR 提供 Web 侧资源加载视角,Surge 日志则提供代理环境下的实际路由表现。三者相互补充,才能拼出一个交易所相对完整的域名访问图景。

Android 端的采集核心是 PCAPdroid。这款应用基于系统 VPNService 实现本地抓包,无需 Root 权限即可工作,这大大降低了使用门槛与设备安全风险。其原理是建立一个仅在本机生效的虚拟网卡,将流量镜像到抓包引擎,再按照配置的规则进行过滤与记录。针对 Bybit、Binance、OKX 三家交易所,可以分别为其 App 配置独立的抓包任务,确保采集到的流量只与目标应用相关,避免系统后台更新或其他 App 的干扰。在抓包过程中,重点记录四类信息:DNS 查询响应中的域名、TLS 握手阶段的 SNI(Server Name Indication)、HTTP 请求头中的 Host 字段,以及完整 URL。这些字段是后续域名提取脚本的主要输入,其中 DNS 与 SNI 尤其关键,因为即使请求经过加密,域名信息仍会在明文阶段暴露,足以支撑分流决策,无需解密应用层内容。

为了让采集数据具备可复现性,PCAPdroid 的导出必须按场景分文件管理。不能一次性抓取数小时混合流量后统一处理,而应在明确的操作节点上导出独立文件。推荐的场景划分包括:冷启动、登录、首页加载、行情页、现货交易、合约交易、资产管理、订单历史查询,以及 App 重启。冷启动阶段通常包含最多的初始化域名,如 API 网关、配置中心、证书校验与 CDN 节点;登录与交易场景则涉及 API 接口、风控与验证码域名;行情与订单历史则可能触发 WebSocket 或独立的行情推送域名。通过场景化切分,后续的人工审批可以结合具体业务语境判断域名的归属,例如某个域名只在“合约交易”场景中出现,那么它更可能是合约 API 或行情推送节点,而非公共静态资源。这种细粒度的场景标签,是后续安全层中“公共基础设施隔离”的重要依据。

在采集过程中,必须严守两条边界。第一条边界是绝不做 TLS 解密。分流规则的本质是域名级别的路由决策,只需要知道流量去往哪个域名,完全不需要读取请求与响应的具体内容。如果为了“更准确”而配置中间人证书解密 HTTPS 流量,不仅会引入巨大的安全与隐私风险,还可能在处理真实交易请求时触及敏感凭证,这与整个体系的安全底线背道而驰。PCAPdroid 的默认配置已经足够提取所需字段,任何额外的解密插件都不应启用。第二条边界是采集阶段绝不做真实交易。抓包环境本身应尽量干净,不应在采集过程中执行资产划转、下单成交等不可逆操作。采集的目的是获取域名清单,而不是验证交易功能。如果必须覆盖某些交易场景,可以使用最小额度、测试网络或模拟盘环境,确保即使数据泄露也不会造成实际资产损失。

此外,PCAPdroid 与代理类应用之间存在天然冲突。由于 PCAPdroid 依赖 VPNService 接管流量,而 Surge、Shadowrocket 等代理工具同样需要 VPN 通道,两者无法同时运行。这意味着采集阶段与代理验证阶段在时间上必须严格分离。日常使用时,代理处于接管状态,保障网络访问;当需要进行系统性采集时,关闭代理,启用 PCAPdroid,完成特定场景的抓包并导出 PCAP;随后再次切换回代理环境,通过 Surge 日志验证新规则的实际效果。这种交替模式虽然牺牲了一定的实时性,却从根本上避免了流量路径混乱导致的数据污染。采集阶段追求的是原始与完整,代理阶段追求的是验证与反馈,两者各司其职,互不越界。

通过 Mac mini M4 的本地汇聚与 PCAPdroid 的场景化抓包,采集层构建了一个低功耗、低风险、高可复现的域名发现管道。它不试图自动判断域名的归属与信任级别,只负责把散落在 DNS、TLS 与 HTTP 头部的线索完整、干净地交给下一层。这正是整个自动化体系的第一道安全闸门:源头可控,后续才可谈可信。

第3章 提取层:tshark 导出与 Python 标准库域名提取

采集工作结束后,Mac mini M4 的本地目录里堆满了来自 Android 端 PCAPdroid 的 PCAP 文件,以及 Mac 端 Chrome DevTools 导出的脱敏 HAR 和 Surge 请求日志。这些原始材料彼此独立、格式各异,直接阅读既低效又容易遗漏,因此需要一个确定性的提取层,把异构证据转换成结构化、可检索、可追溯的候选域名清单。提取层的任务不是判断域名归属,而是忠实记录“我们在什么场景下见过什么域名”,并把这份记录完整地交给后续的人工批准流程。

在 PCAP 一侧,提取通过 tshark 完成。由于分流规则只需要域名层信息,不需要解读 TLS 明文内容,因此不必进行 TLS 解密,只需从握手与明文请求中提取三个关键字段:dns.qry.name 用于捕获传统 DNS 查询中出现的域名,tls.handshake.extensions_server_name 用于捕获 TLS 客户端问候中的 SNI,http.host 用于捕获明文 HTTP 请求头中的主机名。这三个字段分别对应 DNS 解析、TLS 建连与 HTTP 请求三个不同阶段,相互补充,能够覆盖交易所 App 在多数网络行为中的域名暴露面。tshark 会按场景分文件批处理,为每个 PCAP 生成对应的中间 CSV,保留时间戳、来源、目标地址、场景标签等上下文,避免域名脱离抓包环境后变成无法解释的孤证。导出的 CSV 不直接作为规则来源,而是作为候选证据进入统一的提取脚本。

Mac 端的 HAR 与 Surge 日志则构成对照来源。HAR 文件来自 Chrome DevTools,记录了 Web 端访问交易所时发起的完整请求,Surge 日志则反映了代理环境下实际经过规则系统的请求序列。它们与 Android 端抓包结果相互独立,可以交叉验证同一域名是否在移动端与桌面端、在直连与代理两种路径下稳定出现。这种多来源对照并非为了增加自动化程度,而是为了在人工审批时提供更充分的语境:一个只在 PCAP 中出现、却没有 Web 端或代理日志印证的域名,和一个在三种来源中反复出现的域名,其审批权重显然不同。所有这些材料都按交易所分目录存放于 captures/<交易所>/ 之下,由同一个脚本统一处理。

脚本入口为 scripts/extract_domains.py,只依赖 Python 标准库,不引入第三方包,确保在 Mac mini M4 的本地环境中可重复、可审计地运行。它读取 captures/<交易所>/ 目录下的 HAR、JSON、CSV 与 TXT 文件,从中抽取可能的域名,并做归一化处理。归一化规则力求保守而明确:从完整 URL 中提取主机部分,去除协议前缀、路径、查询参数与片段;去除端口号;去除域名末尾的点;统一转换为小写;排除 IP 字面量、localhost、.local 以及明显不构成域名的 token。对于 JSON 文件,脚本递归遍历字符串值,再用严格的域名模式匹配;对于 CSV,则按列名识别可能的域名字段;对于 HAR,则聚焦 entries 中的请求 URL;对于 TXT,则按行解析。整个过程不发起任何网络请求,也不做实时解析,保证提取结果只取决于本地证据。

提取完成后,脚本将结果写入 database/candidates.csv。这个文件是候选库,也是一份待审清单。它的字段包含域名、交易所、来源文件、来源类型、抓包场景、首次与末次出现时间、出现次数以及默认状态。重要的是,candidates.csv 只回答“我们看到了什么”,不回答“我们信任什么”。脚本的职责边界在此被严格限定:它生成候选,但绝不自动批准任何域名;它不读取 approved.csv 来决定是否输出某条记录,也不具备写入 approved.csv 的能力。每次运行都以当前 captures 目录为唯一依据重新生成候选库,避免历史幽灵残留,同时保证任何人只要拿到同一批原始文件,就能复现出完全相同的候选清单。

这种设计背后是对“自动化采集不等于自动信任”这一原则的落实。提取层可以高效,但必须透明;可以全面,但不能擅自裁决。脚本会忠实地把公共 CDN、云服务商节点、第三方 SDK、广告追踪域名一并写入候选库,而不是提前用一份内置黑名单悄悄剔除。因为黑名单本身也可能漏报,而自动剔除会让这些域名从审计视野中消失,反而增加误归交易所规则的风险。只有进入 database/approved.csv 的域名,才被视为维护者正式认可的分流目标,才有资格进入后续的规则生成与发布流程。由此,提取层把发现线索与信任依据彻底分离,为下一章的人工批准与公共基础设施隔离机制铺平了道路。

第4章 安全层:人工批准工作流与公共基础设施隔离机制

在前两章建立的技术闭环中,采集层负责捕获流量,提取层负责将 PCAP、HAR 与日志中的域名归一化为结构化候选列表。然而,从候选列表到正式分流规则之间,横亘着整个体系中最关键、也最不可省略的安全屏障——人工批准工作流。这一章要解决的核心问题是:自动化工具可以告诉我们“App 访问了哪些域名”,但绝不能代替我们决定“这些域名是否属于交易所”。域名提取脚本的每一次运行都只是拓宽了线索的边界,而非缩短了信任的距离。所有被提取出的域名,无论来源多么清晰、场景多么典型,都必须先进入待审候选库,在维护者的逐条审视与裁定之后,才具备被写入规则库的资格。

候选库 database/candidates.csv 的设计,本质上是一张“待审线索清单”,而非“预备规则表”。脚本在生成该文件时,会为每个域名附加必要的上下文元数据:来源类型(PCAP、HAR、Surge 日志)、抓包场景(冷启动、登录、行情、合约、资产等)、首次发现时间、出现频次以及初步的协议特征(如是否伴随 TLS SNI、是否出现在 DNS 查询中)。这些字段不是为了在技术上证明域名的“归属”,而是为了给人工审批提供充分的判断依据。维护者在裁定一个域名时,至少要回答三个问题:它是在什么业务场景下出现的?它与交易所的核心功能(行情、交易、账户、资产)是否存在必然的语义关联?它的主机名、证书组织或 IP 归属是否指向交易所自身的基础设施?只有三个问题的答案都明确指向交易所,该域名才会被批准进入 database/approved.csv。

“自动化采集不等于自动信任”并非一句抽象的口号,而是通过严格的流程设计落地为可执行的制度。具体而言,提取脚本只拥有对 captures/ 目录的只读权限和向 candidates.csv 追加或更新的权限,它没有任何接口可以直接写入 approved.csv,更不可能触发规则发布。approved.csv 的每一行变更都对应着一次明确的人工操作,无论是通过文本编辑器逐条添加,还是通过受控的审批脚本导入,其背后都是维护者基于业务语义做出的主动决策。这种“物理隔离”的权限设计,使得系统在极端情况下——比如脚本被恶意篡改或提取逻辑出现 bug——也不会自动将公共基础设施域名注入交易所专属规则。

与人工批准工作流相匹配的,是一套明确的公共基础设施域名隔离标准。在移动端 App 的流量中,存在大量与交易所业务无关、却极易在抓包时被捕获的域名。它们大致可以分为几类:通用云服务商节点,如对象存储、负载均衡、容器镜像仓库;公共 CDN 与静态资源分发域名,这些节点往往同时服务于成百上千个网站,一旦被归入某个交易所的规则,就会导致该策略组承载与交易所完全无关的流量;开源镜像与软件更新域名,属于操作系统或开发工具链的基础设施;系统更新与厂商服务域名,如 Google Play、系统安全补丁;广告追踪与第三方统计 SDK,这些域名通常由广告平台或数据分析服务商运营;以及通用的证书校验、时间同步、DNS over HTTPS 等系统级服务。隔离标准要求,凡属于上述任一类别的域名,一律禁止归入任何交易所专属规则,即使它们恰好出现在交易所 App 的抓包记录中。因为这些域名的“出现”只代表网络路径的经过,而不代表业务逻辑的归属。将公共 CDN 节点写入 Bybit.list,不仅会造成分流策略的污染,还可能因为该节点被其他服务大量共享而引发难以排查的连通性问题。

审批记录本身就是审计日志,这一原则通过 candidates.csv 与 approved.csv 的字段设计得以贯彻。approved.csv 除了记录域名本身和适用的规则类型(DOMAIN 或 DOMAIN-SUFFIX),还必须包含来源、分类、批注、批准人与批准时间。批注字段尤其重要,它要求维护者用简短的自然语言说明批准理由,例如“Bybit 现货交易 API,SNI 与证书 CN 均指向 bybit.com,场景:首页与现货”或“Binance WebSocket 行情推送,仅出现于行情页,已排除共享 CDN 节点”。这些批注在未来的规则复盘、故障排查或权限交接时,构成了唯一可信的决策依据。与此同时,candidates.csv 中未被批准的域名也不会被立即删除,而是保留其原始记录与状态(如“已拒绝-公共 CDN”“已拒绝-第三方 SDK”),以便在域名发生业务转型或误判时进行追溯。审计的完整性不仅体现在数据库的字段中,也体现在对原始抓包文件的管理上:所有 PCAP、HAR 与脱敏日志仅存储于本地采集环境,绝不提交至远程仓库。远程仓库中只保留经过提炼与批准的域名清单,以及可复现的提取脚本与流水线配置。原始流量数据的本地化,既避免了将可能包含敏感网络元数据的文件暴露在版本控制系统中,也进一步强化了“仓库是规则唯一可信源”而非“流量唯一可信源”的定位。

通过这套工作流,安全层在自动化体系与生产规则之间构建了一道由人类判断把守的闸门。采集与提取技术解决了“发现”的效率问题,而人工批准与基础设施隔离机制则守住了“信任”的底线。任何试图跳过人工裁定、直接将候选域名转化为分流规则的捷径,都是对体系安全性的根本破坏。只有当每一条进入 approved.csv 的记录都能被追溯到明确的抓包场景、清晰的所有权归属以及负责任的审批批注时,这套自动化体系才真正实现了从“高效采集”到“可信分发”的闭环。

第5章 规则层:Surge 按 Bybit、Binance、OKX 的独立分流策略

当 approved.csv 中的域名经过人工裁定后,它们便从“待审线索”转化为“可信配置”,而规则层正是这一转化在 Surge 中的最终落点。与采集层追求全面、提取层追求准确不同,规则层的核心诉求是隔离与可控:三家交易所必须拥有各自独立、边界清晰的规则文件,任何公共基础设施域名都不得借道进入专属策略组。只有将“批准”与“分流”严格对应,自动化体系才能在提升效率的同时,守住不自动信任的安全底线。

在仓库结构中,规则文件被固定于 Exchange/ 目录下,分别为 Bybit.list、Binance.list 与 OKX.list。这三个文件并非手工编写,而是由脚本以 –publish-only 模式从 database/approved.csv 中读取对应交易所的已批准域名后生成。生成过程只做格式转换,不做语义判断——换言之,凡是出现在 Bybit.list 中的条目,必然已在安全层通过人工审批;脚本不会因为某域名在抓包中频繁出现就自动将其写入。这种设计从工程上杜绝了“采集即信任”的可能,让规则文件成为审批意志的机械延伸,而非算法自主决策的结果。

规则类型仅使用 DOMAIN 与 DOMAIN-SUFFIX 两类,这种克制是经过权衡的。DOMAIN 用于精确匹配已知且长期稳定的核心接口,例如交易所的主 API 网关或认证域名,这类地址一旦变更,往往意味着服务端架构调整,适合精确命中以便于监控与审计。DOMAIN-SUFFIX 则用于覆盖同一业务域下的多级子域名,例如行情推送、资产查询或 WebSocket 接入点可能分散在不同子域,采用后缀匹配可以避免为每一个子域单独列规则,同时仍将影响范围限制在该交易所的域名树内。不使用 IP-CIDR 或 USER-AGENT 等规则,是因为分流决策只需依赖域名层信息,引入其他维度反而会扩大误判面,也与采集层“只取域名、不读内容”的边界保持一致。

在 Surge 配置中,每家交易所对应一个独立的策略组,典型形式为 Bybit = select, Proxy, DIRECT,Binance 与 OKX 同理。select 结构保留了人工干预的入口,维护者可以随时将某家交易所临时切至 DIRECT 进行直连测试,或切换至不同代理节点;Proxy 作为默认出口,DIRECT 则作为应急通道。策略组之下通过 RULE-SET 远程引用对应的规则文件,Surge 在启动或更新时从 CNB Mononoke 仓库拉取纯文本规则,无需在本地配置中内嵌冗长域名列表。这种远程引用机制让规则分发与配置更新解耦: approved.csv 的变动经流水线发布后,各端只需刷新 RULE-SET 即可生效,而策略组结构保持稳定。

三家规则文件的物理隔离是这一体系的关键特征。Bybit.list、Binance.list、OKX.list 各自独立存储、独立生成、独立引用,彼此之间不存在包含或继承关系。这种隔离首先避免了域名交叉污染:某家交易所的测试域名或临时网关不会被误写入另一家的规则,导致流量被错误分流。其次,它让故障域被压缩到最小——当某家交易所大规模更换 CDN 节点时,受影响的仅是单个规则文件与单个策略组,其余两家的分流逻辑不受干扰。最后,隔离为审计提供了清晰边界:审查 Bybit 的流量走向时,只需回溯 Bybit.list 的生成记录与对应 approved.csv 条目,无需在混合文件中筛选。

分流粒度的细化体现在对域名业务语义的严格归类上。交易所 App 在抓包过程中会接触到大量域名,其中只有核心交易与行情域名才具备进入专属策略组的资格。这些域名通常直接服务于账户登录、行情订阅、订单提交、资产查询等关键链路,其特征是请求频率稳定、路径结构清晰、与用户交易行为强相关。对于这类域名,脚本在生成规则时会完整收录,确保 Surge 能够识别并引导至对应策略组。

与此相对,公共静态资源与通用 CDN 域名被明确排除在交易所规则之外。交易所 App 为了加载图标、字体、统计脚本或通用 SDK,往往会请求公共云服务商、开源镜像或第三方内容分发网络。这些域名在抓包时确实与交易所 App 同时出现,但它们属于互联网公共基础设施,服务对象是全体用户而非特定交易所。若仅因“抓包时可见”就将其归入某家交易所的专属规则,不仅会造成分流策略的臃肿,更会埋下误报隐患——一旦这些公共域名被指向特定代理节点,可能影响其他业务的正常访问,也让“交易所专属流量”的统计失去意义。因此,这类域名在安全层审批时即被标记为公共基础设施,规则层生成脚本会跳过它们,由 Surge 中独立的基础设施规则统一处理,或直接走系统默认策略。

规则匹配顺序同样需要精心设计。在 Surge 的 RULE-SET 排列中,三家交易所规则通常置于基础设施规则与兜底规则之前,确保专属域名优先命中对应策略组。由于交易所规则仅包含 DOMAIN 与 DOMAIN-SUFFIX,不存在通配符过于宽泛的问题,因此放心的前置不会造成大面积误匹配。基础设施规则随后处理那些被安全层批准的公共域名,最后的兜底规则负责其余流量。这种分层结构使得流量在进入 Surge 决策链后,能够按照“交易所专属—公共基础设施—通用网络”的顺序逐层下落,每一层的责任边界清晰。

工程细节上,生成的规则文件带有标准化的头部注释,记录生成时间、对应 approved.csv 的提交哈希以及规则条目数量。这些元数据随文件一同发布,使得任何一次规则拉取都可以被追溯到具体的审批批次。脚本在生成过程中会执行基础校验:若某家交易所在 approved.csv 中尚无已批准域名,则不会生成对应的空规则文件,避免 Surge 引用无效资源;若域名格式不符合 DOMAIN 或 DOMAIN-SUFFIX 规范,脚本会拒绝输出并报错,防止脏数据流入发布环节。

规则层的最终形态,是 Surge 配置中一段简洁而严密的引用逻辑:三个策略组各自持有远程规则,规则文件内容完全来自人工批准的域名清单,公共基础设施域名在物理上就不存在于这些文件中。当用户打开 Bybit App 时,登录与行情请求因命中 Bybit.list 而被引导至 Bybit 策略组;当 App 加载一个通用字体文件时,该请求不会匹配任何交易所规则,自然落入基础设施或默认通道。这种“该专属的专属,该公共的公共”的分流格局,正是自动化采集与人工审批相结合后应当呈现的秩序——技术手段负责发现与生成,人的判断负责信任与边界,二者在规则层达成一致。

第6章 发布层:CNB Mononoke 仓库与自动化流水线

当第5章中的规则文件从人工维护的静态列表转变为由 approved.csv 驱动生成的动态产物时,发布层就必须提供一种既自动化又可追溯的可信分发机制。规则一旦离开本地环境,进入 Surge 等客户端的远程引用链路,任何误写、漏写或未经验证的域名都可能直接影响交易链路的连通性。因此,整个体系选择以 CNB Mononoke 仓库作为规则的唯一可信源,并通过一条边界清晰的自动化流水线完成从“人工批准”到“线上生效”的最后一步。这条流水线的核心设计原则与采集层一脉相承:自动化只负责搬运已经确定的信任,绝不自行创造信任。

CNB Mononoke 仓库的目录结构必须严格区分“本地事实”与“仓库事实”。仓库顶层包含五个关键部分。Exchange/ 目录存放三家交易所的正式规则文件,即 Bybit.list、Binance.list、OKX.list,这些文件由脚本生成,不接受人工直接编辑,以保证 Surge 远程引用的内容与 approved.csv 完全一致。database/ 目录保存两个核心数据文件:candidates.csv 记录所有由采集与提取层产出的待审域名及其来源、抓包场景与归一化后的原始字段;approved.csv 则只保存维护者逐条裁定通过的域名,并附带审批时间、分类标签与批注,它既是规则生成的唯一输入,也是事后审计的日志。scripts/extract_domains.py 是提取与生成共用的 Python 标准库脚本,通过子命令区分“发现模式”与“发布模式”。.github/workflows/exchange-rules.yml 定义了流水线的触发条件与执行步骤。至于 captures/ 目录,它只存在于 Mac mini M4 本地,用于存放 PCAPdroid 导出的原始抓包、脱敏 HAR 与 Surge 请求日志,必须通过 .gitignore 明确排除,绝不提交到仓库。这样的物理隔离既避免了原始流量中可能残留的敏感信息泄露,也迫使所有进入仓库的域名都必须先经过提取、归一化与人工批准三道关卡。

自动化流水线的触发条件被刻意设计得保守而明确。第一条触发路径是内容变更:当 approved.csv、scripts/extract_domains.py 或 .github/workflows/exchange-rules.yml 发生推送时,流水线立即执行,确保规则库的每次人工调整都能在最短时间内反映到 Exchange/ 目录。第二条路径是手动触发,维护者可通过 workflow_dispatch 在紧急场景下重跑发布,例如需要立即剔除某个误批准的域名或重新生成全部规则文件。第三条路径是定时触发,流水线设定为每周一 02:17 UTC 自动运行一次,作为常规兜底,防止因人为遗漏导致的规则滞后。定时任务的存在并不意味着系统会定期自动抓取新域名——恰恰相反,定时任务只做一件事:以当前 approved.csv 为输入重新生成规则并校验格式,如果内容没有变化,则不会产生任何提交。

流水线的核心执行逻辑依赖于脚本的 –publish-only 模式。在该模式下,extract_domains.py 不再读取 captures/ 或本地缓存,也不执行任何网络发现逻辑,它只打开 database/approved.csv,按交易所分类生成 DOMAIN 与 DOMAIN-SUFFIX 两类规则。生成过程中内置三重校验:首先是格式校验,确保每一行都是合法的 Surge 规则语法,排除空行、注释残留、非法端口与错误前缀;其次是黑名单校验,脚本会对照一份独立的公共基础设施域名清单进行比对,一旦 approved.csv 中混入通用 CDN、云服务商节点、系统更新或第三方 SDK 域名,流水线将直接失败并告警,而不是静默过滤;最后是去重与排序,确保同一交易所规则文件内不存在重复条目,且输出顺序稳定,避免无意义的 diff。三重校验通过后,脚本将生成内容与仓库中现有的 Exchange/*.list 进行逐字节比对,只有在确认内容发生变化时才执行 git commit 与 push。这种“有变化才提交”的策略最大限度地减少了仓库历史噪音,也让每一次规则文件的变动都能对应到一次明确的人工批准行为。

规则文件生成并提交后,Surge 客户端通过 RULE-SET 远程引用对应的规则地址。在 CNB Mononoke 仓库中,这些地址通常指向 Exchange/ 目录下文件的原始内容端点,例如匿名可读的 raw 路径。文件落地后必须进行一项不可省略的验证:以匿名身份请求远程规则地址,确认返回的 HTTP 响应 Content-Type 为纯文本,且首行与末行均符合预期格式,不存在 HTML 登录页、JSON 包装、重定向跳转或访问拒绝。这一步的意义在于,自动化流水线可以保证仓库内的文件正确,但无法保证外部客户端一定能拉到正确的纯文本内容;任何网关层的鉴权策略调整、CDN 缓存异常或路径变更,都可能让 Surge 实际获取到一份非规则内容。因此,发布流程的最后一步是冒烟测试,使用 curl 或脚本模拟匿名拉取,验证响应状态码、内容长度与关键域名是否存在,只有全部通过,才视为发布完成。

从更长期的视角看,发布层承载的其实是“信任的固化”。采集层发现线索,审批层确认信任,而发布层通过一条不可绕开的流水线,确保只有经过批准的域名才能进入 Surge 的分流规则。CNB Mononoke 仓库因此不再只是一个代码托管空间,而是整个体系中唯一可信的规则源头;自动化流水线则是连接源头与客户端的封闭管道,它足够机械,因而不会疲劳,也足够保守,因而不会擅自扩大信任的边界。当每周一 02:17 UTC 的定时任务静默跑完,或者维护者在审批后看到流水线自动提交时,规则的可信链条便完成了一次闭环——而这正是自动化采集与自动信任之间必须守住的最后一道闸门。

第7章 运维层:持续监控、误报响应与长期治理

当采集、提取、审批、发布四个环节咬合运转,这套域名分流规则自动化体系便不再是实验室里的演示脚本,而是一条需要长期看护的生产流水线。前六章解决的是“如何让规则从无到有、从有到准”的问题,而运维层要回答的是另一个更棘手的问题:如何让规则在动态变化的网络环境中持续保持有效,同时抵御自动化带来的信任漂移。域名会过期,CDN 会迁移,交易所会调整网关,公共基础设施的边界也在不断扩张,任何一环的松懈都可能让精心构建的分流策略失效,甚至让本应直连的公共流量被错误地拖入代理隧道。因此,运维不是体系的附属,而是其可信度的最后一道防线。

规则有效性监控的核心思路,是让 Surge 的真实运行数据与采集阶段的原始证据相互印证。Mac mini M4 作为常驻采集中心,除了承担抓包解析与本地数据库服务外,还应当定期归档 Surge 的请求日志。这些日志记录了每一条连接的最终走向:命中了哪条 RULE-SET、走了哪个策略组、返回了 DIRECT 还是代理。与此同时,在 PCAPdroid 中按冷启动、登录、行情、合约等场景导出的 HAR 文件,则代表了 App 在理想网络环境下的完整请求画像。通过脚本将 Surge 日志与 HAR 进行域名维度比对,可以识别两类典型异常:其一,某些在 HAR 中明确属于交易所核心业务的域名,在 Surge 日志中却未能命中对应规则集,说明该域名可能已被废弃,或更换了新的主机名;其二,某些高频出现的域名长期落在默认规则上,但业务语义上又明显属于交易所功能,这往往是新增节点尚未被采集发现的信号。前者需要及时清理失效规则,后者则要回流到候选库重新审批。监控的价值不在于实时告警,而在于提供一个低频但稳定的反馈回路,让规则库的每一次变动都有据可查。

误报快速响应机制则是运维层不可妥协的红线。无论审批流程多么严谨,人工裁定都不可能永久免于疏漏,尤其是当交易所 App 集成的第三方 SDK 更新,或公共云服务商调整节点命名策略时,一个看似交易所专属的域名,其 Whois 或证书链却可能指向通用基础设施。一旦通过日志审计、社区反馈或人工抽查发现某个公共基础设施域名被误归入 Bybit、Binance 或 OKX 的专属规则,响应动作必须立即启动:首先在本地工作副本中将对应条目从 approved.csv 中移除,而非直接修改生成后的规则文件,确保唯一可信源不被旁路;随后以 –publish-only 模式重新生成三家交易所的 RULE-SET,触发流水线发布;最后验证远程规则地址已更新,且 Surge 客户端拉取到的是剔除后的版本。比修复动作更重要的是追溯:回到 candidates.csv 中查看该域名当初的抓包场景、提取时间与审批批注,判断是采集阶段混入了非业务流量,还是审批时对域名归属产生了误判。这一过程会被记录为一次事故复盘,其结果直接转化为公共基础设施识别标准的补充条款。误报响应不是简单的技术回滚,而是一次对信任机制的强制校准。

长期治理需要把视线从单条规则扩展到整个域名库的生命周期。规则库应当被视作一份持续演进的活文档,而非一次性的交付物。按季度对 approved.csv 进行复盘是必要的治理动作:统计各交易所规则的命中率,清理长期未出现在 Surge 日志中的疑似失效域名,合并可由 DOMAIN-SUFFIX 覆盖的冗余 DOMAIN 条目,在保持分流精度的同时控制规则文件体积。与此同时,公共基础设施识别标准必须同步更新,维护一份动态的通用云服务商、公共 CDN、开源镜像、系统更新与主流广告追踪域名清单,作为审批时的排除参考。随着 Web3 基础设施的演进,新的通用节点和边缘服务会不断涌现,这份清单不可能一劳永逸。审批效率的优化也应服务于治理目标,例如为高频场景(如登录、行情)预设审批模板,减少重复判断成本,但模板只能辅助人工决策,绝不能替代人工批准。

在技术层面,监控与治理的工具链可以随 Mac mini M4 的算力与 Python 脚本能力持续增强,例如增加对 QUIC 与 HTTP/3 流量的元数据提取,或在候选库中引入证书颁发机构、IP 段归属等辅助判据。但无论工具如何进化,体系都必须坚守一条铁律:自动化只负责发现线索,人工批准才赋予信任。采集层可以勤勉地抓取每一个经过手机的域名,提取层可以忠实地归一化每一条记录,发布层可以精确地编译每一份规则,但只要公共基础设施域名存在被误分类的可能,人工审批的闸门就不能撤除。运维层的终极使命,就是通过持续的监控、快速的纠偏与定期的治理,确保这条闸门在长时间的自动化运行中不会松动,让分流系统既享受技术效率,又不失安全底线。

评论