共享 OpenAI 订阅并绕过区域推理容量限制

到目前为止，大多数人应该已经意识到我们正处于算力成本危机之中。CPU 和内存的成本高得离谱，根本不够用。与此同时，全球的 GPU 肯定也不够。

如果你最近一直在用 ChatGPT，你可能看到过这个领域内流传的一个梗：OpenAI 的推理容量就是不够。见鬼，就连 Tibo 都公开承认他们遇到了算力问题。

过去几周里，我因为推理容量问题浪费了大量时间来照看智能体，这让我想到：如果推理容量限制是基于区域的会怎样？去年，在这次紧张局势之前，即使使用 Anthropic 的模型，澳大利亚的推理速度也明显更快，因为美国的其他人都在睡觉。

日常工作中，我所有的开源软件开发都在德国的裸金属机器上进行，我开始注意到欧洲人醒来时会出现类似的模式：推理性能突然暴跌，迎接我的是一大堆“模型已满载，请重试”的错误信息。

上面就是我今早醒来时看到的景象。想象一下，在一个必须在会议演讲前完成并发布 get-overalls 的严格时间表下，浪费时间让我多么沮丧。你可以在网上随便抱怨，但我们是软件工程师，我们能解决这些问题。

underclass

拼图的第一块是我上个月写的一个名为 Underclass 的软件。Underclass 将多个 ChatGPT 订阅汇集在一起，作为一个代理运行。它可以自动领取重置额度，并正确处理提示缓存键，以确保用量不会被浪费。

我之前没写过关于它的文章，但它现在已经一个月大了，我认为它已经稳定了。它在 GitHub 上可用，我用它配合六个 ChatGPT 500 账号使用，但你可以配置的账号数量实际上没有上限。

安装很简单，文档也很完善。它也可以作为 Nix Flake 使用。

preflight

我上个月写的另一个软件是一个本地 LLM 代理，它会扫描请求和附件中的机密信息，并在它们到达模型之前主动清理和脱敏。它在 GitHub 上（见下方）

要使用 Preflight，请运行一个 Preflight 实例和一个 Underclass 实例，然后将 Underclass 指向使用 Preflight。Preflight 会清理请求并将其发送出去进行推理，确保敏感材料永远不会到达推理提供商。

揭开重点

到目前为止，你可能在想，"哇，这真是两个非常酷的项目"，或者为什么我以地理路由作为开场。那是因为……今天我发布了一个新的实验性原型，名为geoclass，它可以将你的请求路由到全球不同的推理区域。与 underclass 和 preflight 一样，它是可组合的。你可以全部使用、全部不使用，或者使用你能想象到的任何组合，因为它们是独立的软件组件，能够很好地协同工作。

它的工作原理很简单。

搭建一个 Tailscale 网络并在全球各地部署虚拟机，然后用 Tailscale 标签为这些虚拟机打上标记；GeoClass 就可以通过该标签识别这些机器。从那时起，你只需要将 UnderClass 指向 GeoClass，其余的就会自动运行（理论上！）。

我还不知道 geoclass 是否能解决我的推理难题，但我绝不可能坐在这里生闷气，因为过去 30 天里 OpenAI 在欧洲的表现一直很糟糕。

所以我打算尝试一下地理路由。如果下面的内容对你有用，请告诉我；我很想和有同样想法的人交流。不试永远不知道！

附言：社交媒体