构建文件语义分析器：借助 AI 大规模守护出站数据
如何大规模保护数据？Uber 的文件语义分析器使用生成式 AI 对文件内容进行语义分类和摘要，从而提升安全性并减少误报。
简介
在当今数据丰富的环境中，组织在端点、云存储和用户设备上处理着海量数据。这些数据通常以文件的形式存在或传输，其范围可能涵盖高度敏感的商业文档和客户数据，也可能包括非关键内容。然而，缺乏一种高效且准确的方法来分析文件内容并确定其相关性——无论是业务关键、个人可识别还是非必要内容——这构成了一个重大挑战。
在 Uber，数据是我们运营的生命线。从行程详情和支付信息到内部项目文档和战略规划，数据的数量和多样性是巨大的。具体而言，挑战在于准确识别和分类这些数据——区分业务关键信息与个人或非必要文件。面对海量的数据外流，传统的人工参与式监督无法扩展规模，这造成了敏感组织数据（包括知识产权）面临的重大且难以管理的风险。放任环境不受检查将危及安全、监管合规性和业务诚信。
这一根本性挑战促使我的团队进行创新，最终开发出了 FSA（文件语义分析器）。这个由 AI 驱动的系统对数据进行语义分类，并提供离开我们环境的信息的性质和摘要。FSA 大幅减少了对人工监督的需求，同时显著提高了我们数据保护工作的准确性。
问题：字节堆中的大海捞针
想象一下，一家拥有数千名员工的大型企业，每名员工每天都在生成和共享无数文件。想想这些文件的类型：个人度假照片、内部战略文档、机密客户名单、源代码、设计规范、营销素材等等。当这些文件外流时——通过电子邮件附件、云上传，甚至 USB 驱动器——你如何在大规模的情况下确定一个文件是包含业务关键信息，还是仅仅是一份个人文档？
你可能会认为 DLP（数据防泄漏）系统可以轻松解决这个问题。然而，传统 DLP 系统的根本缺陷在于它们无法辨别语义含义。它们在关键词、标记和模式匹配的层面上运行，而不是在内容层面上。虽然这种方法在某些狭窄场景中很有用，但这些方法容易产生高误报和漏报。例如，一份文档可能包含“机密”一词，但它可能只是一张个人便条。相反，一份高度敏感的商业计划可能在没有任何明显关键词的情况下写成，从而轻易漏网。这种不精确性使安全团队不堪重负，面临无休止的无关警报，导致 警报疲劳，并可能忽视真正的高风险威胁。
因此，需求很明确：我们必须开发一种创新的解决方案，能够真正阅读和理解文件，而不仅仅是扫描它。
解决方案：拥抱 GenAI 的语义理解
我们针对这一问题的答案是超越单纯的模式匹配，拥抱语义理解。我们希望理解文件内容的含义和上下文，而不仅仅是其表面特征。我们扪心自问：我们能否不仅对文件进行分类，还能解读和总结文件，为我们的安全分析师提供即时、可读性强的洞察？这正是人工智能，尤其是生成式人工智能，成为我们不可或缺的盟友的地方。
我们的文件语义分析器（File Semantic Analyzer）的核心是一个智能分类引擎，它学习根据文件的内在内容来区分各种类别的文件。以下是我们工程实践历程的高层概览。
1. 数据样本与标注：智能的基础
没有高质量的标注数据，任何 AI 模型都无法蓬勃发展。这是最耗费人力但至关重要的阶段。我们持续收集并匿名化多样化的文件数据集，由领域专家精心标注为“业务关键”、“个人”或“中性”。这个由人工整理的数据集充当了 AI 的基准真值（ground truth）。
2. 预处理：为 LLM 提供燃料
对于 GenAI 解决方案，预处理步骤对于确保为 LLM（大型语言模型）提供最佳输入至关重要。
下一步涉及从各种企业数据源（如 Google Drive 和协作平台的内部文件共享）摄取文件。对于每个文件，系统执行内容提取，将各种文件格式（PDF、文档、电子表格、演示文稿、HTML）转换为纯文本。
对于基于图像的文件，我们集成了 OCR（光学字符识别），在应用生成式人工智能进行摘要和语义分析之前，将视觉文本转换为机器可读的文本。将文件转换为纯可读文本对于生成式人工智能有效处理该文件至关重要。
由于 token 限制，大文件无法直接输入大多数 LLM。我们开发了智能分块策略，以保持每个片段内的上下文连贯性（例如按段落、章节甚至由初步分析识别出的语义主题进行拆分）。这确保了 LLM 接收到有意义的文本块。
3. 生成式人工智能解读引擎：FSA 的大脑
每个经过预处理的文本块都被输入到一个经过微调的大型 LLM 中。我们使用能够进行摘要和实体提取的模型。
摘要模型生成文件内容的简洁摘要。这对于分析师快速掌握可能存在潜在问题的文件的精髓非常有价值，而无需通读数百页内容。
模型还会自动识别和提取命名实体（如人名、组织名称、日期、财务数字、项目代码）以及表明敏感性的关键短语（如“机密项目计划”、“客户数据库”或“未发布的产品规格”）。
LLM 的真正威力在于其对提取的信息进行推理的能力。它可以识别关系。例如，它可以理解某一节中提到的“Project X”与另一节中的“Budget Approval”有关。
它还可以推断语义意图（分类）。基于内容、实体和上下文的组合，大语言模型可以对文件的可能意图及其对组织的相关关键性提供概率性评估。例如，“这似乎是一份高度敏感的并购协议草案，”对组织至关重要。或者，“这看起来是一份包含敏感个人身份信息（PII）的个人旅行行程，但对组织而言并不关键”。
生成式AI的一个关键优势是它能够解释其推理过程，为分析师提供其分类或标记的透明理由。例如，“此文件被归类为‘业务关键 - 财务’，因为它讨论了第三季度财报，引用了未发布的营收数据，并列出了关键投资者联系人。”
4. 分类与策略执行层：基于洞察采取行动
生成式AI解释引擎的输出（摘要、提取的实体、推断的意图和解释）随后被输入到我们的规则引擎中，以进行分类和策略执行，而现在该引擎受益于这种更丰富、更高层次的理解。例如：
- 如果任何被摘要为“未发布产品规格”的文件被发送到外部域名，则发出警报。
- 如果包含“客户PII”且被摘要为“营销活动名单”的文件被发送到个人地址，则发出警报。
- 如果文件被摘要为“个人度假照片”，即使包含姓名，发送到外部电子邮件地址时也不要发出警报。
5. 人在回路与持续学习：强化的反馈循环
人类分析师的角色从繁琐的审查者转变为战略验证者。他们从内容审查的噪音中解放出来，转而由AI生成的发现所赋能，以即时验证关键威胁并推动快速决策。
分析师被赋能对系统的分类以及摘要和解释的质量提供反馈。这些输入用于优化大语言模型的内部提示并指导微调，确保AI的当前输出尽可能准确和相关。
架构
图1：用于语义分析数据并做出决策的端到端架构。
文件语义分析器由以下组件组成：
- 文件连接器：从各种出口点摄取文件。
- 文件处理：处理预处理任务并执行智能文本分块过程。
- 提示构建：构建输入到生成式AI引擎的优化、上下文丰富的提示。
- 决策（基于洞察采取行动）：规则引擎，根据生成式AI引擎的输出（摘要、提取的实体、推断的意图和解释）做出决策和采取行动。
- 人工审查 （人在回路）：在采取行动之前，由人工审查高保真的AI发现。决策进入反馈循环。
管理AI驱动分析中的风险
虽然生成式 AI 为数据安全带来了全新的智能水平，但我们认识到，依赖大语言模型（LLM）会引入特定的技术和运营风险。尽管文件语义分析器（FSA）具备精密的推理能力，但它仍受制于现代 AI 的固有局限：
- 应对 LLM 幻觉：首要关注的风险是“幻觉”，即模型可能自信地误读文件或捏造不存在的敏感细节。我们通过要求引擎为每个分类提供透明的“解释”来缓解这一问题，使分析师能够对照实际文件内容验证其逻辑。
- 防止上下文丢失：大文件可能会超出 token 限制，可能导致 AI 遗漏文档末尾的关键信息。我们通过智能分块策略来克服这一问题，这些策略在各分段之间保持语义连贯性，确保 FSA 的“大脑”能够看到全貌。
- 人工在环验证：为防止自主错误导致业务中断，系统并非完全在真空中运行。高保真发现会被路由给人工分析师，他们作为战略验证者，确保自动化决策准确且符合上下文。
影响与未来展望
文件分析器彻底改变了我们的数据安全方法。通过生成式 AI 从单纯的模式匹配转向深度的上下文理解，带来了显著的收益。
我们现在拥有前所未有的上下文洞察力，从而加快了事件响应时间。安全分析师现在可以立即对文件内容有高层次的理解，包括关键要点和敏感元素，而无需打开每份文档。这极大地节省了时间，因此数据渗漏事件的响应时间大幅缩短（每个案例从数小时缩短到几分钟）。平均而言，我们每个文件节省 5 分钟，预计每年分析 150,000 个文件。这意味着为团队节省了 4 人年的工作量。
LLM 的力量在于其推断意图和进行语义推理的能力，超越了简单的模式匹配。这一能力将误报率大幅降低了 97%，同时关键在于确保漏报的真阳性更少——尤其是在面对新型数据或规避技术时。其结果是构建了超精准的防御体系，消除噪音并可靠地暴露真正的威胁。
我们与 FSA 的旅程才刚刚开始。我们正在持续探索诸如：
- 多模态 GenAI。将解释能力扩展到直接分析图像。例如，识别内部工具的截图、视频甚至音频中的嵌入敏感信息，而不仅仅是文本提取。
- DLP 转型。DLP 的未来在于语义执行。我们正在测试将 FSA 的高保真 AI 分类集成进来，以取代关键词匹配，从根本上使我们的安全系统能够基于文件的真实上下文意图来阻止数据渗漏——这是迈向自主防御的关键一步。
结论
通过将生成式 AI 集成到我们的文件语义分析器中，我们不仅仅是在构建一个安全工具。我们是在构建一个智能守护者，它真正理解我们组织的数字心跳，以前所未有的精确度和洞察力保护我们最宝贵的资产。