大型科技公司语义层的秘密:Uber、Netflix 和 Airbnb 如何管理指标以及您如何在自己的公司中应用这些方法

过去几年,数据界的每个人都在谈论语义层。  商业智能供应商将其作为一种便捷的指标模型进行销售。现代数据架构称之为指标层。人工智能团队则声称,如果没有它,就无法构建分析代理。但如果你仔细观察一下主要科技公司(Uber、Netflix、Airbnb、LinkedIn、Spotify)的架构,就会发现它们的含义与“语义层”一词通常所暗示的含义截然不同。  他们来说,这不仅仅是 BI 工具内部的一层指标。它是数据平台内的一个独立基础设施。一个管理业务指标定义、计算、数据质量、访问控制以及这些指标在 BI、机器学习、产品甚至 AI 系统中的使用方式的平台。  尤其有趣的是,许多公司都曾在博客、研究论文和架构演讲中部分透露过其架构信息。如果将这些零散的信息拼凑起来,就会呈现出一幅相当令人惊讶的图景。本文将尝试做到这一点。  我们将收集大型科技公司 数据工程项目 资料中公开可用的证据,并重建语义层的真实架构。我们将研究 Uber 和 LinkedIn 的指标平台是如何运作的,Netflix 为什么构建 Metrics Repo,Airbnb 如...

查看原文 →