如何打造有价值的数据闭环？

什么是数据分析闭环？

数据分析闭环就是说把数据分析到验证的每一个步骤有机的连接在一起，由此指导业务和实践，同时也能对闭环进行迭代优化。

数据分析闭环有四个步骤：指标--->假设--->试验--->行动。无论你做的在线，离线，或是非线上的业务，都需要这个闭环来指导业务增长。

数据分析闭环

过分迷恋于数据收集和标准的指标报告或许不是好事，很多人对这些很热衷有时候只是在跟风，因为数据和指标的作用和价值很多年前就有人在强调。但这种现象是不正常的，只有把指标和数据用于指导实践，形成一个数据分析的闭环，才能体现出数据的价值。怎么解决这个问题，又或者说怎么形成数据分析到应用的闭环？

《精益数据分析》这本书里提到了精益数据分析闭环这个概念，它的目的就是帮你创建一个可持续的方式来选择重要的指标，并把这些指标跟基本的业务问题关联起来，然后提出对问题解决方案的假设，通过测试（当然包括A/B测试）验证假设并最终驱动业务增长。

下面，我们会从四个步骤，解读数据分析闭环的一些细节并用 Airbnb 的案例让大家更好的理解精益分析循环如何指导业务实践。

精益数据分析模型

精益数据分析循环非常简单，它的4个步骤清晰的解释了你该如何来用它指导业务。首先，要找出你想提升什么；然后创建并运行试验；最后衡量试验结果并决定采取什么行动。

这个循环里结合了精益创业（精益创业是指基于数据分析进行持续的迭代提升）的概念，它能帮你放大已经验证有效的想法，抛弃无效的想法，并根据数据反馈来调整目标方向。

用下面的这张图来表示精益创业循环：

上图的流程看起来有点复杂，我们把它简化为任何业务和公司都能用于其数据分析实践的四个关键步骤：指标--->假设--->试验--->行动

步骤1：找出优化指标

这个循环不能帮你了解你的业务，因为这是你的工作。你需要知道业务最重要的是什么，以及需要改进什么。

• 是提升转化率？

• 是提升访客注册数？

• 是提高用户分享率？

• 还是降低用户流失比例？

• 也可能简单到就像让更多人去你的餐馆就餐。

关键在于，它必须是你业务的核心指标。如果你不是业务负责人，只负责增长，那么你可能需要业务管理者（老板或业务总监）帮你确定这个指标。这是好事，意味着你跟业务是有关系的，如果这个循环最终成功，你会让团队离目标更进一步。

确定要改善什么指标的另一种方法是根据你的商业模式。我们举柠檬水摊的例子，那么你的商业模式就是一张表格，这里记录了柠檬和糖的价格，经过摊点的人数，多少人停下来买水喝，以及你收费多少。这里有四件事对你的生意很关键，其中一件有待改善。这就是现在你的业务非常重要的一个指标。只选一个指标出来，因为你要优化它。

这个指标跟 KPI 相关，如果是购买人数，那么指标是转化率。如果是发送的邀请数，指标就是病毒性。如果是离开的付费用户数量，就是流失率。

商业模式也能告诉你指标应该是什么。比如，如果你需要每杯柠檬水卖5美元才能达到收支平衡，那么这就是你的目标， KPI 的目标。

步骤2：提出假设

这是发挥你创造性的地方，因为你可以进行各种类型的试验：

• 一次营销活动

• 应用的重新设计

• 定价的改变

• 把运输成本纳入价格

• 改变吸引用户的方式

• 尝试不同的平台

• 改变按钮文字

• A/B测试一个新功能

无论如何，提出假设是需要灵感的地方，你可以通过两种方式找到灵感。

如果得不到数据，你可以做各种尝试。

• 尝试理解市场。做调查，或看看别人怎么做，或查看客户反馈，或者简单地拿起电话。

• 从竞争对手那里偷师。如果有人做的很好，那么可以模仿。但切记不要为了不同而不同。

• 学习最佳实践。了解其他公司的增长方式，从增长黑客到内容营销，并从中找灵感。

如果能获取数据，搞清楚用户之间有什么不同点。比如说，你在想办法降低流失率，有些用户一个月都不退出，他们之间有什么共同点？最忠诚的客户跟其他人有什么不同点？他们都来自同一个地方？他们都买一样的东西？诸如此类。

无论哪种方式，这个假设都来自于用户，问他们问题，或了解他们的选择。

假设这个词有很多不同的解释，个人觉得维基百科给的定义最贴切：

人们把问题的试验解决方案称为假设，通常称为“有根据的猜测”，因为它提供的解决方案是由一些证据得出的。

我们对采取什么动作才能改善 KPI 所做出的有根据的猜测是基于步骤1得到的。

步骤3：创建试验

一旦有了假设，你需要先回答3个问题再进入试验步骤。

首先：目标受众是谁？事情的发生都是因为有人做了什么。那么你期望做什么呢？受众是所有人，还是用户中的一部分？他们是正确的受众吗？你能触达他们吗？直到你明确了你是要试图改变哪些人的行为，才能去吸引他们。

其次：你想让他们做什么？你要求他们做的事情足够清晰明确吗？他们能很轻松的，或是以自己的方式做吗？他们中有多少人今天做了这项操作？

第三：为什么他们要这么做？只有有价值的，并且充分信任你，他们才会做你要求做的事。你正确地激励他们了吗？当前的哪一项请求最有效？为什么他们愿意为你的竞争对手做这件事？

看起来 who 、what 和 why 这三个问题不难回答，但事实并非如此。因为这需要你对客户有很深入的了解。在精益创业里，这叫做客户开发。创建试验的步骤看起来就像是这样：

弄清楚什么人因为什么原因做什么事，才能明显提高你定义的目标 KPI 。

这是我们采取行动的目的，用靠谱的假设来创建靠谱的试验。这种方式也能让每个人理解试验的目的和意义。

一旦创建了试验，并设置数据分析来根据当前的基准和你设定的目标来衡量 KPI ，接下来就是运行试验。

步骤4.衡量和决定要做什么

到这一步，就能知道你的试验是否成功。这样我们有了下面的几个选择：

1. 如果试验成功，碉堡了。庆祝一番，然后继续找下一个最重要的指标，继续下一个 who ， what ，why 周期。毕竟，生命不息，优化不止嘛。

2. 如果试验失败，则需要重新审视我们的假设。然后把从失败的试验里学到的经验用于定义新的 who ，what ， why 。即使是失败的试验，如果能从中得到教训，就不算是浪费机会。

3. 如果试验有一点结果，但不明显，这时候就应该尝试另一个试验了。一开始提出的假设依然有效，但是你可以根据这次试验对接下来的试验进行优化，再试一次。

这就是流程之美，we’re being smart, fast, and iterative！制定慎重的计划，衡量其结果，并围绕更接近我们的目标。识别，假设，测试，反应，以及重复。

下面是一个具体的案例，来加深对精益数据分析循环的理解。

案例：Airbnb

Airbnb 是美国一家非常受欢迎的共享经济公司提供闲时房屋租赁，他们发现了很多创造性的方式来实现增长，明智和数据驱动是它的代名词。

步骤1：找出优化指标

Airbnb 想优化的指标是房屋租赁天数，这对它们来说比单纯衡量收入更重要：如果房东出租房子的时间越久，那么 Airbnb 的业务也会变得更好。为了成就房东， Airbnb 通过列出热门租住房源，来保证留存。

Airbnb 知道，要取得成功，需要大幅提高每家物业的租住率。

• 一个关键指标：“房屋租赁天数”

• KPI ：房屋预定

• 目标：不明

• 当前水平：不明

步骤2：提出假设

我们不知道 Airbnb 是怎么提出这个假设的，但我们知道它能得到热门租住的房屋列表。

• 可能他们注意到这些热门租住房屋的照片看起来更专业。

• 可能他们意识到房客的常见投诉是房子的照片和实际上不一样。

• 可能他们发现人们在看了照片之后就放弃了列表。

• 可能他们他们分析了图片的元数据，发现房屋租赁跟昂贵的相机型号之间有很强的相关性。

反正他们就是得出了这样的假设：图片越好看，房子租的越好。

步骤3：创建试验

有了这个假设，接下来就是创建试验了。通常来说，有一个清晰的假设能让创建试验更容易。 Airbnb 的 who ，what ，why 如下：

• 谁是试验的目标受众？在 Airbnb 上查看列表的游客。

• 想让他们做什么？租房子更频繁。

• 游客为什么会这样做？因为照片看起来更专业，并且让房子看起来更美观。

那么，这个试验就变成了：

确定游客们是否会因为更专业的照片列表更频繁地预定房子，并把房屋预定提升 X%。

这种情况下， Airbnb 真的不需要任何当前数据，这就像对午餐的一次随机评论引出的假设。但即使假设不是建立在硬性数据中，试验设计也必须建立在硬性数据上。

为了运行试验， Airbnb 创建了精益创业里的最小可行化产品（MVP）。就像魔法师：大多数辛苦的工作都是在幕后做的，但观众认为他们看到的就是真相。

Airbnb 不确定试验是否有效，所以团队不打算雇佣全职的摄像师或给应用添加一个新功能。但同时，他们必须对实际功能进行真实测试。

这给我们一个很好的经验，你不需要建造一个宏伟的闪亮城堡，你不需要万事俱备才开始测试。你可以开始小的，精益的，低成本的测试，只对客户测试你想测试的部分，来验证（或反驳）你的假设。

Airbnb 的试验包含一些看起来像是一个真实功能的东西，但其实只需要摄影师就能解决。在试验过程中，摄影师为房屋拍照，然后测量 KPI ，再把有摄影师拍照和没摄影师拍照的房屋进行对比。

步骤4.衡量表现

在这个案例里， Airbnb 衡量了有专业摄影师拍摄的房屋以及屋主自己拍照的房屋的预定量。那么结果如何？有专业摄影师拍照的房屋平均预订率翻了2-3倍。

记住原始数据不是唯一重要的部分，我们需要衡量统计显著。 Airbnb 的试验数据足够证明结果的可行度。

—— Avinash

到2011年，公司已经有了20名全职摄影师。

这张图非常令人印象深刻，对吧？ Airbnb 的业务和商业模式做了很多对的事情，但精益过程和A/B测试是提高预订率的关键因素，显然，试验是成功的。

从 Airbnb 的案例中我们学到什么？

精益数据分析循环是快速推动变革非常核心的因素。精益数据分析循环和精益模式是一个整体，他们可以用于处理不确定事件，但他们不是随机的。第一步里很大的考量是如何确定 KPI （包含“一个关键指标”），这将成为我们试验的指引。第二步里有很多考虑，以确保能做出最佳假设，然后通过深入清晰地定义 who ， what ， why 来弄清楚如何进行试验。最后，衡量我们是否成功。然后不断内化吸收，最终成功。

关于数分析闭环的一些思考

要让数据闭环的价值充分体现出来，企业必须具备两个核心条件：

1.创造和使用数据的人，需要具备用数据来分析和决策的能力，特别是能够把具体数据对应的业务意义理解清楚，这些人硅谷互联网圈称之为“增长黑客”。

举例来说，如果 Airbnb 的一个A/B测试的试验结果是房屋详情浏览下降而订房率上升，那么说明什么问题？应该采取什么行动？是不是因为在试验里房屋展示列表改进了，让用户可以更加快速的发现自己想要的房屋（从而减少浏览房屋的次数而提高下单的可能）？另一个相反的可能，试验里房屋列表展示有问题，让用户能点的房屋变少了，下单的增加仅仅是因为试验里增加了促销奖励？增长黑客需要对数据进行合理的判断，然后做出相应的决策（显然，不同的判断往往带来不同的决策）。如果试验结果的分析不明朗，我们可能还需要重新设计试验，比如减少试验的变量，或者增加更多的试验版本。

注意，选择合适的关键KPI作为核心优化指标（订单量），试验数据会更加容易分析。

2.产生数据的工具，需要保证数据的准确和可信，特别是A/B测试的统计结果必须足够收敛。

假如数据统计的结果是 B 版本比 A 版本提高了10%的下单，但是“误差”达到了50%，那么这个试验数据的可参考价值就几乎不存在了，对于我们的产品优化也没有用。

在关键性的企业决策工作中，人的作用依然大于机器，就是因为人可以通过经验和思考帮助判断数据的可信性，从而避免让错误的数据带来错误的决策。

答案出自王晔博士在专栏—那些数据驱动的优化发表的文章： 知乎专栏

引言——智能驾驶数据闭环方兴未艾

• 背景

2023年如白驹过隙，留下太多AI烙印。年初GPT爆发；6月Tesla在CVPR2023上深刻剖析WorldModel，并在最佳论文中探讨端到端智能驾驶技术；8月中黄仁勋在SIGGRAPH上发布GH200，L40S显卡和ChatUSD；8月底FSDV12彰显端到端智能驾驶的实力；9月底Wayve正式推出GAIA-1世界模型…AI新技术的涌现让高级别智能驾驶的到来显得愈发可信和明确，也将智能驾驶数据闭环工具的地位提到新的高度。

越来越多的OEM和智能驾驶算法、系统供应商开始选择端到端方法实现智能驾驶。端到端方法使用原始传感器的输入生成车辆运动计划，而非集中于单个任务（如检测和运动预测）。相较于传统的模块化方法，端到端系统受益于感知和规划的联合特征优化。目前这一领域正在蓬勃发展，这都得益于大规模数据集可用、闭环评估和对复杂场景下自动驾驶算法有效执行的需求日益增长[1]。

基于注意力机制的端到端模型在智能驾驶领域已显示其应用价值。扩散模型则为场景泛化，仿真及原始数据回注的闭环测试提供了关键支持，进而衍生强大的深度生成模型家族。扩散模型在图像合成、视频生成等多个领域展现了突破性的性能[2]，合成数据可用于后续的训练。扩散模型融合NeRF，也为智能驾驶三维场景仿真提供深度应用的可能。

• 智能驾驶工具链变化

智能驾驶工具链经历三个重大的发展阶段。在最初的硬件驱动阶段，因车载技术和云端限制导致数据不闭环。在随后的软件驱动阶段，云原生平台解决了数据不闭环的难题。当下正处于数据驱动阶段，面向L2+级别的智能驾驶和PB级别的待处理数据，数据闭环急需高效的数据生产能力和深入的AI分析能力。

与供应商共建的车云一体化工具链，将成为OEM快速迭代智能驾驶系统的核心竞争力和宝贵资产。车云一体化工具链实现了高度自动化，能够支持海量数据的生成，存储和强大计算力的高效调度。

• OrienLink平台介绍

OrienLink是经纬恒润推出的基于云原生和AI前沿技术的智能驾驶数据闭环工具。旨在从数据生产端，到模型和功能开发端，到测试端加速智能驾驶的开发和迭代。

本文将从云上工具闭环，云上数据闭环，高效智能数据工厂三个方面展开，介绍经纬恒润自研的数据闭环云平台OrienLink如何生产数据，挖掘数据，提取特征，训练模型，泛化场景，并行仿真和全面评估智驾功能。

OrienLink功能介绍

面对大规模数据集的挑战，闭环评估的迫切需求，以及自动驾驶算法在复杂环境下执行效果难以评估的现状，经纬恒润凭借在智能驾驶和车辆领域的深厚积累及对行业法规的透彻理解，精心打造OrienLink智能驾驶数据闭环云平台。

OrienLink的使命是协助客户高效推进智能驾驶功能开发，构建完备，高精度的智能驾驶数据工厂，实现智能驾驶的海量数据生产。OrienLink用十个可解耦的模块支持智能驾驶产品管理，数据分析，智驾算法的开发以及验证。

• OrienLink数据管理系统

OrienLink的"DataCortex"是经纬恒润自研的智能驾驶数据管理系统，主要解决智能驾驶的非结构化、半结构化数据存储、多模态数据管理、监控和查询。中心层提供了一系列数据处理和分析工具，包括标注、校准、模拟等，确保数据的准确性和可用性。同时，底层与实际的硬件和测试场景相连接，确保数据的实时输入和输出。该系统为智能驾驶算法的研发和应用提供了强大的后台支持。

• OrienLink大数据处理

借助Data Cortex这一强大数据管理系统，OrienLink针对车辆大数据分析，为用户提供灵活的工作流调度。不论是来自激光雷达、毫米波雷达、车辆总线还是摄像头等各种车辆传感器的数据，OrienLink都能够进行高效处理。此外，为满足多样化的数据处理需求，OrienLink提供基于AI的数据处理方法和基于脚本的数据清洗、特征提取、数据挖掘及预处理功能。OrienLink对开发者友好，支持多种编程语言接口，包括C++、Python、AML以及Java。使用经纬恒润自研的智能驾驶数据处理语言——Automotive Language更能便捷完成智能驾驶数据的时空分析。开发者能够在一个统一的平台上，使用自己熟悉的语言进行高效的数据处理和分析。

• OrienLink标注与训练

通过集成4D标注，SAM语义分割和其他AI模型，OrienLink标注系统能够对智能驾驶数据进行高效的自动标注，显著减少人工标注的时间和成本，量产AI“燃料”。除了基本的自动标注功能，该模块还支持跟踪标注和激光雷达点云、车身环视摄像头的联合标注。这为精准的车辆感知和决策提供了坚实的数据基础。此外，为满足多元化的场景需求，该系统支持障碍物和道路标线的标注，并提供基于计算机图形学的用户界面，包含自动贴边功能，使客户能够快速进行后期数据修正。

标注工作完成后，这些带有标签的数据将被输送到OrienLink模型训练模块，此模块拥有分布式计算能力，为用户提供数据分布式训练服务，加速模型的训练过程并确保训练的准确性和稳定性。

标注生成的标签可用于数据集的检索。用户可以更加快速和便捷地整合，筛选和下载所需的数据集，提高数据管理和应用的效率。

• OrienLink数据管理系统

OrienLink LogSim将采集的智能驾驶数据按照采集的时间戳重新输入到智能驾驶算法中，以验证算法的准确性。

OrienLink WorldSim在三维引擎中自动生成驾驶场景，并将其回注到智能驾驶算法中进行验证。在OrienLink的云仿真模块，场景泛化是核心功能之一。该模块能够基于Operational Design Domain (ODD)生成的OpenSCENARIO 2.0脚本和场景边界来生成大量虚拟驾驶场景。这些场景包含智能驾驶可能遇到的各种静态和动态要素[3]，为算法提供了全面的测试和验证环境。

为了确保生成的场景具有代表性和真实性，OrienLink采用基于随机约束验证的场景构建技术[4]。场景的生成不是完全随机，而是在一定的约束条件（产品定义，功能安全和事故边界）下进行。确保生成的场景能够真实地反映驾驶过程可能遇到的各种复杂情况。

OrienLink的仿真执行系统基于DDS进行构建，保证数据的传输和处理高精度且高效率。OrienLink回注时间的精确度达到了毫秒级，算法可以在短时间接收并处理大量的数据。

OrienLink系统还具有高度的扩展性和灵活性。采用容器和分布式技术，在硬件允许情况下可以进行大规模的数据回注和仿真操作。系统还具有动态资源管理功能，可以根据需要自动回收不再使用的内存资源。这些技术确保OrienLink系统在处理大规模数据时既高效又稳定。

• OrienLink智能驾驶功能评估

在完成并行仿真或实车数据采集后，OrienLink的大数据分析模块能够进行深入的分析和结果评估。OrienLinkBI工具为数据的可视化展示提供强大支持。OrienLink已经集成了上万条经纬恒润自研的智能驾驶功能分析算子，在仿真回归测试中能够进行精确分析和统计，不仅快速定位并修复功能缺陷，还为算法模型的进一步优化指明方向。

Orienlink的架构与部署

• OrienLink架构与服务

在大数据和AI模型的浪潮中，OrienLink准确把握时代发展趋势，融合AI核心技术，实现多模态数据的深入挖掘、自动标注、模型训练与部署。不仅全面支持端到端模型的完整训练，还对离线模型进行精细化测试，结合触发式自动化测试和CI/CD流水线，确保软件算法的快速迭代和稳定更新。

OrienLink新版数据系统引入先进的向量数据库，新增了AI模型层。为了更好地服务开发者，OrienLink开放Python/C++的API、CLI和Restful API，提供便捷的数据、模型分发及应用方式。

作为一个开放且可集成的平台，OrienLink提炼智能驾驶领域的专业知识，实现产品模块化，支持将应用模块便捷集成到客户现有系统中。

OrienLink团队汇集了一批专业的智能驾驶解决方案架构师，他们专注于深入了解并分析客户现有的智能驾驶系统和IT架构，为客户量身定制既灵活又高效的智能驾驶数据处理闭环解决方案，满足客户实际需求。

• IT基础设施

OrienLink考虑了各类企业和组织的特定需求，具备高度的部署灵活性，可无缝运行于公有云或私有云环境。无论面临大量数据处理的挑战，还是私有数据中心的限制，OrienLink IT解决方案架构师都会根据客户智能驾驶业务发展阶段和技术架构的不同，为客户量身定制集成部署方案，确保客户在各个阶段均能实现基础算力和存储资源的高效配置。

OrienLink在未来

OrienLink持续探索和整合最新的数据挖掘和人工智能技术，11月18⽇即将发布的v1.1.2版本可快速通过自然语言、声音或者图⽚，检索和提取数据集中的关键场景。

在三维场景生成领域，OrienLink致力于研发基于NerF技术的三维场景生成方法，深入探索基于神经场景图的场景重建技术，旨在提供更加强大且灵活的真实与虚拟场景重建及泛化方案。

展望未来，OrienLink将继续秉持技术创新理念，为用户提供更先进，高效且个性化的服务，助力快速实现智能驾驶。

参考⽂献：

[1]: Chen, Li, et al. "End-to-end autonomous driving: Challenges and frontiers." _arXiv preprint arXiv:2306.16927_ (2023).

[2]: Yang, Ling, et al. "Diffusion models: A comprehensive survey of methods and applications." _ACM Computing Surveys_ (2022).

[3]: Scholtes, Maike, et al. "6-layer model for a structured description and categorization of urban traffic and environment." IEEE Access 9 (2021): 59131-59147.

[4]: Introduction about Advanced Functional Verification

作者| 四号线坐不到底

在汽车新四化（电动化、网联化、智能化、共享化）浪潮的洗礼下，汽车正在朝着移动算力终端和存储终端的道路上进化，这些安装了了大量传感器和大算力单元的汽车，随时随地都将产生大量的数据。

这些数据在汽车的研发、测试、量产、运营、售后等全生命周期内都具有极大的价值。

而伴随着高阶辅助驾驶/自动驾驶的发展，如何对数据进行高效收集和利用，如何提高数据链路循环的速度，成为高阶辅助驾驶/自动驾驶技术迭代的关键，也让数据闭环的重要性与紧迫性越发体现。

01数据闭环典型步骤介绍

所谓数据闭环，是指以车辆产生的数据为对象，针对其进行采集、存储、处理到应用的全过程，是高阶辅助驾驶/自动驾驶技术实现的基础，典型步骤如图1所示。

数据采集，指的是当车辆触发异常工况时，车辆对异常控制模块数据以及毫米波雷达、摄像头、激光雷达和惯性测量单元等传感器的数据进行采集。

数据存储，指的是数据采集完成后，车辆的本地存储、上传至云端后的云端存储，包括了结构化数据存储和异构化数据存储。

数据分析，通过对采集数据的清洗、特征提取、建模与预测等，提取有用的信息，提供数据展示和分析，数据回放，辅助异常分析、商业和管理决策等。

数据标注，通过专业的标注工具，人工标注员根据标准的标注流程对采集数据中的道路标志、车道线、交通灯、障碍物等等数据进行标注，提高数据的质量和可用性，让车辆更好地理解周围的环境。

数据训练，通过对数据的运用，建立算法库，进行算法管理、训练数据集管理、模型训练和模型评估等。

数据部署，建立自动驾驶仿真平台，运用数据提升云仿真能力，包含仿真引擎、场景数据库、测试任务管理和测试评价体系。

02数据闭环典型方案

目前，Tesla以Autopilot数据引擎框架为核心，基于车端传感器获取数据后，在数据管理平台上，首先经过单元测试确认模型误差，然后经过数据清洗与标注，最后完成模型训练与部署，整体架构如图2所示。

Waymo采用的基本框架与Tesla基本一致，如图3所示，但增加了数据挖掘、主动学习、自动标注等模块，获取车端数据后，通过数据筛选、挖掘和主动学习等数据标注手段获得真值，并对模型完成优化和测试后，再进行部署。

NVIDIA基于闭环的模型迭代，开发建立了针对自动驾驶领域的机器学习平台MAGLEV，如图4所示，其中也包括了数据选择、数据标注、模型搜索、训练、评估、调试和部署。

03数据闭环应用难点

数据闭环在高阶辅助驾驶/自动驾驶的应用主要有3个难点：量产、合规和数据管理平台。

一、量产

针对数据传输以及数据特点，数据采集车和量产车有以下不同点。

量产车是在车端触发埋点数据的采集和上传，由合规化数据平台完成数据的接收、转发、存储及处理，具有数据格式复杂、数据包上传传输不稳定、数据上传大小不一致、数据流量并发与闲时差异大等特征。方案需要设计合理的“流量估算模型”，确定合理的流量估算方法和公式，确保每个数据转发节点在高并发期具备充足的带宽。

二、合规

由于现在的高阶辅助驾驶/自动驾驶车辆上装有激光雷达等高精度感知传感器，在车辆开启高阶辅助驾驶功能/自动驾驶后，这些传感器会对环境信息进行探测并记录，但是这些车辆不具备测绘资质，这会导致数据风险。为了避免这个风险，数据合规就成为守护车辆数据的关键。

数据合规是数据闭环与数据平台的核心与基础，首先需要建设主机厂的本地合规室以满足量产车和采集车的数据合规，其次需要明确相关数据供应商例如图商对数据处理的时效性和有效性。

（1）时效性。量产车数据上传后，需要于规定的时间内在本地合规室内完成数据的脱敏脱密处理，防止影响后续数据应用的时效性以及对加密机房存储资源的过度占用。涉密数据主要包含两类，一类是来自工信部的涉及人脸和车牌的数据；另一类是来自自然资源部的涉及测绘类别的数据。

（2）有效性。在本地合规室进行的数据处理，首先要保证完成法规要求的脱敏脱密服务，确保数据合规性达到法规要求（例如车牌、人脸不可逆遮盖率达到95%以上）。其次需要以通用数据应用格式进行输出，保证数据能有效地被标注、仿真、训练等。具体的监管要求如下表所示。

三、数据管理平台

数据管理平台是高阶辅助驾驶/自动驾驶研发的重要基础之一，承担着高阶辅助驾驶/自动驾驶域的数据注入、数据传输、数据存储、数据处理和数据管理服务。可以为高阶辅助驾驶/自动驾驶研发过程中的corner case问题分析、感知模型训练、数据标注、仿真场景、评测验证等提供数据支撑，是衡量高阶辅助驾驶/自动驾驶研发能力和水平的关键。

同时基于数据驱动的感知和规划决策数据闭环，满足多场景数据存储和使用需求，进一步挖掘数据价值，为进一步提升高阶辅助驾驶/自动驾驶水平提供数据支撑。在大规模数据集建立的过程中需要完成采集、标注工作。综上，数据存储服务是ADS领域不可缺少、关键核心服务之一。因此需要建立一套高效的，高度自动化以及高自由度的数据管理平台。

数据管理平台有如下几个作用。

（1）数据收集与存储。高阶辅助驾驶/自动驾驶车辆需要大量的传感器（包括激光雷达、毫米波雷达、摄像头、惯性测量单元等等）感知与采集周围环境的数据。车辆会实时采集这些数据并进行存储，通过网络上传至云端后，数据管理平台可以收集和存储这些数据并提供高效的数据存储和管理机制。

（2）数据处理与分析。在车端，高阶辅助驾驶/自动驾驶车辆通过对采集的数据进行实时处理与分析，识别周边环境中的障碍物、行人和车辆等，并决策适当的驾驶策略控制车辆。数据管理平台可以提供强大的数据处理和分析能力，包含数据清洗、特征提取、建模和预测等，为高阶辅助驾驶/自动驾驶车辆的性能优化和安全性提供帮助。

（3）数据标注与质量控制。为了让高阶辅助驾驶/自动驾驶车辆更好的理解周围的环境，需要对采集的数据（例如道路标志、车道线、交通灯等等）进行标注和质量控制，数据管理平台可以提供标注工具和标注流程帮助

（4）数据验证与共享协作。在车辆实际的驾驶场景中，需要对其高阶辅助驾驶/自动驾驶性能和安全性进行验证。数据管理平台可以提供精细的数据分析和评估为高阶辅助驾驶/自动驾驶车辆进行数据验证。还可以支持多个团队与个人之间的数据共享与协作，促进经验的交流和共享。

数据管理平台的直接使用方为主机厂，需要考虑到业务部门使用平台软件时的操作便利度和产品逻辑合理度，以可视化回放复现车辆当时处于的情况，帮助分析车辆行驶中发生的问题。同时需要提供视频、点云等数据的可视化回放功能，在数据管理平台上即可对数据集进行快速的关联预览。

04 小结

数据闭环在高阶辅助驾驶/自动驾驶领域中可以用于统计驾驶员行为以及高阶辅助驾驶/自动驾驶功能使用情况，给市场策划与产品规划赋能；针对功能本身可以帮助应对长尾效应，优化迭代自驾算法；当发生事故时，可以将事故发生场景及自驾系统数据回传，为责任认定提供证据。

虽然数据闭环对于高阶辅助驾驶/自动驾驶的发展有这么多的优势，但量产、合规、数据管理平台这三个重点问题如果不解决，数据闭环终究只是镜花水月，只是PPT上的产物。

paper: https://arxiv.org/pdf/2310.02601.pdf
project: https://gaoruiyuan.com/magicdrive/

笔者的个人理解

使用扩散模型生成街景图像用于图像增强，已有工作通过2D bbox和segment作为条件，本文拓展到相机位姿（embedding），道路地图（embedding）和3D边界框（embedding）及场景描述（文本）作为控制条件

关注知乎 @自动驾驶之心，第一时间获取自动驾驶感知/定位/融合/规控等行业最新内容

论文思路

最近在扩散模型方面的进展显著提升了与2D控制相关的数据合成。然而,在街景生成中精确的3D控制对于3D感知任务至关重要,但仍然难以实现。具体而言,将鸟瞰图（BEV）作为主要条件通常会导致在几何控制方面（例如高度）出现挑战,从而影响对象形状、遮挡模式和道路表面高程的表示,所有这些对于感知数据合成尤为重要,特别是对于3D对象检测任务而言。在本文中,本文介绍了MAGICDRIVE,这是一种新颖的街景生成框架,提供多样化的3D几何控制,包括相机位姿、道路地图和3D边界框,以及通过量身定制的编码策略实现的文本描述。此外,本文的设计还包括一个跨视图注意力模块,确保在多个摄像机视图之间保持一致性。通过MAGICDRIVE,本文实现了高保真的街景合成,捕捉到微妙的3D几何和各种场景描述,从而增强了诸如BEV分割和3D对象检测等任务。

相关工作

条件生成的扩散模型。 扩散模型通过学习从高斯噪声分布到图像分布的渐进去噪过程生成图像。由于它们在处理各种形式的控制和多种条件方面的适应性和能力,这些模型在各种任务中表现出色,如文本到图像的合成,修复以及指导性图像编辑。此外,从几何标注中合成的数据可以帮助下游任务,如2D目标检测。因此,本文探讨了text-to-image (T2I)扩散模型在生成街景图像并惠及下游3D感知模型方面的潜力。

街景生成。 许多街景生成模型以2D布局为条件,如2D边界框和语义分割。这些方法利用与图像比例直接对应的2D布局信息,而3D信息则不具备这种特性,因此使得这些方法不适用于利用3D信息进行生成。对于带有3D几何的街景合成,BEVGen是第一个进行尝试的。它使用BEV地图作为道路和车辆的条件。然而,省略高度信息限制了它在3D目标检测中的应用。BEVControl通过高度提升过程修正了对象高度的损失,但是从3D到2D的投影导致了关键的3D几何信息的丧失,如深度和遮挡。因此,它们都没有充分利用3D标注,也不能利用对驾驶场景的文本控制。在本文中,本文提出分别对边界框和道路地图进行编码,以实现更为微妙的控制,并整合场景描述,提供对街景生成的增强控制。

3D场景的多摄像机图像生成 基本上需要视角一致性。在室内场景的背景下,一些研究已经解决了这个问题。例如,MVDiffusion使用全景图像和交叉视图注意力模块来保持全局一致性,而pose-guided diffusion则利用极线几何作为约束先验。然而,这些方法主要依赖于图像视图的连续性,而在街景中并不总是满足,因为摄像机重叠有限。本文的MAGICDRIVE在UNet中引入了额外的跨视图注意力模块,显著增强了跨多摄像机视图的一致性。

主要贡献

尽管MAGICDRIVE框架非常简单,但在生成与道路地图、3D边界框和多样化摄像机视角相一致的逼真图像方面表现出色。此外,生成的图像可以增强对3D对象检测和BEV分割任务的训练。MAGICDRIVE在场景、背景和前景层面提供了全面的几何控制。这种灵活性使其能够创造出以前未曾见过的适用于仿真目的的街景视图。本文总结本工作的主要贡献如下：

• 引入了MAGICDRIVE,这是一个创新的框架,生成基于BEV和为自动驾驶量身定制的3D数据的多透视摄像机视图。
• 开发了简单而强大的策略,有效应对多摄像机视图一致性的挑战,对3D几何数据进行管理。
• 通过严格的实验证明,MAGICDRIVE在先前的街景生成技术方面表现出色,尤其是在多维度可控性方面。此外,本文的结果显示,合成数据在3D感知任务中带来了显著的改进。

方法设计

问题表述

在本文中,本文将激光雷达系统的坐标视为主车的坐标,并根据它参数化所有几何信息。设 \mathbf{S}=\{\mathbf{M}, \mathbf{B}, \mathbf{L}\} 是对主车周围驾驶场景的描述,, 其中 \mathbf{M} \in\{0,1\}^{w \times h \times c} 是表示 BEV 中 w \times h 米道路区域的二值图,具有 c 个语义类别, 对于场景中的每个对象, \mathbf{B}=\left\{\left(c_i, b_i\right)\right\}_{i=1}^N 表示 3D 边界框位置 \left(b_i=\left\{\left(x_j, y_j, z_j\right)\right\}_{j=1}^8 \in \mathbb{R}^{8 \times 3}\right) 和类别 \left(c_i \in \mathcal{C}\right), \mathbf{L} 是描述场景附加信息的文本（例如,天气和一天中的时间）。 给定一个相机位姿 \mathbf{P}=[\mathbf{K}, \mathbf{R}, \mathbf{T}], 街景图像生成的目标是学习一个生成器 \mathcal{G}(\cdot) 合成真实图像 I \in \mathbb{R}^{H \times W \times 3} 对应场景 \mathbf{S}和相机位姿 \mathbf{P}下, I=\mathcal{G}(\mathbf{S}, \mathbf{P}, z), 其中 z \sim \mathcal{N}(0,1) 是服从随机高斯分布.

条件扩散模型。 扩散模型通过迭代T次随机高斯噪声\left(\boldsymbol{x}_T\right)的去噪过程来生成图像 \left(\boldsymbol{x}_0\right)。 通常为了学习去噪过程, 网络被训练为通过最小化均方误差来预测噪声:

\ell_{\text {simple }}=\mathbb{E}_{\boldsymbol{x}_0, \boldsymbol{c}, \boldsymbol{\epsilon}, t}\left[\left\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \boldsymbol{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t, \boldsymbol{c}\right)\right\|^2\right], \\

其中 \epsilon_\theta 是要训练的网络, 参数\theta, \boldsymbol{c} 是可选的条件用于条件生成, t \in[0, T] 是时间步长, \epsilon \in \mathcal{N}(0, I) 是加性高斯噪声,并且 \bar{\alpha}_t是标量参数. Latent diffusion models (LDM) 是特殊的一种扩散模型, 这类模型初始化一个预训练的Vector Quantized Variational AutoEncoder (VQVAE,矢量量化变分自动编码器)并在隐空间执行扩散过程. 给定一个VQ-VAE编码器 z=\mathcal{E}(x), 在LDM中,可以把\boldsymbol{\epsilon}_\theta(\cdot)重写为\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \mathcal{E}\left(\boldsymbol{x}_0\right)+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t, \boldsymbol{c}\right)。此外,LDM 将描述图像的文本视为条件c.

具有 3D 信息的街景生成

几何条件编码

如图所示,采用两种策略将信息注入到扩散模型的 UNet 中：交叉注意力和加性编码器分支。鉴于注意力机制是针对顺序数据量身定制的,交叉注意力适用于管理可变长度输入,例如文本标记和边界框。相反,对于网格状数据,例如道路地图,加法编码器分支在信息注入方面是有效的。因此,MAGICDRIVE 针对各种情况采用不同的编码模块。

Scene-level Encoding 包含相机位姿 \mathbf{P}=\left\{\mathbf{K} \in \mathbb{R}^{3 \times 3}, \mathbf{R} \in \mathbb{R}^{3 \times 3}, \mathbf{T} \in \mathbb{R}^{3 \times 1}\right\}, 和文本序列\mathbf{L}. 对于文本来说, 对于文本,本文使用模板构建提示：“在 {location} 的驾驶场景图像。 {description} ”,并利用预训练的 CLIP 文本编码器\left(E_{\text {text }}\right) 作为 LDM. 对于相机姿态,本文首先 将每个参数按其列连接起来,得到\overline{\mathbf{P}}=[\mathbf{K}, \mathbf{R}, \mathbf{T}]^T \in \mathbb{R}^{7 \times 3}. 由于 \overline{\mathbf{P}} 包含来自 sin/cos 函数的值以及 3D 偏移,为了让模型有效地解释这些高频变化,本文将傅立叶embedding应用于每个 3 维向量,然后再利用多层感知（MLP、Ecam）来embedding相机位姿参数, 为了保持一致性,本文将 h^c 的维度设置为与 h_i^t 相同。 通过 CLIP 文本编码器,每个embedding h_i^t 的文本已经包含位置信息。因此,本文将相机姿势embedding h^c 添加到文本embedding之前,从而产生场景级embedding \boldsymbol{h}^s=\left[h^c, \boldsymbol{h}^t\right].

\begin{aligned} \boldsymbol{h}^t & =\left[h_1^t \ldots h_L^t\right]=E_{\text {text }}(\mathbf{L}), \\ h^c & =E_{\text {cam }}(\operatorname{Fourier}(\overline{\mathbf{P}}))=E_{\text {cam }}\left(\operatorname{Fourier}\left([\mathbf{K}, \mathbf{R}, \mathbf{T}]^T\right)\right) . \end{aligned} \\

3D 边界框编码。 由于每个驾驶场景都有不同长度的边界框,因此本文通过类似于场景级信息的交叉注意机制注入它们。具体来说,本文将每个框编码为隐藏向量 h^b,其维度与 h^t 相同。 每个 3D 边界框 \left(c_i, b_i\right) 包含两种类型的信息：类标签 c_i 和框位置 b_i。 对于类别标签, 类别名称 \left(L_{c_i}\right) 的池化向量被视为标签embedding。 对于框位置 b_i \in \mathbb{R}^{8 \times 3},由其 8 个角点的坐标表示,本文对每个点使用傅里叶embedding,并通过 MLP 进行编码。然后使用 MLP 将类和位置向量压缩到一个隐藏向量中。每个场景的所有边界框的最终隐状态表示为 \boldsymbol{h}^b=\left[ h_1^b \ldots h_N^b\right],其中 N 是bbox的数量。

\begin{aligned} & e_c^b(i)=\operatorname{AvgPool}\left(E_{\text {text }}\left(L_{c_i}\right)\right), e_p^b(i)=\operatorname{MLP}_p\left(\operatorname{Fourier}\left(b_i\right)\right), \\ & h_i^b=E_{b o x}\left(c_i, b_i\right)=\operatorname{MLP}_b\left(e_c^b(i), e_p^b(i)\right) . \end{aligned} \\

理想情况下,模型通过训练学习边界框和相机姿态之间的几何关系。 然而,不同视图的可见框数量的分布是长尾的。因此,本文通过过滤每个视图 \left(v_i\right) 的可见对象来引导学习。此外,本文还添加了不可见的框进行增强。

\boldsymbol{h}_{v_i}^b=\left\{h_i^b \in \boldsymbol{h}^b \mid f_{v i z}\left(b_i, \mathbf{R}_{v_i}, \mathbf{T}_{v_i}\right)>0\right\} . \\

Road Map编码. 地图是2D网格的形式. 已有工作表明addictive编码器可以将此类数据纳入 2 \mathrm{D} 指导,地图的 BEV 和相机的第一人称视角 (FPV) 之间固有的视角差异会产生差异。BEVControl采用反投影从 BEV 转换为 FPV,但由于不适定问题而使情况变得复杂。在 MAGICDRIVE 中,本文提出显式视图变换是不必要的,因为足够的 3D 线索（例如,距对象框的高度和相机姿势）允许addictive编码器完成视图变换。具体来说,本文将场景级和 3D 边界框嵌入集成到地图编码器中。 场景级嵌入提供相机姿势,框嵌入提供道路高程提示。此外,合并文本描述有助于在不同条件下生成道路（例如,天气和一天中的时间）。因此,地图编码器可以与其他条件协同生成。

跨视角attention模块

在多摄像机视图生成中，图像合成在不同视角之间保持一致至关重要。 为了保持一致性，本文引入了跨视图注意模块。 考虑到驾驶环境中摄像头的稀疏排列，每个交叉视图注意力都允许目标视图从其直接左视图和右视图访问信息； 其中，t、l和r分别是目标视图、左视图和右视图。 然后目标视图通过跳跃连接聚合此类信息，\boldsymbol{h}^v 表示目标视图的隐状态。

\begin{aligned} & \text { Attention }_{c v}^i\left(Q_t, K_i, V_i\right)=\operatorname{softmax}\left(\frac{Q_t K_i^T}{\sqrt{d}}\right) \cdot V_i, i \in\{l, r\}, \\ & \boldsymbol{h}_{\text {out }}^v=\boldsymbol{h}_{i n}^v+\text { Attention }_{c v}^l+\text { Attention }_{c v}^r . \end{aligned} \\

本文在 UNet 中的交叉注意模块之后注入交叉视图注意，并应用零初始化来引导优化。 UNet 的多层结构使得能够在多个堆叠块之后聚合来自远程视图的信息。 因此，对相邻视图使用跨视图注意力足以保证多视图一致性。

模型训练

Classifier-free Guidance 增强了条件指导的影响。 为了有效的 CFG，模型需要在训练过程中偶尔丢弃条件。 鉴于每种条件的独特性，对于多种条件应用丢弃策略是复杂的。 因此，本文的 MAGICDRIVE 通过以 \gamma^s 的速率同时删除场景级条件（相机姿势和文本嵌入），简化了四种条件。 对于在编码中具有 null 语义表示的框和地图（即，框中的填充标记和映射中的 0），本文在整个训练过程中维护它们。 在推理时，本文对所有条件都使用 null，从而实现有意义的放大来指导生成。

训练目标和增强 将所有条件作为输入注入后，本文训练目标调整为多条件场景。

\ell=\mathbb{E}_{\boldsymbol{x}_0, \boldsymbol{\epsilon}, t,\{\boldsymbol{S}, \boldsymbol{P}\}}\left[\| \boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \mathcal{E}\left(\boldsymbol{x}_0\right)+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t,\{\mathbf{S}, \mathbf{P}\}\right)\right] . \\

此外，本文在训练 MAGICDRIVE 时强调两个基本策略。 首先，为了抵消本文对可见框的过滤，本文随机添加 10 \% 不可见框作为增强，增强模型的几何变换能力。 其次，为了利用跨视图注意力，促进跨多个视图的信息共享，本文在每个训练步骤中将独特的噪声应用于不同的视图，从而防止损失出现局部解（例如，跨不同视图输出共享组件）。 相同的随机噪声专门用于推理。

实验结果

实验设置

数据集和基线。 本文选择nuScenes数据集作为MAGICDRIVE的测试基础，这是一个在驾驶中用于BEV分割和检测的常见数据集。本文遵循官方配置，使用700个街景场景进行训练，150个进行验证。本文的基线是BEVGen和BEVControl，它们都是最近提出的街景生成方法。本文的方法考虑了10个对象类别和8个道路类别，多样性方面超过了基线模型。

评估指标。 本文评估街景生成的逼真度和可控性。逼真度主要使用Frechet Inception Distance（FID）进行测量，反映图像合成质量。对于可控性，通过两个感知任务对MAGICDRIVE进行评估：BEV分割和3D对象检测，分别使用CVT和BEVFusion作为感知模型。它们在每个任务中的性能都很出色。首先，本文生成与验证集注释对齐的图像，并使用在真实数据上预训练的感知模型评估图像质量和控制精度。然后，基于训练集生成数据，以检查对训练感知模型的支持作为数据增强。

可控阶段具体怎么用？ 条件来自验证集，基于训练集生成数据作为训练模型的数据增强；

模型设置。 本文的MAGICDRIVE使用来自Stable Diffusion v1.5的预训练权重，仅训练新增的参数。根据Zhang等人的说法，为Emap创建了一个可训练的UNet编码器。新参数，除了零初始化模块和类令牌之外，都是随机初始化的。本文采用两个分辨率来协调感知任务和基线之间的差异：224×400（0.25×下采样），遵循BEVGen和CVT模型支持，并且更高的272×736（0.5×下采样）用于BEVFusion的支持。除非另有说明，图像使用UniPC调度程序进行20步采样，CFG设置为2.0。

Main Results

结论

本文介绍了MAGICDRIVE，一种新颖的框架，用于对高质量多摄像机街景生成进行多重几何控制的编码。通过分离编码设计，MAGICDRIVE充分利用来自3D标注的几何信息，并实现对街景的准确语义控制。此外，所提出的跨视图注意力模块简单而有效，确保了在多摄像机视图之间的一致性。正如实验证明的那样，MAGICDRIVE生成的图像表现出对3D标注的高逼真度和保真度。多重控制使MAGICDRIVE在生成新的街景时具有更强的泛化能力。与此同时，MAGICDRIVE可用于数据增强，有助于在BEV分割和3D目标检测任务上对感知模型进行训练。

限制与未来工作。尽管MAGICDRIVE可以生成夜间视图，但它们不如真实图像那么暗。这可能是因为扩散模型难以生成过于黑暗的图像。MAGICDRIVE无法为nuScenes生成未见过的天气情况。未来的工作可能集中在如何提高街景生成的跨领域泛化能力上。

总结：没有数据源导入的限制，自主选择数据的时间和方式。建立在Hadoop集群上，依靠完整的ETL循环过程，直连即可进行数据分析。灵活的集成点，轻松建立数据关联。让数据闭环更有价值，推动企业的业务发展。

大数据被广泛而热烈地讨论着，数据本是一个样本的东西，但是科学技术让它变成了高大上的存在，改变着人们的生活生产方式。大数据可以告诉我们个人行为习惯，企业发展趋势，城市交通现状，人口组成变化等等等等，在庞大的社会资源面前，大数据几乎可以被运用到任何一个行业和领域。但是要让大数据真正做到有价值，并不是件容易的事。

那么什么样的数据是有价值的呢？

在以流式方式产生数据的时代，并不是什么都能拉到篮里成为菜，从海量数据中获取有价值的那部分才是关键的。很多企业积极紧跟大数据的脚步，开展大数据建设，但却存在盲目收集数据并进行分析的情况，更多数据不意味着就可以转化为有意义的洞察。无论整体规划、技术平台还是业务流程，大多数企业并未针对大数据分析做出特别的调整与变化，所以在大数据建设上也就无法获得预期的效果。

数据闭环的重要性

数据的准确、真实、全面、精细，都是影响最终分析结果的因素，可实践的数据才能让企业获得前瞻性的预测。数据从一端流向另一端，无可避免会产生转化率的问题，很多企业或行业无法完善流转间的数据留存，无法清晰统计转化的方向，如果数据本身不靠谱，那么结果也只能“呵呵”了。只有实现完整的数据闭环，才能让数据挖掘、数据分析变成商业价值。从布点、收集、存储、刷新、识辨、关联、挖掘、决策、行动、再到反馈，这样一个闭环，才能让数据驱动业务。搭建一个适应大数据时代的技术架构，让企业转型变简单。

解决方案：

那么如何达到这个效果呢？你仅仅需要一个端到端的解决方案，它几乎没有数据源限制，从常见的数据源里，无论数据量大小，结构化还是非结构化，一次性的还是持续性的数据，均可直接导入，还可以自主选择数据的时间和方式。建立在Hadoop集群上，数据集成、数据准备、数据挖掘（全量运算）、数据分析、数据可视化（数据输出），形成一个循环的过程，连接数据就可以实时得到分析结构。它还拥有强大的企业级数据管理能力，配合灵活的集成点，更利于数据流依赖关系的管理。可以输入、输出数据或者建立数据关联，也可以进行数据存储和分区、压缩，保留策略、数据分析、来源分析和元分析。几近完美的它就是：亦策大数据平台，网址是： http://www.ebistrategy.com。

数据是非常强大的，然而通过数据转化得到清晰有价值的结论并不是一间容易的事。不是为了大数据而大数据，重要的是从你的原始数据中找到切实的规律，扩展到每个公司层级，让整个公司数据能力工程化，细化准确的数据，完整的数据闭环，让企业在海量数据中获得有价值的分析，制定可执行的方案，最终推动业务发展。

希望可以帮到你！