在人工智能（AI）领域，数据被视为最宝贵的资源。拥有强大的数据基础，模型及其支持的应用程序才能精准无误。然而，构建这一基础并非易事，尤其是在面对众多数据源，每个都承载着宝贵信息的情况下。数据团队需要为每个数据源构建和维护集成管道，以集中所需数据来支持AI工作负载。在数据规模庞大的情况下，这些管道往往会成为僵化的瓶颈，难以适应、扩展或升级。Snowflake公司近日宣布推出Openflow，一个全托管的数据摄入服务，旨在解决这一难题。
Openflow的核心功能
Openflow由Apache NiFi提供支持，使用预构建或自定义连接器，结合Snowflake的嵌入式治理和安全功能，能够从几乎任何来源拉取任何类型的数据。无论是Box中的非结构化多模态内容，还是实时事件流，Openflow都能轻松接入、统一，并使所有数据类型在Snowflake的AI数据云中即时可用。
Snowflake的副总裁Chris Child表示：“数据工程师常常面临一个关键权衡——如果他们想要高度可控的管道，就会遇到复杂性和显著的基础设施管理挑战；如果他们想要简单的解决方案，则会遇到隐私保护、灵活性和自定义方面的限制。Openflow在客户数据所在的位置与他们相遇，提供部署灵活性，同时确保整个过程中的安全性和治理。”
Openflow与现有解决方案的区别
虽然Snowflake之前已经提供了如Snowpipe等摄入选项，但Openflow提供了一个“全面、轻松的解决方案，用于摄入几乎所有企业数据”。Snowpipe和Snowpipe Streaming仍然是客户将数据引入Snowflake的关键基础，并专注于ETL过程中的“加载”环节。而Openflow则直接从源系统提取数据，然后执行转换和加载过程，并与Snowpipe Streaming架构集成，以便在数据提取后将其流式传输到Snowflake。
Openflow的广泛应用场景
Openflow目前支持200多个即插即用的连接器和处理器，涵盖了Box、Google Ads、Microsoft SharePoint、Oracle、Salesforce Data Cloud、Workday和Zendesk等服务。Box的首席技术官Ben Kus表示：“Box与Snowflake Openflow的集成利用Box AI从Box中提取数据，尊重原始权限以确保安全访问，并将数据馈送到Snowflake进行分析。它还支持双向流动，使得丰富的见解或元数据可以写回Box，随着时间的推移使内容变得更加智能。”
Openflow的广泛应用场景包括但不限于零售、金融、医疗等行业。例如，零售公司可以利用Openflow统一来自销售、电子商务、CRM和社交媒体的数据孤岛，以提供个性化体验和优化运营。
Openflow的未来展望
Snowflake计划将Openflow打造为分布式系统中实时智能数据流动的支柱，推动AI代理时代的到来。Chris Child表示：“我们正专注于在大规模上移动事件，并实现实时、代理到代理的双向通信，以便见解和行动在分布式系统之间无缝流动。例如，一个Cortex代理可以将事件传递给来自其他系统（如ServiceNow）的企业代理。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/snowflake-de-openflow-jie-jue-ai-ling-yu-zui-jian-ju-de
