在投资领域，关于中小企业的数据一直是一个难题。这并不是因为数据的质量或准确性存在问题，而是因为这些数据根本难以获取。评估中小企业的信用状况历来充满挑战，因为它们的财务数据通常不对外公开，难以触及。然而，S&P Global Market Intelligence，作为S&P Global旗下领先的信用评级和基准提供商，宣称已经解决了这一长期存在的问题。
一、挑战与解决方案：RiskGauge平台的诞生
S&P的技术团队开发了一款名为RiskGauge的AI平台，该平台能够从超过2亿个网站中爬取难以捉摸的数据，通过一系列算法处理这些数据，并生成风险评分。RiskGauge的构建基于Snowflake架构，这一创新举措使S&P对中小企业的数据覆盖范围扩大了5倍。
“我们的目标是扩大覆盖范围并提高效率，”S&P Global风险解决方案新产品开发的负责人Moody Hadi解释道，“这个项目提高了数据的准确性和覆盖范围，为客户带来了实实在在的利益。”
RiskGauge平台的核心在于其强大的数据收集和处理能力。Hadi的团队利用深度网络爬虫技术，从非结构化网页内容中提取公司基本信息，并与匿名化的第三方数据集相结合。随后，通过集成学习算法对这些数据进行深入分析，生成信用评分。
深度网络爬虫是RiskGauge能够处理如此庞大数据量的关键。它不仅能够抓取公司网站的基本“联系我们”和落地页信息，还能深入多个URL层级，挖掘与新闻相关的数据。这一过程完全自动化，无需人工干预，大大提高了数据收集的效率。
集成学习算法则在数据处理和信用评分生成中发挥了重要作用。这些算法结合了多个模型的预测结果，通过“投票”机制来验证公司信息的准确性，如公司名称、业务描述、行业领域、地理位置和运营活动等。这种方法有效提高了数据处理的准确性和效率。
三、Snowflake架构：支持大规模数据处理的强大后盾
Snowflake架构为RiskGauge平台提供了强大的数据处理和分析能力。S&P利用Snowflake的数据仓库和Snowpark Container Services，在数据预处理、挖掘和整理阶段发挥了关键作用。Snowflake的分布式计算能力和弹性扩展特性，使得S&P能够高效地处理和分析海量数据，为RiskGauge平台提供了坚实的技术基础。
四、持续更新与监控：确保数据的时效性和准确性
RiskGauge平台不仅具备强大的数据收集和处理能力，还注重数据的时效性和准确性。系统会对已抓取的公司网站进行持续监控，每周自动进行扫描。只有当检测到网站内容发生变化时，系统才会更新相关信息。这种机制确保了RiskGauge平台上的数据始终保持最新状态。
五、RiskGauge平台的应用与影响
RiskGauge平台的应用范围广泛，不仅限于金融机构。它能够为机构投资者、银行、保险公司、财富管理公司等提供中小企业的信用评分和风险评估报告，帮助他们做出更明智的决策。同时，投资者还可以通过RiskGauge平台比较不同公司的信用状况，发现潜在的投资机会。
随着RiskGauge平台的推出，S&P在中小企业数据覆盖方面的优势进一步凸显。这将有助于提升整个投资行业的风险管理水平，推动中小企业的融资和发展。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/s-p-ru-he-li-yong-shen-du-wang-luo-pa-chong-ji-cheng-xue-xi
