AI推理

是石科技发布TokenFleet分布式调度框架，通过请求路由、跨机房容量协同和混合负载治理提升推理集群有效产出。GLM5.3调优数据显示，P95首Token延迟降低32.4%，达标输出吞吐测算提高约29.4%。

微软发布第三代自研 AI 芯片 Maia 300，计划从 2027 年开始将其用于生产 AI 推理负载，并逐步降低对 Nvidia 和 AMD 外部 GPU 的依赖。

AI推理基础设施公司Modal Labs被曝正接近完成由Accel领投的7.5亿美元融资，投后估值达到157.5亿美元。随着AI应用进入部署阶段，资本正在从模型训练侧转向推理服务侧。

联发科天玑9600系列将30B MoE模型带入移动端，结合2nm工艺与能效优化，端侧AI正从简单问答走向更复杂的本地任务执行。

Ramp 推出 AI 模型路由服务 Router，通过统一 API 帮助企业调用和切换多个大语言模型。该服务提供调用策略、成本监控和仪表盘，并采用默认记录、可退出的数据保留政策。

在人工智能的发展历程中，“更大的模型+更多的数据”曾是行业默认的智能提升公式。过去数年，科研界和产业界都坚信，只要不断堆叠神经网络的规模，投喂海量的互联网数据，AI就能自然进化出更…

2025年9月，图形计算巨头英伟达再次以颠覆性产品震撼人工智能硬件市场。公司正式推出全新Rubin CPX GPU系列，这款专为处理视频、音频和文本等长上下文数据优化的加速器，标志…

人工智能行业正面临一个反直觉的发现：让AI模型花费更长时间”思考”问题并不总能提升表现，在某些情况下反而会导致性能显著下降。Anthropic公司的最新研究…

在人工智能（AI）推理领域，一家名为Groq的初创企业正以其独特的技术实力和激进的市场策略，向行业内的传统巨头发起有力挑战。近日，Groq宣布了两项重大进展，不仅全面支持了阿里巴巴…

随着人工智能（AI）的飞速发展，AI已经超越了简单的文本和图像生成任务，进入了能够推理、规划和决策的新时代。然而，传统的AI模型，如GPT-4和LLaMA，在应对复杂、细致的推理任…