模型部署
-
当模型卡不再代表线上模型:Agent 团队需要一份可复现的 baselines.md
模型卡往往是官方参考说明,但 Agent 项目真正部署的可能是社区量化文件。Dev.to 上的文章提出,用 baselines.md 记录文件哈希、模板和运行参数,才能让评测和交付变得可复现。
-
Llama 3 技术报告拆解:开放权重模型如何靠数据、量化与长上下文提升部署效率
Meta 公开的 Llama 3 技术报告,详细拆解了 8B、70B、405B 三个开放权重模型的训练与部署路径。相比跑分,报告更值得关注的,是数据治理、FP8 量化、长上下文扩展和推理优化这些工程细节。
-
vLLM 不再押注万能抽象:新 GPU 时代选择专用与通用双轨并行
vLLM 正在调整推理框架的抽象策略:一边为热门模型提供硬件专用优化,一边用硬件无关层承接长尾模型和更多加速器。
-
顶点人工智能(Vertex AI)简介
在当今人工智能技术蓬勃发展的时代,谷歌推出的顶点人工智能(Vertex AI)作为一款集成式的机器学习平台,正逐渐在数据科学和机器学习领域崭露头角。它为开发者、数据科学家以及企业用…
-
Microsoft发布Phi-4-reasoning-plus:小巧而强大的开源权重推理模型
近日,Microsoft Research宣布推出Phi-4-reasoning-plus,这是一款专为需要深入、结构化推理的任务设计的开源权重语言模型。该模型在Phi-4的基础上…