跳到正文

#模型成本治理

更多筛选收起筛选1
星期一
  1. 移动支付网

    平安集团日均Token用量达3000亿,实现单位算力Token产出提升368%

    据移动支付网报道,平安集团首席技术官王晓航在9月下旬介绍AI实践;报道披露该集团日均Token用量由去年底约300亿增至超3000亿。报道还称,平安通过模型、推理和算力调度优化,实现单位算力Token产出提升368%、单位Token成本下降76%。据文中转述的集团半年报,其以AI打造统一科技平台与快捷服务入口,贯通平安口袋银行等多个App及服务场景。

星期五
  1. 移动支付网

    招行统一调度近万张AI异构加速卡:平均利用率提升至60%+,每百万Token成本降60%

    招商银行通过将Kubernetes与Kueue、KEDA、Prometheus、HAMi、Fluid结合构建统一控制平面,让模型训练、微调和在线推理共享近10000张异构加速卡,将99%的加速计算资源纳入统一框架,平均利用率从35%提升至60%以上,每处理100万Token成本降低超过60%;其Twinkle训练框架默认支持5个LoRA租户共享同一基础模型实例,使加速卡资源使用量减少80%,训练密度提升至5倍。招行还自主研发并开源统一AI算力调度平台,与HAMi社区联合首发适配AI超节点算力调度落地方案。

星期五
  1. 国家互联网信息办公室55

    专家解读|加速数字化绿色化协同转型发展 迈向融合创新与深度协同新阶段

    中国网信网刊载的专家解读称,中央网信办等七部门联合印发《促进数字化绿色化协同转型发展实施方案(2026-2030年)》。 《实施方案》提出构建生成式人工智能全生命周期资源消耗评估体系,并指导服务提供商主动披露大模型资源利用情况。 《实施方案》提出推动模型架构优化、研究量化和剪枝等压缩技术,并探索轻量化部署,以平衡超大规模模型性能与资源开销。 中央网信办等五部门于2023至2024年联合开展为期两年的双化协同综合试点,相关试点地区开展了多方面探索并形成一批可复制、可推广的经验做法。

星期一
  1. 移动支付网

    Token精算时代已来!银行业如何管好每一枚Token?

    本文分析了银行业在人工智能大模型应用中的Token成本管理问题。文章指出,随着Token被定义为'词元'并成为AI计价的普遍单位,银行面临着巨大的Token消耗量和成本压力。文中以招商银行等为例,介绍了Token度量体系的构建经验,并借鉴互联网、保险、科技等行业的成本管理实践,提出了构建'业技财'融合的精细化运营体系的五层闭环方案,包括治理层、度量层、技术层、资源层和合规层,旨在帮助银行实现Token成本的有效管控与AI价值的最大化。