5个月近20亿,国内稀疏计算“领头羊”墨芯又融资了
芯东西11月3日报道,今日,国内稀疏计算芯片企业墨芯人工智能(以下简称“墨芯”)宣布已完成近10亿元融资,距离其上一轮近10亿元融资仅隔5个月,两轮融资总额接近20亿元。
此轮融资由仁爱资本、海棠基金、东恒石油等产业资本,以及比丘资本、派拉资本、中财资本等知名国有及财务投资机构共同参与,资金将用于稀疏专用推理芯片的全栈升级,重点推进下一代芯片预研,并加速稀疏计算产学研联盟建设。
资本为何在当前节点加注,墨芯的商业化进展如何,稀疏计算又如何转化为客户账面上的实际收益?带着这些问题,芯东西与墨芯市场部副总裁郭威俊进行了深入交流。
卡位推理需求爆发节点 商业化全面提速
要理解墨芯的这笔融资,需要将其置于更大的行业背景中。
过去一年,大模型真正进入生产环境,推理调用量持续攀升,成本随之增加。如今的Token消耗已不再是项目制,而是像水电一样每月固定支出的“算力账单”。
在此背景下,客户对下一代推理算力提出了更高要求。郭威俊将客户需求归纳为三点:一是降低综合推理成本,包括Token账单、电费、部署、兼容性等长期支出;二是算力供给需具备弹性且交付确定;三是控制适配成本,使现有模型和业务系统能低门槛迁移。
目前,提升系统整体推理效率的方法众多,稀疏计算被认为是值得关注的方向之一。稀疏计算解决的核心问题是:大模型参数动辄数百亿甚至上千亿,但每次推理中真正被激活并参与计算的往往只有一小部分。传统芯片对此不加区分,即所谓的“稠密计算”;而稀疏计算则只计算有效部分,跳过其余部分。同样的推理任务,计算量减少,成本随之降低。
墨芯在稀疏计算的技术验证上已深耕多年,近期这些积累开始集中兑现。这两轮融资标志着墨芯从多年技术单点验证向规模化、商业化交付的关键转折。
技术层面,墨芯的“算法—软件—硬件”协同设计思路已在真实产品中得到验证,端到端软件闭环逐步形成。其S30、S40计算卡在MLPerf Inference测试中连续三届获得第一,工程能力有公开测试背书。
交付层面,越来越多的智算中心和行业客户正将稀疏算力纳入选型范围。墨芯的稀疏专用推理芯片已在西北、西南、华东、华北四大区域部署千卡集群,并与头部电信运营商合作,将其稀疏计算推理方案纳入对方算力服务体系,规模化交付能力在这些项目中得到验证。
市场层面,郭威俊还观察到,并非所有行业都需要大模型。随着AI在垂直行业的应用不断丰富,金融、医疗、勘探、气象等领域拥有各自的行业模型,这些模型几乎都能从稀疏计算中获益,其落地场景开始呈现跨行业复制的趋势。
稀疏计算走向真实生产环境 墨芯帮客户算清成本账
过去几个月,从高校科研平台到国家算力项目,墨芯的落地项目名单快速扩展。我们讨论了几个真实客户案例。
在科研场景中,墨芯的稀疏算力已获得一组可量化的实测结果。面向时空AI与时空大数据前沿领域,墨芯携手北京大学上海临港国际科技创新中心地球与空间技术研究院,基于自研稀疏化技术,完成两款国际主流遥感影像数据智能分析基础模型在墨芯算力卡上的适配与实测。
数据显示,在几乎不损失业务精度、无需对下游任务重新训练的条件下,模型推理吞吐最高提升至2.88倍,模型压缩最高达7.64倍,显著降低了大规模遥感影像解译的算力消耗与处理时间。
如果说北大项目验证了单一场景的效果,那么下一个算力项目则考验稀疏算力与现有体系的融合能力。墨芯参与了上海国资平台公司打造的国内首个海上算力Token工厂:该项目利用海上风电的绿电和海水冷却降低PUE与电费,但绿电节省的成本可能被通用GPU的推理成本抵消。
墨芯的做法是从芯片侧降低单Token推理成本,再结合算力混合异构模式,使“绿电降本”与“架构降本”叠加,进一步放大降本效果。
值得注意的是,墨芯与客户沟通时,并不刻意强调稀疏计算这一技术概念。“客户最关心的还是好不好用,不会在项目初期过于关注是否走的是稀疏化路线。”
在实际商业合作中,客户更关注整体投入产出:机房需要部署多少台服务器、功耗和运维成本如何,以及最终能否满足业务精度和ROI要求。
为此,墨芯将产品价值转化为具体成本测算,并着手建立标准化的购前仿真测试体系,让客户在采购前就能获得仿真数据,评估产品在自身业务场景中的实际收益。
相比性能指标,迁移成本往往是客户决策中更难逾越的障碍。客户现有的评测脚本和调度系统大多围绕稠密计算架构搭建,更换芯片不仅需要重新进行回归测试,还涉及工程改造和业务灰度,带来额外的时间与资金投入。
针对这一问题,墨芯一方面通过稀疏评测标准和仿真工具,帮助客户建立跨架构的评测与供应商对比体系;另一方面,他们还提供异构适配工具链,推动稀疏卡与客户已有的稠密卡协同工作。对于已部署大量存量芯片的客户而言,这种方式能减少系统迁移和重复建设的成本,也为稀疏计算的落地提供了另一条路径。
从“能用”到“好用” 软件与生态给商业化提供后劲
降低客户使用门槛,只是稀疏计算走向商业化的第一步。要实现更广泛落地,还需要产品持续迭代、软件工具链完善,以及产业生态的共同支撑。墨芯正从三个方向推进布局。
在学术界,稀疏计算的算法、数学理论、硬件架构与软件工具链之间尚未形成成熟的协同体系,许多关键问题仍有待研究。为解决这一问题,今年8月,墨芯发起成立国内首个稀疏计算产学研联盟,目前已与复旦大学、清华大学、西安交通大学、南开大学、上海交通大学等高校启动多项联合课题。
郭威俊透露,联盟内的联合课题结合各校学科特色分别布局:计算机学院聚焦“算法+硬件架构”结合提升稀疏计算性能;数学学院围绕矩阵乘算法计算效率与稀疏参数规律定位;软件学科聚焦稀疏工具链、编译器与高性能算子的开发。
稀疏计算产学研联盟的规划
产学研联盟承担的任务不仅是科研合作,更在于补齐稀疏计算产业化所需的基础要素。郭威俊认为,目前行业发展仍面临三方面短板:
首先是复合型人才不足,既理解算法和稀疏数学,又熟悉芯片架构的人才相对稀缺,而相关人才培养周期通常需3至5年;
其次是评测与验收标准尚未统一,现有算力交付标准主要围绕稠密计算制定,难以准确衡量稀疏计算的实际能力,郭威俊称,墨芯未来可能推出稀疏算力的验收标准;
最后,稀疏计算的工具链和数据集等基础资源仍有待完善。
郭威俊认为,这些基础工作虽然声量较低,关注度不高,却是稀疏计算产业规模化不可缺少的环节。
生态之外,墨芯产品线迭代的脚步同样没有停下。其新一代板卡SP200计划在今年年底前问世。郭威俊透露,此前客户使用中暴露的真实痛点,已被带入下一代架构的设计。
在软件栈方面,墨芯升级版软件栈SECA(Sparse-native Efficient Computing Architecture,稀疏原生高效计算架构)即将发布,从算子库、编译到软硬协同,整套软件栈均围绕稀疏架构重新设计,配套的MaaS平台与模型框架适配管理工具也将陆续推出。
从生态建设、产品迭代到软件栈升级,墨芯的商业化后劲值得关注。
结语:稀疏计算,拐点来了?
稀疏计算的应用空间,正加速从大模型向更多行业延伸。郭威俊认为,垂直领域的模型是为特定业务定制的,用不上通用大模型的全部能力,反而天然适合稀疏计算。
例如,在工业质检场景中,视觉模型需识别的往往只是图像中的局部缺陷区域,大量背景信息不直接参与判断,稀疏计算有望减少不必要的计算开销。具身智能和世界模型也存在类似需求。郭威俊分析道,人脑不会对周围环境中的所有信息进行同等处理,而是根据当前任务筛选和关注关键信息,这与稀疏计算的模式不谋而合。
对于墨芯而言,他们已经迈过了证明稀疏计算有效的关键节点,如今,这家公司正通过一个又一个真实的商业化案例,证明稀疏计算能够规模部署、持续降本,并为更多行业带来可量化的业务收益。
本文来自微信公众号“芯东西”,作者:陈骏达,36氪经授权发布。
爱游戏体育官网围绕爱游戏体育官网不断创新,回应用户的真实需求。
精选爱游戏中国官方网站内容,爱游戏体育官网与你一同发现更多精彩。
马克·JK·帕克
3条评论