编者按:尽管人工智能大模型在处理任务的广度上已经取得了突破,但它在特定领域的深度和精确性上仍存在局限。为了应对这一挑战,微软亚洲研究院提出了特定领域智能(Artificial Specialized Intelligence, ASI)的概念,并沿着人工智能与系统协同进化(AI-System Co-evolution)的研究路线,利用人工智能技术自动化设计和构建底层系统与硬件,为用户提供定制化的服务。微软亚洲研究院资深首席研究员程鹏所在的微软亚洲研究院(温哥华)团队,正致力于这一研究任务。他们基于“研究员+工程师”的协作研发模式,整合全球人才和资源,推动 ASI 研究的深入发展。
人工智能的创新突破不断刷新人们的认知,带来了众多令人瞩目的成果。尽管以构建通用型人工智能为目标的研究取得了显著进展,但很多技术在实际的产业落地时并不能很好地适应垂直领域的特定业务场景。
“在传统的技术落地流程中,科研人员会将创新成果交付给工程师,随后由工程团队负责技术的实施落地,研究员与工程师的工作相对独立。但在人工智能领域中,要想实现技术的实际应用,就必须深度整合创新技术与实际需求。因此,从研究阶段开始,工程师就需要与研究员紧密合作。”微软亚洲研究院资深首席研究员程鹏说。
为了促进这种合作,微软亚洲研究院提出了“研究员+工程师”的创新协同研发模式,并在微软亚洲研究院(温哥华)率先部署,希望打破传统壁垒,加速技术从理论方法到现实应用的转化。作为微软亚洲研究院(温哥华)的首批研究员之一,程鹏正与团队一道,以全新的研发模式推动人工智能技术的发展和应用。
微软亚洲研究院(温哥华):专注ASI探索
微软亚洲研究院在温哥华建立实验室,一方面加强了微软全球研究网络的合作效应,在物理空间上缩短了研究员与工程团队之间的距离,并为微软研究院位于太平洋区域的实验室之间的高效合作架起了桥梁;另一方面,微软亚洲研究院希望通过“研究员+工程师”的紧密协作模式,推进通用型人工智能模型在垂直领域的应用,以实现特定领域的智能(Artificial Specialized Intelligence,ASI)。
程鹏说,“尽管通用型人工智能在处理广泛任务上的能力有目共睹,但它仍面临着三大挑战。首先,通用型人工智能的学习成本极高。随着模型规模的不断扩大,所需的资源和成本也随之增加,这可能会超出当前技术和社会经济的承受能力。其次,通用型人工智能的精确性还需提高。正如人脑在积累了大量知识后可能会遗忘或混淆某些信息一样,模型有可能也会产生幻觉或错误信息。此外,通用型人工智能在特定领域的持续学习与深度理解能力存在局限。在知识广度增加时,人脑会不断提炼所学信息,以更深入地理解和掌握特定领域的知识。比如一个人,从大学生到博士生,在学习专业领域技能时还会随着领域的发展持续进行学习。模型也需要具备这种持续学习和深度理解的能力。”
为了解决这些问题,微软亚洲研究院(温哥华)团队提出了 ASI 的概念,旨在将通用型人工智能模型应用于具体的业务场景中,使其能够适应更多的差异化需求,并在特定领域内发挥最大作用,同时实现低成本和高效率的应用,释放人工智能的更多潜能。
实现 ASI 的一个关键前提是利用人工智能技术对云服务和人工智能的底层架构进行重新设计。然而,这并非是研究员能够独立完成的工作,而是需要系统、硬件、人工智能领域的专家深度合作。“微软亚洲研究院(温哥华)团队已经吸引了来自全球知名学府的十几位杰出人才加盟,并积极招募更多相关领域的顶尖人才。我们期待通过汇聚全球顶尖人才的智慧和专长,利用人工智能技术重构未来的系统和硬件,推动人工智能在各行业中的应用。”程鹏介绍道。
人工智能与系统协同进化:基于用户需求自动设计AI系统
正如一座稳固的建筑物需要坚实的地基来支撑其宏伟的结构一般,人工智能基础设施(AI Infrastructure)也是推动技术进步和应用创新的关键基石。随着人工智能模型规模的不断扩大和模态的增多,对 AI Infrastructure 的升级改造变得尤为迫切。程鹏所在的系统与网络组,当前的首要任务就是专注于 AI Infrastructure 的研究。
“人们通常将 AI Infrastructure 视为支撑人工智能的最底层硬件设施,但我们对 AI Infrastructure 的定义更为广泛。它不仅包括顶层的应用,这些应用将根据用户需求提供特定的逻辑和功能;还包括中间的系统层,负责将应用逻辑与硬件资源相连接;以及底层的基础架构,即硬件及其执行方式。我们将这三层整体称为系统,我们的目标是根据用户的需求,利用人工智能技术自动设计这一整体系统,并将其称之为 AI-System Co-evolution(人工智能与系统协同进化)。”
程鹏举了一个简单的例子来说明这一概念,就像个人电脑在不同行业的应用,底层是以 CPU 为核心的硬件,中间是操作系统如 Windows,上层则是根据业务需求安装的各类软件。在传统模式中,硬件和系统先行,然后才是上层应用的需求。但人工智能技术的融入将颠覆这一流程——可以根据用户需求来设计系统和硬件。
也就是说,在人工智能系统协同进化的理念下,我们可以根据用户的不同需求,设计并制造出专门运行特定业务应用的系统和硬件基础架构,其核心将不再局限于 CPU,而可以是更加灵活的 “X”PU。例如在云服务场景中,AI-System Co-evolution 能够针对客户的关键业务场景,在最短时间内设计出从软件到硬件的高效协议栈,提供高度定制化的解决方案。
“如今,支持人工智能的底层硬件与系统,比如专门定制的 GPU,经过了大约十年的发展和大量的资源投入才逐渐成熟。但是,通过将人工智能技术融入系统和硬件设计这一方式,我们有望将这一过程从十年缩短到一个月。AI-System Co-evolution 不仅能够显著加快技术进步的速度,还将引领全新的设计思维,为系统研究和基础架构设计带来革命性的变化。”程鹏说。
开展以目标为导向的研究
自2015年加入微软亚洲研究院以来,程鹏一直专注于系统与网络领域的研究。博士毕业时,他曾面临两个选择:留在学术界或者进入工业界。最终程鹏选择了能够“二者兼得”的微软亚洲研究院。程鹏说:“网络和系统是两个密不可分的领域。我的学术旅程始于网络专业,在博士期间转向了网络系统。加入微软亚洲研究院后,我的研究则从网络系统开始,逐渐延伸到硬件系统、人工智能系统和硬件基础架构。在这里,我得以兼顾学术创新与工程技术成果的转化。”
最初,程鹏的工作聚焦于网络领域,主要是为微软必应(Bing)搜索设计和开发 RDMA 网关(RDMA Gateway),以优化跨数据中心或跨地区的数据传输和通信速率。同时,他还与微软 Azure 云计算服务团队合作,开发了 Web 流量负载均衡器 Azure Application Gateway,相关技术沿用至今。在这一阶段,程鹏的研究主要集中在上层应用软件的开发和优化上。随着研究的深入,程鹏的研究范围扩展到了系统、硬件等基础架构层面。例如,功能的硬件卸载及资源池化方面的研究显著提升了整体服务的性能,并提高了资源整体的利用率,相关成果也已在微软 Azure 云计算存储和微软必应(Bing)存储中完成了原型设计。
人工智能时代,程鹏和团队成员开始探索将人工智能技术更深入地集成到产品和业务中,如利用人工智能进行微软 Azure 虚拟机中的虚拟 NUMA 放置以及 Microsoft Teams 中的带宽预测。同时,他和团队还启动了 AI for System 的相关研究,旨在进一步推动人工智能与系统技术的融合。
程鹏在梳理了自己的研究脉络后认为,这是一个自上而下、逐步深入的探索过程——从上层软件应用出发,逐层深入到底层架构,并进行针对性的创新和优化。“无论我们从事何种工作,都是先设定目标,然后制定计划,一步步实现。现阶段我们的目标就是满足最终用户的需求,所以只有深入理解这些需求,我们才能设计出更符合用户需求的底层架构。”程鹏强调,“这种以目标为导向的研究方法为我们团队当前的 AI-System Co-evolution 研究奠定了基础。”
从偶发跃迁式突破到持续渐进发展,人工智能加速创新研究
在过去的10到15年中,系统研究的发展相对缓慢,但人工智能的进步为这一领域注入了新的活力。“以往的系统研究与优化需要投入大量的人力和时间,成本高昂且周期漫长,科研人员很难再有时间和精力进行更深层次的思考。而人工智能可以帮助人类处理繁琐的工作,大大释放了科研人员的创造力,使我们能够集中精力解决更为关键的问题。”
程鹏进一步认为,人工智能必将改变科学研究的方式。在过去,跨领域的研究成果难以实现渐进式的整合,往往需要长时间的积累,最终由某位研究者汇总并实现重大突破,这限制了科学进步的速度。但利用人工智能技术则可以自动融合不同来源的知识和创新成果,进而推动科学研究从偶发跃迁式的突破向累积型进步转变,为科研人员提供在先进成果上进行持续创新的机会。
“人工智能带来的创新力量,结合微软研究院遍布全球的研究网络以及来自世界各地的多元人才,再加上科学研究和工程实践相辅相成共同演进的模式,让我们温哥华团队的沟通协作变得更加紧密,创新效率大幅提升。”程鹏表示了坚定的信心,“我相信,不久的将来,人工智能将能够根据具体需求设计出定制化的系统和硬件基础架构,AI-System Co-evolution 的概念将从梦想变为现实,ASI 也终将成为可能。”