加州大学团队开发异构编程新模型,开辟提升处理器性能新路径 加州大学团队开发异构编程新模型,开辟提升处理器性能新路径
admin
2024-03-03 16:28:09
0次

如果你关注数码科技,那么你一定对“性能过剩论”不陌生。对于普通用户来说,如今的芯片性能足以应对大多数的日常场景。

然而,人工智能应用领域的热潮似乎又重新点燃了许多人对于算力的需求。与此同时,在图形处理与渲染、高性能计算等领域,人们对提升处理器性能的追求从未停歇。

不过,在摩尔定律与登纳德缩放定律都面临危机的今天,除了依赖制程的发展和核心数的增加,我们还能找到其他可行的路径来提升计算机性能吗?

近期,由美国加州大学河滨分校的副教授(Hung-Wei Tseng)领导的研究团队,提出了一种以新的软件框架提高现有计算机处理速度的方法,为我们提供了一种新的性能提升思路。


图丨(来源:加州大学河滨分校)

为了处理不同类型的数据,现代计算机大都集成了多种处理器,并引入异构计算模型以提升性能。

然而,由于传统的编程框架,包括领域特定语言(domain-specific languages),只能将代码区域(code region)分配给一种处理器,使得其他计算资源闲置而无法用于当前函数的运算,因此现有编程模型并不能充分发挥异构模型的潜力。

而这项名为“同步异构多线程”(simultaneous and heterogenous multithreading,SHMT)的编程和执行模型,旨在克服现有编程模型未能充分利用异构计算系统潜力的限制。

与传统模型不同,SHMT 可以充分利用异构的并行类型。通过结合多种处理单元(如 CPU、GPU、TPU 等)的优势,这种模型能有效提升计算效率和能效。


图丨 SHMT 的执行模型(c)相比于传统异构计算机(a)与使用了软件流水技术的传统异构计算机(b)的优势(来源:the 56th Annual IEEE/ACM International Symposium on Microarchitecture)

此前的研究已经证明,使用了不同处理模型与设计理念的协处理器和硬件加速器,都能以出色的性能执行相同的函数,这为 SHMT 的实现提供了可能。

不过,要将同一函数的计算分解到不同类型的计算资源中,系统面临以下三个挑战:

第一,SHMT 需要某种机制来描述和划分在不同的计算分区上的等效操作和数据;

第二,SHMT 必须能够高效地协调异构硬件上的执行;

第三,由于不同的硬件单元会提供不同质量水平的结果,SHMT 必须在不产生大量额外开销的情况下确保结果。

为了解决这些困难,研究人员开发了一个由三个主要部分组成的系统架构:

首先,SHMT 引入了一种虚拟硬件的概念,允许开发者将计算任务借助一系列虚拟操作(Virtual Operations,VOPs)的形式从 CPU“卸载”。

VOPs 定义了 SHMT 底层硬件可支持的可用操作,进而使整个 SHMT 子系统抽象为一个单一且强大的加速器。


图丨矢量或矩阵平铺处理模型类型的 VOP 列表(来源:the 56th Annual IEEE/ACM International Symposium on Microarchitecture)

其次,SHMT 有一套至关重要的运行时系统。它不仅作为虚拟硬件的“驱动程序”,在程序执行期间动态解析 VOPs,还负责评估硬件资源的能力,并据此做出智能的调度决策。

它将 VOPs 进一步分解为高级操作(High-Level Operations,HLOPs),这些 HLOP 作为 SHMT 中的基本调度单位,每个 HLOP 负责执行 VOP 运算的特定部分,且均具有硬件无关性,确保了运行时系统能够根据实际情况灵活调整任务分配。

更进一步地,SHMT 采用了一种质量感知的工作窃取(Quality-Aware Work-Stealing,QAWS)调度策略,以优化资源利用率和提升系统性能。

这种策略通过动态调整工作负载分配来平衡各种硬件资源的使用,减少空闲时间,避免性能瓶颈,同时保证了任务执行的质量。


图丨SHMT 概览(来源:the 56th Annual IEEE/ACM International Symposium on Microarchitecture)

为了检验这一模型,该课题组使用 NVIDIA Jetson Nano 模块定制了一个嵌入式系统平台,以模拟移动设备、数据中心服务器等常见使用场景进行验证。

该系统原型由下图所示部分构成:


图丨 SHMT 原型平台构成示意图(来源:DeepTech)

在基准应用程序上的检测结果显示,相较于基准方法,采用性能最佳策略的 QAWS 的 SHMT 速度提高了 1.95 倍。

实验表明,所有 QAWS 策略均能有效地提高结果质量,MAPE(平均绝对百分比误差)平均值低于 2%,接近于手动优化的 Oracle 场景。且无论采样率如何变化,QAWS-TS 策略的性能都名列前茅。


图丨(a)质量与 QAWS 采样率的关系,(b)速度提升与 QAWS 采样率的关系(来源:the 56th Annual IEEE/ACM International Symposium on Microarchitecture)

更为重要的是,由于 SHMT 减少了执行时间,并将计算任务转移到耗电更低的 Edge TPU 上,因此它在节约能耗方面展现出了巨大潜力。

实验结果显示,与基线 GPU 相比,SHMT 在 QAWS-TS 策略下平均减少了 51% 的能耗和 78% 的能量延迟积。

同时,得益于 Edge TPU 专用逻辑提供的加速功能,以及 SHMT 并行编程模型使用的低数据交换算法,这一模型也不会导致显著的内存和通信开销。


图 | 相关论文(来源:the 56th Annual IEEE/ACM International Symposium on Microarchitecture)

近日,相关论文以《同步异构多线程》(Simultaneous and Heterogenous Multithreading)为题,在加拿大多伦多举行的第 56 届 IEEE/ACM 国际微架构研讨会上发表[1]。

加州大学河滨分校的博士研究生徐冠杰(Kuan-Chieh Hsu)为第一作者,副教授担任通讯作者。

对媒体表示,“你不必增加新的处理器,因为现有的就足够了。”因此,仅需使用现有的处理组件,就相当于降低了计算机硬件成本,同时减少了服务器等设备运行时的能源消耗,也减少了碳排放与水消耗。

但这一模型也面临一些挑战与局限性。例如,如何有效管理和调度多种类型的计算资源以实现最优能效、如何降低编程模型的复杂性、如何降低通信开销以及如何扩展应用平台与场景等问题,而这些也正是曾宏伟团队未来的研究方向。

参考文献:

1.Kuan-Chieh Hsu and Hung-Wei Tseng. 2023. Simultaneous and Heterogenous Multithreading. In Proceedings of the 56th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO '23). Association for Computing Machinery, New York, NY, USA, 137–152. https://doi.org/10.1145/3613424.3614285

2.https://news.ucr.edu/articles/2024/02/21/method-identified-double-computer-processing-speeds

支持:Ren

排版:刘雅坤


01/

03/

04/

05/

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...