周哲
- 作品数：6 被引量：0H指数：0
- 供职机构：北京大学更多>>
- 相关领域：自动化与计算机技术医药卫生更多>>
- PetS:针对参数高效Transformer模型的可扩展推理服务系统
- 2025年
- 在多任务推理服务场景下使用基于预训练-微调范式的Transformer模型存在很多困难:服务端必须维护每个下游任务的完整模型副本,从而造成很大的存储和显存开销.最近逐渐兴起的参数高效Transformer(PET)算法在不同的下游任务之间共享预训练模型,仅微调一小部分任务特定的模型参数,从而减少存储的开销.然而,现有的后端服务系统既没有灵活的PET任务管理机制,也不能有效地跨任务进行输入的批量处理.针对不同的下游任务,现有框架在多卡分布式场景下也难以提供良好的负载均衡机制.因此,提出了PetS,一个用于多任务PET推理服务的可扩展框架.具体而言,不同的PET任务在算法上被抽象成一种统一表示形式.基于这种统一表示,设计了一个专门的PET推理引擎,以批处理不同任务的输入,并使用任务无关的共享算子和任务特定的PET算子进行推理.通过PET推理引擎,PetS在单个GPU设备上可以支持更多的任务数量.为了进一步提高系统吞吐量,提出了一种协同批处理(CB)策略,同时考虑了输入的长度、PET任务类型以及系统负载平衡.为了提升多卡部署的负载均衡,创新性地提出了基于PET实时迁移的负载均衡机制.PetS在包括边缘端、桌面端和服务器端GPU等多个平台上都经过了评估.全面的实验证明,PetS支持多达26倍的并发任务,并将服务吞吐量在桌面和服务器GPU节点上分别提高了1.53倍和1.63倍.在多GPU场景下,该负载均衡策略可以将吞吐量进一步提升29%之多.
- 魏学超周哲徐盈辉张洁靖谢源孙广宇
- 关键词：GPU分布式系统机器学习系统
- 2011 AUA良性前列腺增生研究的热点
- 2011年
- 本次AUA会议关于良性前列腺增生（BPH）研究的报道较多，主要包括4个部分：基础研究（20篇）、流行病学／评估（20篇）、药物治疗（12篇）和外科治疗（32篇）。现将会议中有关BPH研究的热点报道如下。
- 周哲张祥华
- 关键词：良性前列腺增生流行病学外科治疗药物治疗BPH
- 中老年男性代谢综合征和前列腺增生关系的研究
- 周哲王义蔡建良晋连超张祥华那彦群
- 一种基于DIMM的近存计算互连装置及其通信控制方法
- 本发明公布了一种基于DIMM的近存计算互连装置及其通信控制方法，装置包括近存计算编程接口模块、跨DIMM的桥接器以及控制器；包括：设计近存计算编程接口模块；使用可以感知数据距离的任务映射算法，将近存计算任务映射到近存计算...
- 孙广宇李聪周哲
- 异构内存情境下软硬件协同设计的内存优化方法及系统
- 本发明公布了一种异构内存情境下软硬件协同设计的内存优化方法及系统，在硬件设备端的内存控制器中集成内存访问分析单元；在操作系统端即软件端实现内存分层守护进程；内存分层守护进程利用内存访问分析单元提供的信息，将内存中的热页面...
- 孙广宇周哲陈奕奇
- 异构内存情境下软硬件协同设计的内存优化方法及系统
- 本发明公布了一种异构内存情境下软硬件协同设计的内存优化方法及系统，在硬件设备端的内存控制器中集成内存访问分析单元；在操作系统端即软件端实现内存分层守护进程；内存分层守护进程利用内存访问分析单元提供的信息，将内存中的热页面...
- 孙广宇周哲陈奕奇
