计算卸载是一种资源优化策略,将设备端计算任务卸载至云端或边缘服务器处理,能够有效降低设备负载,提升运算效率与资源利用率。
联邦学习是一种分布式训练框架,各参与设备本地更新模型,仅上传梯度或参数,实现强隐私保护与协同智能化。
从通信高效型的模型切分、面向长序列的内存和缓存管理以及经济高效的批量推理框架等三个方面开展大模型推理优化研究。