关键观点
“小模型”首先是部署尺度定义
演讲者把小模型定义为能够在两三代以前的英伟达硬件上运行,并完整装入单张 GPU 的模型。这个定义关注可部署性,而不是固定参数量。硬件更容易获得且价格较低,因此单模型的服务门槛也明显下降。展开观点收起观点
演讲者把小模型定义为能够在两三代以前的英伟达硬件上运行,并完整装入单张 GPU 的模型。这个定义关注可部署性,而不是固定参数量。硬件更容易获得且价格较低,因此单模型的服务门槛也明显下降。
为什么重要: 这使企业可以从实际硬件、成本和可运维性出发评估模型,而不是把“小”简单理解为能力弱。
支撑证据
the way I think about it is basically models that you can run on two three generations old Nvidia hardware. The whole model fits into one GPU.
专用小模型可以达到前沿任务质量
小模型整体能力仍可能落后于超大通用模型,但在边界明确的任务上,专门训练的数据和结构可以弥补规模差距。演讲者以越南语收据 OCR 为例,认为专项项目往往积累了最多的相关数据。其主张不是让一个小模…展开观点收起观点
小模型整体能力仍可能落后于超大通用模型,但在边界明确的任务上,专门训练的数据和结构可以弥补规模差距。演讲者以越南语收据 OCR 为例,认为专项项目往往积累了最多的相关数据。其主张不是让一个小模型处理所有请求,而是在适合的任务上追求前沿或超前沿表现。
为什么重要: 模型选择应基于具体任务评测,而不能仅依据总参数量或通用排行榜。
支撑证据
if you use an open source model that's trained to do OCR on receipts in Vietnamese that project has seen the most receipts in Vietnamese, right?