利用 LFM2.5-24B-A2B 在端侧运行快速且私密的智能体

LFM2.5-24B-A2B 是一款拥有 24B 总参数、仅 2B 激活参数的端侧推理模型，上下文窗口扩展至 131K tokens。该模型在 Apple M5 Max 上解码速度达 184 tok/s，在单张 NVIDIA B300 上输出达 2.1 万 tok/s。在 LiveClaw 评测中取得 48.09 分，并支持 llama.cpp、MLX 和 vLLM 等推理生态。