清华团队突破算力贫穷:4090显卡一手一足就能跑“满血版”DeepSeek-R1!有效户称整套决议资本不到7万元,直降95%以上
2025-02-18
跟着大边界言语模子(LLMs)的握住发展,模子边界和复杂性急剧提高,其部署和推理时常需要广阔的缱绻资源,这对个东谈主斟酌者和微型团队带来了挑战。 2月10日,清华大学KVCache.AI团队连合趋境科技发布的KTransformers开源形态公布更新:一块24G显存的4090D就不错在腹地出手DeepSeek-R1、V3的671B“满血版”。预处理速率最高达到286 tokens/s,推理生成速率...