https://ai-news-blog-cg8.pages.dev/tags/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/ Recent content in 本地推理 on AI 热点追踪 Hugo zh-cn Sat, 08 Aug 2026 14:40:00 +0800 https://ai-news-blog-cg8.pages.dev/posts/giant-models-tiny-memory-local-inference/ Sat, 08 Aug 2026 14:40:00 +0800 https://ai-news-blog-cg8.pages.dev/posts/giant-models-tiny-memory-local-inference/ 2.4万亿参数模型与4GB显存推理同时成为热点。大模型正在通过MoE、权重流式加载和分层卸载进入更小设备，但容量、速度与并发是三笔不同的账。