小伙伴们新年好啊，颓废的 2023 年总算是过去了，过去这一年因为自己的状态不太好，一直也没怎么更新，2024 年是时候重新拾起行囊再出发啦！
前言 去年年底我写过一篇《大模型小助手，Mac 工程师如何拥有自己的人工智能》，在那篇文章里我介绍了如何利用自己手头的计算资源（Mac 电脑）快速拥有一个人工智能助手，然而大多数人手头的算力是很孱弱的，以至于大家千方百计搭桥建梯想要拿到 OpenAI 这艘大船的船票。这无可厚非，但我们知道，在我们这个伟大的国家，科技一定是要讲究自主研发的，不然谈何遥遥领先。因此在去年 8 月，随着《生成式人工智能服务管理暂行办法》的正式实施， 中国自人己的生成式人工智能之路，终于从政策上给出了要求和肯定，让 AIGC 行业发展不再迷茫。
现如今经历了一年多的发展，国产 AI 已经慢慢地走向成熟，其智能体的效果已经具备了产业应用场景落地的基本条件。因此今天我准备从自己的实际需求入手，抛弃 OpenAI，使用我们国内的 AI 平台，展示一下如何使用 LlamaIndex 框架和智谱 AI 结合起来处理常见的应用场景——知识库检索。
大炼钢铁——国产大模型间的军备竞赛 ChatGPT 及其背后的 GPT4 大火之后，国内迅速刮起一阵自主研发大模型的风，先不管开源与否，目前市面上叫得上名号的就不止以下这些（排名不分先后）：
机构/公司 模型名称 百度 文心大模型 抖音 云雀大模型 智谱 GLM 大模型 中国科学院 紫东太初大模型 百川智能 百川大模型 商汤 日日新大模型 MiniMax ABAB 大模型 上海人工智能实验室 书生通用大模型 科大讯飞 星火认知大模型 腾讯 混元大模型 阿里巴巴 通义千问大模型 吕布之后，人人皆有吕布之勇。 国产大模型亦是如此，GPT4 与大国政策双向奔赴后，这些 AI 厂商都想在国内大模型这场军备竞赛中占得一席之地。...
前言 历史的车轮滚滚向前，大模型的发展让 AI 离每个人都更近了一步。今年 3 月的时候简单聊了一下 AIGC，现如今半年多过去了，ChatGPT 依旧大放异彩。无论是百度的文心一言还是阿里的通义千问，在 GPTs 面前都变成了拙劣的模仿。
现如今每隔几天就有新鲜的技术出炉，让人目不暇接，同时具备可玩性和想象空间的各种应用和开源库，仿佛让自己回到了第一次设置 JAVA_HOME 的日子，于是我便蹦出了一个对自己的工作和生活可能有帮助的想法——“拥有自己的人工智能”。
目标是搭建出一个不依赖云端服务，可以在本地运行，且效果可以接受的类 ChatGPT 服务。为什么要在本地搭建而不是直接采用现成的云服务呢？从数据安全的角度看，一些数据还是不太方便随意上传至云端的，而且云端的问题回答也会经过各个服务商审核，不可避免的会出现降智的情况。另一方面，这些在线的云服务成本较高，chatGPT plus 每个月 20 美元，还要熟练掌握各种上网技巧，虽然能力很强大，但是再没有一个完美的变现渠道的情况下，对于我的荷包来说还是有很大负担。最后对于一个工程师来说，能自己搭建一个完整的方案，使用一个自己调教出来的 AI，也是出于对技术探索的本能使然。
方案概述 由于是在本地运行的，选择一个好的设备则是第一步要考虑的事情了。笔者家中刚好有一台 2020 年 M1 芯片的 Mac Mini，一直作为家里的 homelab 长期运行。除了平时在家里用他编译代码、还会用它来设置苹果的内容缓存，提高局域网内苹果服务的连通性。如今廉颇尚未老矣，还是可以再战 AI 的。
由于 M1 芯片的统一内存架构和开源社区对 Apple 芯片在 AI 方面的支持， 如今用它作为一个本地运行大模型的载体再合适不过了。
我的方案如下图所示 👇。
在这套方案中，我采用实力排上游、并且在使用上对学术和商业都友好的国产大模型 ChatGLM3-6B 对话模型，同时使用 chatglm.cpp 对 ChatGLM3-6B 进行量化加速以及 API 协议的兼容；通过 Cloudflare 的 Tunnels 将运行在家中 HomeLab 的 service 映射至公网；使用 ChatGPT Next Web 作为 UI 层并通过 Vercel 托管网页（当然这里也可以选择下载 ChatGPT Next Web 的 desktop App 直接使用）。最后的效果如下图所示。...