最近 ChatGPT 着实火了一把,据说 GTP4 也即将发布。现在Large Language Model(LLM )也受到了类似图像生成的 Stable Diffusion 那种高光时刻。 在之前我一直有一个错误的观念,认为谁掌握着计算能力,谁才能得到最好的AI模型。直到 Facebook 2023 年二月 24 号发布了论文“LLaMA: Open and Efficient Foundation Language Models”。粗略阅读之后,我才知道原来在一个限定的预算下,大参数模型并不如小参数模型用更多的数据进行训练。 当前,许多 AI 模型都依赖 CUDA,比如 nanoGPT,这也就意味着必须有 NVIDIA 的 GPU来训练和运行。有这样的硬件限制,对于我这种只是想初步了解一下 LLMs 的一些基本概念的业余爱好者变成了一个比较高的门槛。 所幸的是 Georgi Gerganov 用 C/C++ 基于 LLaMA 实现了一个跑在 CPU 上的移植版本 llama.cpp。llama.cpp 甚至将 Apple silicon 作为一等公民对待,这也意味着苹果 silicon 可以顺利运行这个语言模型。
Monthly Archives: March 2023
关于生命、AI 和投降派的妄想
本文是由发布在推特上的片段思路整理,并在 ChatGPT 的帮助下完成的。感谢 ChatGPT 的支持,同时,作为人类-AI共赢计划。请大家都来当电池吧。没有人是 Neo (没有人:我不是) 引子 周一,晴。阳光从东方那棉絮一样的云层里漏出丝丝火焰,仔细观察,原来那棉絮其实是棉花糖。周末我剪了草、当了电工又当水工,这繁重的体力劳动后,我的大脑反而得到了良好休息,脑洞大开0.1mm。因此,我想写一篇关于生命、AI和末世幻想的序列推文。 近期,ChatGPT已经火得上了天。各路神仙都已经对其进行了拆解,7×24的、圆环直径向旋转一周的角度。乐观者认为,短期内人类开始了与AI共生的新纪元;长期来看,AI将在各种领域进一步解放生产力,推进再一次的工业革命。而悲观者则反复强调,AI将替代大部分人的基础工作,短期内就会看到大量基础从业人员失业。而长期来看,这一情况会进一步加速,不论是社会财富还是人类权力,都会重新分配并更加集中。这两种观点都有自己的论据,所以都有一定的可信度。 然而,考虑论据才能说话的就不能算是脑洞了,不是吗?