最近 ChatGPT 着实火了一把，据说 GTP4 也即将发布。现在Large Language Model（LLM ）也受到了类似图像生成的 Stable Diffusion 那种高光时刻。 在之前我一直有一个错误的观念，认为谁掌握着计算能力，谁才能得到最好的AI模型。直到 Facebook 2023 年二月 24 号发布了论文“LLaMA: Open and Efficient Foundation Language Models”。粗略阅读之后，我才知道原来在一个限定的预算下，大参数模型并不如小参数模型用更多的数据进行训练。 当前，许多 AI 模型都依赖 CUDA，比如 nanoGPT，这也就意味着必须有 NVIDIA 的 GPU来训练和运行。有这样的硬件限制，对于我这种只是想初步了解一下 LLMs 的一些基本概念的业余爱好者变成了一个比较高的门槛。 所幸的是 Georgi Gerganov 用 C/C++ 基于 LLaMA 实现了一个跑在 CPU 上的移植版本 llama.cpp。llama.cpp 甚至将 Apple silicon 作为一等公民对待，这也意味着苹果 silicon 可以顺利运行这个语言模型。
Monthly Archives: March 2023
关于生命、AI 和投降派的妄想
本文是由发布在推特上的片段思路整理，并在 ChatGPT 的帮助下完成的。感谢 ChatGPT 的支持，同时，作为人类-AI共赢计划。请大家都来当电池吧。没有人是 Neo （没有人：我不是） 引子 周一，晴。阳光从东方那棉絮一样的云层里漏出丝丝火焰，仔细观察，原来那棉絮其实是棉花糖。周末我剪了草、当了电工又当水工，这繁重的体力劳动后，我的大脑反而得到了良好休息，脑洞大开0.1mm。因此，我想写一篇关于生命、AI和末世幻想的序列推文。 近期，ChatGPT已经火得上了天。各路神仙都已经对其进行了拆解，7×24的、圆环直径向旋转一周的角度。乐观者认为，短期内人类开始了与AI共生的新纪元；长期来看，AI将在各种领域进一步解放生产力，推进再一次的工业革命。而悲观者则反复强调，AI将替代大部分人的基础工作，短期内就会看到大量基础从业人员失业。而长期来看，这一情况会进一步加速，不论是社会财富还是人类权力，都会重新分配并更加集中。这两种观点都有自己的论据，所以都有一定的可信度。 然而，考虑论据才能说话的就不能算是脑洞了，不是吗？