魅蓝metal参数 魅蓝m1参数详细参数

【新智元快讯】Meta公司最新推出的强大语言模型LLaMA，现已适配苹果芯片Mac，实现高效运行！

前不久，Meta公司刚刚发布开源大语言模型LLaMA，这一消息迅速引发了网络热议。不久后，无门槛下载链接便被网友公开分享，LLaMA模型得以“开放共享”。

这一消息的传出，立刻在科技圈内掀起了一股热潮，众多科技爱好者纷纷下载并测试该模型。对于那些没有顶级显卡的用户来说，虽然有些遗憾，但好消息也随之而来。

Georgi Gerganov近期开展了一项名为“llama.cpp”的项目，这一创新举措使得在没有GPU的情况下也能成功运行LLaMA模型。

特别值得一提的是，LLaMA模型如今可以在苹果的M1和M2处理器上顺畅运行。目前已有两篇详细的教程，分别针对M1和M2处理器的用户。

第一篇教程详见：dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

第二篇教程则在这里：til./llms/llama-7b-m2

那么，接下来就让我们先来看看LLaMA的实际表现效果。以最小的7B模型为例，我们对它提出了一个简单的问题：“谁是第一个登上月球的人？”

很快，几秒钟后，模型就给出了答案。结果显示，第一个登上月球的人是Neil A. Armstrong，他在1969年7月20日的11号任务中实现了这一壮举。整个回答过程准确无误，没有出现任何事实性错误。这对于一个规模较小的模型来说，实属不易。

如果我们使用特定的提示词，还可以生成实用的Python代码。

【操作步骤详解】

第一步：下载模型

我们可以通过官方的申请表格向Meta公司提交申请，或者从网友分享的链接中直接下载LLaMA模型。完成申请后，你将获得一系列的文件夹，每个文件夹中都包含了模型的详细信息。

第二步：安装依赖项

你需要安装Xcode来编译C++项目。接着，你需要构建C++项目的依赖项（pkgconfig和cmake）。如果你使用的是Python 3.11，推荐创建一个虚拟环境并激活它。你需要安装Torch。

（注意：关于利用新的Metal性能着色器（MPS）后端进行GPU训练加速的验证，虽非必需，但如果你对此感兴趣，可以通过运行相关程序进行验证。）
第三步和第四步：编译LLaMA CPP和转换模型

在安装完所有的依赖项后，你可以开始编译LLaMA CPP。假设你已经将模型放置在llama.cpp repo的models文件夹下，接下来就是进行模型的转换。在这个过程中，你会看到相应的输出信息。

第五步：运行模型

据博主的实际测试，13B模型在运行时大约会使用4GB的内存和748%的CPU（设置为使用8个CPU核心）。在使用过程中需要注意的是，LLaMA模型当前并不具备指令微调的能力。这意味着在使用LLaMA时，我们需要采用特定的提示方式来引导它生成我们需要的文本。这需要一定的提示工程技巧，比如采用“一些将由……完成的文本”的形式来给出提示。尽管如此，仍需注意目前尚无完美的提示方法能让LLaMA实现文本的自动总结等功能。

参考资料：如上文提到的几个链接地址。