PODMAN AI LAB带来的AI全家桶

如果你正在苦于不知如何着手这个新潮的生成式 AI 趋势,那么对于 Linux 用户来说,红帽的 Podman Desktop “AI Lab” 为探索 AI 提供了一条便捷的捷径。

译自AI-in-a-Box With Podman AI Lab,作者 Jack Wallen。

AI 无处不在。你可以向任何一家公司投石问路,你都会发现一家目前正在以某种形式或功能使用 AI 的公司(https://thenewstack.io/pyconus-simon-willison-on-hacking-llms-for-fun-and-profit/)。

大多数 AI 都通过 Microsoft 等公司来体验。对于一些人来说,这很好。对于另一些人来说,与第三方合作使用这种有争议的技术的想法是不可行的。

幸运的是,你始终可以选择在本地运行 LLM(大型语言模型)。这些“AI-in-a-box”工具是快速了解 AI 用法或为你的员工提供 LLM 的好方法。

一种这样的方法是使用PodmanPodman AI Lab。此选项不仅非常易于部署,还允许你选择要使用的 LLM,并且运行得非常好。

我在 AlmaLinux 虚拟机上部署了Podman AI Lab,惊讶于它的运行效果。与我尝试过的其他 AI-in-a-box 解决方案相比,Podman AI Lab 的功能要好得多,即使资源最少。说到这里,你需要以下最低配置:

  • 4 GB 可用内存
  • 4 个 vCPU 内核

一旦你拥有这些(以及支持 Podman 的任何 Linux 发行版的运行版本),你就可以启动并运行它了。需要记住的一件事是,你的 AlmaLinux 版本需要安装桌面环境,否则你将无法运行 Podman Desktop(这是必不可少的)。

让我告诉你如何操作。

安装 Podman Desktop

你必须做的第一件事是安装 Podman Desktop。最简单的安装方法是使用 Flatpak。AlmaLinux 预装了 Flatpak 并已准备好使用,因此安装 Podman Desktop 只需发出以下命令:

sudo flatpak install flathub io.podman_desktop.PodmanDesktop

安装完成后,你应该在桌面菜单中找到 Podman Desktop。单击那个坏小子,让我们安装 AI Lab。

安装 Podman AI Lab

Podman Desktop 启动并运行后,是时候安装 Podman AI Lab 扩展了。为此,请单击侧边栏中的扩展图标(拼图图标)。在结果窗口(图 1)中,在搜索栏中输入 Podman AI Lab,然后按 Enter。

图 1:Podman Desktop 扩展窗口。

当 Podman AI Lab 列表出现时,单击关联的下载按钮(向下箭头)以安装扩展。当扩展显示绿色指示符时,表示已成功安装。你还会看到侧边栏中出现一个新图标,看起来像 Android 头部的顶部。

下载 LLM

现在是下载你的第一个大型语言模型的时候了。为此,请单击侧边栏中的 Podman AI Lab 图标,然后单击目录。在这里,你将看到可用 LLM 的列表。选择一个,然后单击关联的下载按钮(图 2)。

图 2:你可以找到几个 LLM 可供选择。

根据你选择的 LLM,下载可能需要一些时间。完成后,你就可以继续下一步了。

创建服务

现在你已经下载了 LLM,请单击服务按钮。在结果窗口中,单击新建模型服务,然后单击创建服务(图 3)。

图 3:使用 Podman AI Lab 创建你的第一个服务。

两件事:

  • 如果你下载了多个 LLM,你可以通过单击 LLM 下拉菜单来选择要与此服务关联的 LLM。
  • 除非你有充分的理由不这样做,否则我建议使用服务的默认端口。

该服务部署不需要花费太多时间。完成后,你现在可以启动一个游乐场,在那里你可以开始与你的 LLM 交互。

创建游乐场

单击模型下的游乐场。在结果窗口中,你可以给游乐场指定一个特定名称,也可以将游乐场名称字段留空,Podman 将分配一个随机名称。确保选择了正确的模型,然后单击创建游乐场。新的游乐场应该几乎立即可用。

使用你的新游乐场

当游乐场准备就绪时,你将在窗口底部看到一个提示(图 4)。

图 4:你的新 AI Lab 游乐场已准备好接受你的查询。

我快速测试了 Podman AI 实验室,并输入了 Linux 是什么?几乎立即,AI 实验室就给出了一个有效答案(图 5)。

图 5:我惊讶于 Playground 的响应速度。

然后我决定尝试一些更复杂的问题,要求实验室解释量子力学。再一次,我惊喜于它生成答案的速度。鉴于这是在虚拟机上运行的,性能非常出色。

这就是它,另一个可以部署和使用的盒子中的 AI。有了足够的能力,你可以部署一个相当强大的 AI 工具,供个人使用(甚至是小企业)。

本文在云云众生https://yylives.cc/)首发,欢迎大家访问。

版权声明:
作者:Alex
链接:https://www.techfm.club/p/135243.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>