桌面AI

Jan 本地AI助手是一款开源的桌面 AI 助手，提供本地运行模型的使用方式，也支持连接外部模型服务。个人用户可以根据任务选择模型进行对话，开发者和技术爱好者可以尝试本地模型，比较本地运行与外部服务的使用差异。实际表现取决于所选模型及设备条件：本地模型的运行速度、可用性和生成质量会受设备硬件与模型大小影响。连接外部服务时，数据处理方式取决于所用服务及其设置，不能默认所有对话都仅在本地处理。不同模型的资源需求和许可条件也可能不同，本地运行不等同于绝对隐私或数据安全保证。

LM Studio 是一款用于本地大模型运行的桌面工具，主要用于发现、下载和运行本地大语言模型。用户可以在图形界面中查找模型、管理已下载文件，并通过本地聊天界面进行交互，适合想在个人电脑上测试开源模型、比较不同量化版本或进行提示词实验的人群。对开发者和技术人员而言，LM Studio 还可启动本地服务器，为支持兼容 OpenAI 接口的客户端提供模型访问，用于本地原型开发和应用联调。它提供 Windows、macOS 和 Linux 版本，但实际可用性取决于系统、硬件和软件版本。模型运行速度、可加载规模及并发能力会受到显卡、显存、内存、处理器、存储空间和模型量化方式影响；模型下载也可能需要较大空间和稳定网络。不同模型格式、后端和接口能力并不一定完全兼容，模型知识时效性、准确性与许可条款仍需单独核验。