LM Studio-如何在自己的机器上运行生成式人工智能

大型语言模型（LLMs）的出现给自然语言处理带来了重大进步，使机器能够更好地理解人类并与人类互动。其中，Mistral 7B 等开源模型脱颖而出，为各种应用程序提供了基础。像 Hugging Face 这样的平台通过促进机器学习社区之间的模型和资源的协作和共享，进一步丰富了生态系统。此外，像 LM Studio 这样的软件已经出现，可以弥合这些复杂模型和日常用户之间的差距，使 LLM 的力量可以直接从自己的计算机中利用。LM Studio、Hugging Face 和 Mistral 7B 等开源模型正在朝着普及高级语言处理功能的方向迈进。

大型语言模型（LLMs）就像从大量书面材料中学习的大型虚拟大脑。它们是使用能够理解和处理序列的特殊计算机程序构建的，这对处理语言非常重要。训练这些模型是一项繁重的任务，需要分布在不同位置的强大计算机来处理模型中的大量信息和复杂的连接网络。他们从各种各样的文本中学习，如书籍、文章、网站和社交媒体帖子，这有助于他们理解和模仿人类使用语言的方式。

当他们浏览所有这些数据时，他们学会了识别模式和单词之间的关系，从而能够创建合理和相关的文本。他们甚至试图捕捉到语言的细微之处，如语调和情感，但尽管他们很聪明，但他们并不像人类那样真正理解语言或有意识。

LM Studio 作为用户和 LLM 巨大潜力之间的软件而出现。这个可下载的软件可以处理在本地机器上运行大型语言模型的复杂性，重点是免费供公众使用的开源模型。借助 LM Studio，得益于其用户友好的界面简化了下载过程，邀请用户与这些数字实体进行无缝对话，因此在不同语言模型之间切换变得轻而易举。

复制链接到浏览器进行下载: https://lmstudio.ai/

Hugging Face 是一个机器学习社区在模型、数据集和应用程序上进行协作的平台。它是创建、发现和协作机器学习项目的中心，重点是文本，以及图像和视频等其他形式。它提供了各种开源工具和库，如 Transformers，用于使用 PyTorch、TensorFlow 和 JAX 进行最先进的机器学习，这些工具和库面向研究和生产。您可以在 Hugging Face 上探索和实验 Mistral 7B 等基础模型，也可以根据您的特定需求找到微调模型，甚至进行微调。

首先选择一个基础模型 Mistral 7B，它已经经过训练，可以处理您感兴趣领域的一般任务。这是你可以尝试的众多模型之一。

在处理一长串数据时，比如一个很长的句子，计算机采用了一种称为 Sliding Window Attention（SWA）的技术，它就像一个沿着句子移动的小聚光灯，让计算机一次专注于几个单词，而不是整个句子。这种聚光灯技巧，加上其他一些调整，在处理很长的句子时使这个过程快了一倍。即使有这个小聚光灯，计算机也可以通过将信息从一个阶段传递到下一个阶段来理解句子中相距甚远的单词之间的联系，类似于在课堂上传递笔记。此外，SWA 有助于减少内存的使用，类似于需要一个较小的笔记本来记笔记，这在处理长句时是有益的。

收集数据并开始微调模型。确保你的数据是干净的，并准备好进行训练。然后，从模型的预设设置开始，通过运行更多的训练回合，使用您的数据对 Mistral 7B 进行微调。您可能需要调整或添加模型的某些部分，使其更适合您的任务。还有其他版本的 Mistral 7B 经过其他人的微调，可能对您的项目有所帮助或有趣。通过这种方式，您可以获得一种结构化的方式来调整现成的模型以满足您的特定需求，同时还可以查看其他人所做的工作。

链接地址: OpenHermes 2 - Mistral 7B (https://huggingface.co/teknium/OpenHermes-2-Mistral-7B) 和 Mistral-7B-OpenOrca (https://huggingface.co/Open-Orca/Mistral-7B-OpenOrca)

您还可以利用一种名为 RAG 或检索增强生成的提示工程新方法来增强提示。根据提示从 PDF、文本文件等中提取重要和相关的数据，用上下文来增强我们的提示。

通过给予提示和 AI 语境，我们可以从本地模型中获得更准确的响应，这在运行 Mistral 7B 等较小的模型时尤为重要。复制链接了解更多关于 RAG 的信息（https://www.exxactcorp.com/blog/deep-learning/how-retrieval-augment-generation-makes-llms-smarter-than-before）。

重要的是要记住，RAG 并不能解决常见的 LLM 陷阱，如幻觉，而是作为一种引导 LLM 做出更小众反应的手段。最终重要的端点特定于您的用例、您为模型提供的信息以及如何对模型进行微调。

Mistral 7B 在 Apache 2.0 下获得许可意味着它是开源的，您可以自由使用、修改和分发它。Apache 2.0 许可证还允许贡献者向用户授予专利权，这有利于降低法律风险。这种许可允许开发人员与组织协作开发和共享模型，促进开放协作和创新。

通过 LM Studio 与 LLM 互动的实际应用仅受想象力的限制。例如，用户可以开发一个会话式知识库助手，并利用他们的模型作为学习和掌握新编程语言的伴侣。它们可以识别复杂的编码查询，提供算法的详细解释，或实时调试——将代码探索转化为动态、响应迅速和交互式的学习体验。

相关阅读：《深度解析 | 新型智算中心技术构建中 AI 大模型应用的建设》