使用Ollama，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI通过OllamaChatClient支持Ollama文本生成。

前提条件

您首先需要在本地计算机上运行Ollama。请参阅官方Ollama项目README来开始在本地计算机上运行模型。

  安装ollama run llama2将下载一个4GB的Docker镜像。  

添加仓库和BOM

Spring AI存储库中发布的工件在Spring里程碑和快照存储库中。请参阅部分以将这些存储库添加到您的构建系统中。

为了帮助管理依赖项，Spring AI提供了一个BOM（材料清单），以确保整个项目中使用一致版本的Spring AI。请参阅部分，将Spring AI BOM添加到您的构建系统中。

自动配置

Spring AI为Ollama Chat Client提供了Spring Boot自动配置。要启用它，请将以下依赖项添加到您项目的Maven pom.xml文件中：

<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama-spring-boot-starter</artifactId> </dependency>

或者添加到您的Gradle build.gradle构建文件中。

dependencies { implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter' }

  请参阅部分，将Spring AI BOM添加到您的构建文件中。  

聊天属性

前缀spring.ai.ollama是用来配置到Ollama连接的属性前缀

前缀spring.ai.ollama.chat.options是用来配置Ollama聊天客户端实现的属性前缀

  这些options属性基于以及Ollama类型。默认值基于：。  

  chat选项列表正在审核中。这个问题将追踪进展。  

  所有以spring.ai.ollama.chat.options为前缀的属性都可以通过在Prompt调用中添加特定于请求的来在运行时重写。  

聊天选项

OllamaOptions.java 提供了模型配置，例如要使用的模型、温度等。

在启动时，可以通过 OllamaChatClient(api, options) 构造函数或 spring.ai.ollama.chat.options.* 属性来配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、针对请求的特定选项来覆盖默认选项。例如，要为特定请求覆盖默认模型和温度：

ChatResponse response = chatClient.call( new Prompt( "生成5个著名海盗的名字。", OllamaOptions.create() .withModel("llama2") .withTemperature(0.4) ));

  除了特定于模型的 OllamaOptions，您还可以使用可移植的 ChatOptions 实例，通过 ChatOptionsBuilder#builder() 创建。  

示例控制器（自动配置）

创建 一个新的 Spring Boot 项目，并将 spring-ai-openai-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 OpenAi Chat 客户端：

spring.ai.ollama.base-url=http://localhost:11434 spring.ai.ollama.chat.options.model=mistral spring.ai.ollama.chat.options.temperature=0.7

  用您的 Ollama 服务器 URL 替换 base-url。  

这将创建一个可以注入到您的类中的 OllamaChatClient 实现。这里是一个简单的 @Controller 类示例，用于使用聊天客户端生成文本：

@RestController public class ChatController { private final OllamaChatClient chatClient; @Autowired public ChatController(OllamaChatClient chatClient) { this.chatClient = chatClient; } @GetMapping("/ai/generate") public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) { return Map.of("generation", chatClient.call(message)); } @GetMapping("/ai/generateStream") public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) { Prompt prompt = new Prompt(new UserMessage(message)); return chatClient.stream(prompt); } }

手动配置

如果您不想使用Spring Boot自动配置，可以在应用程序中手动配置OllamaChatClient。 OllamaChatClient 实现了ChatClient 和 StreamingChatClient 并使用 连接到 Ollama 服务。

要使用它，请将spring-ai-ollama依赖项添加到项目的 Maven pom.xml 文件中：

<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama</artifactId> </dependency>

或者添加到您的 Gradle build.gradle 文件中。

dependencies { implementation 'org.springframework.ai:spring-ai-ollama' }

  参考部分将 Spring AI BOM 添加到您的构建文件中。  

  spring-ai-ollama 依赖项还提供对 OllamaEmbeddingClient 的访问。有关 OllamaEmbeddingClient 的更多信息，请参阅Ollama Embedding Client 部分。  

接下来，创建一个 OllamaChatClient 实例并使用它进行文本生成请求：

var ollamaApi = new OllamaApi(); var chatClient = new OllamaChatClient(ollamaApi).withModel(MODEL) .withDefaultOptions(OllamaOptions.create() .withModel(OllamaOptions.DEFAULT_MODEL) .withTemperature(0.9f)); ChatResponse response = chatClient.call( new Prompt("生成5个著名海盗的姓名。")); // 或者使用流式响应 Flux<ChatResponse> response = chatClient.stream( new Prompt("生成5个著名海盗的姓名。"));

OllamaOptions 提供了所有聊天请求的配置信息。

低级 OpenAiApi 客户端

OllamaApi 提供了轻量级的 Java 客户端用于 Ollama Chat API 。

以下类图说明了 OllamaApi 的聊天接口和构建模块：

这是如何以编程方式使用 API 的简单代码片段：

OllamaApi ollamaApi = new OllamaApi("YOUR_HOST:YOUR_PORT"); // 同步请求 var request = ChatRequest.builder("orca-mini") .withStream(false) // not streaming .withMessages(List.of( Message.builder(Role.SYSTEM) .withContent("你是地理老师。你正在和一名学生交谈。") .build(), Message.builder(Role.USER) .withContent("保加利亚的首都是什么？大小如何？国歌是什么？") .build())) .withOptions(OllamaOptions.create().withTemperature(0.9f)) .build(); ChatResponse response = ollamaApi.chat(request); // 流式请求 var request2 = ChatRequest.builder("orca-mini") .withStream(true) // streaming .withMessages(List.of(Message.builder(Role.USER) .withContent("保加利亚的首都是什么？大小如何？国歌是什么？") .build())) .withOptions(OllamaOptions.create().withTemperature(0.9f).toMap()) .build(); Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);