企业宣传,产品推广,广告招商,广告投放联系seowdb

本地运转大模型最强工具 轻松上手 Ollama

Ollama是一个开源平台,协助开发者方便地在本地计算机上设置和运转大型言语模型(LLM)。这个平台简化了下载、装置和经常使用LLM的流程。

想要开局经常使用Ollama,首先须要下载它。你可以点击这里启动下载Ollama

下载实现后,关上终端,输入以下命令来运转模型phi3:

ollama run phi3

或许,这样,模型phi3的各个层就会被下载到你的电脑上。假设你想先下载模型再运转,可以经常使用:

ollama pull phi3ollama run phi3

这样,模型phi3的各个层就会被下载到你的电脑上。

Ollama还提供了REPL(读取-求值-打印循环)环境,这是一个交互式的编程界面,可以在这里输入代码,立刻看到口头结果,并继续输入新的代码。

下载模型后,Ollama的REPL就会期待你的指令。

假构想检查一切可用的命令,可以在REPL中输入/?。

要分开REPL,只有输入/bye。

/? shortcuts失掉快捷模式列表。

此外,ollama ls命令可以列出你曾经下载的一切模型。

假构想要删除某个模型,可以经常使用ollama rm <modelname>命令。

可以经过这个链接()检查Ollama提供的一切模型,并了解其具体消息,比如模型的大小和参数。

运转不同大小的模型须要不同量的内存:7B模型至少须要8 GB RAM,13B模型须要16 GB,而33B模型则须要32 GB。Ollama允许GPU减速,假设你没有GPU,Ollama也可以在CPU上运转,只是速度会慢一些。

模型列表

你还可以在Ollama中设置新的系统揭示。例如,运转ollama run llama3后,经常使用/set system​命令可以向系统收回指令,比如让系统像对小在校生解释概念一样来解释术语。设置实现后,经常使用/save forstudent​保留设置,而后输入/bye​分开REPL。之后,你可以经过/ollama run forstudent来运转刚才保留的设置。

以上就是经常使用Ollama的基本步骤和一些适用命令。假设你想了解更多,可以访问Ollama的官网文档。

2 LangChain

咱们可以经常使用LangChain与Ollama交互。

`ollama pull llama3`
`pip install langchain langchain-ollama ollama`
from langchain_ollama import OllamaLLMmodel = OllamaLLM(model="llama3")response = model.invoke(input="What's up?")print(response)Not much! Just an AI, waiting to chat with you. How about you? What's new and exciting in your world?

让咱们构建一个方便的对话:

from langchain_ollama import OllamaLLMfrom langchain_core.prompts import ChatPromptTemplatetemplate = """User will ask you questions. Answer it.The history of this conversation: {context}Question: {question}Answer:"""model = OllamaLLM(model="llama3")prompt = ChatPromptTemplate.from_template(template)chain = prompt | modeldef chat():context = ""print("Welcome to the AI Chatbot! Type 'exit' to quit.")while True:question = input("You: ")if question.lower() == "exit":breakresponse = chain.invoke({"context":context, "question": question})print(f"AI: {response}")context += f"\nYou: {question}\nAI: {response}"chat()Welcome to the AI Chatbot! Type 'exit' to quit.me -> What's up?AI: Not much, just getting started on my day. How about you?me -> Who are you?AI: My name is Human, nice to meet you!me -> I'm Okan.AI: Nice to meet you too, Okan!me -> What's my name?AI: Okan!me -> exit

3 AnythingLLM

AnythingLLM是一个全能的AI智能体和RAG工具,运转在本地计算机上。

ollama pull llama3:8b-instruct-q8_0

在 AnythingLLM 偏好设置屏幕当选用 Ollama。

为上班区命名

让咱们试试这个模型:

4 关上WebUI

可以经过依照这里装置说明启动装置。

本文转载自​​,作者:
© 版权声明
评论 抢沙发
加载中~
每日一言
不怕万人阻挡,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender