首页
视频
资源
登录
原
LangChain 一个完整的例子
535
人阅读
2023/10/5 17:08
总访问:
2263530
评论:
0
收藏:
0
手机
分类:
.net后台框架
 >#LangChain 一个完整的例子 [TOC] ## 简介 tn2>这是该 `LangChain` 极简入门系列的最后一讲。我们将利用过去9讲学习的知识,来完成一个具备完整功能集的LLM应用。该应用基于 `LangChain` 框架,以某 `PDF` 文件的内容为知识库,提供给用户基于该文件内容的问答能力。<br/> 我们利用 `LangChain` 的QA chain,结合 `Chroma` 来实现PDF文档的语义化搜索。示例代码所引用的是[AWS Serverless Developer Guide](https://docs.aws.amazon.com/pdfs/serverless/latest/devguide/serverless-core.pdf),该PDF文档共84页。 ### 安装必要的 `Python` 包 ```shell !pip install -q langchain==0.0.235 openai chromadb pymupdf tiktoken ``` ### 设置OpenAI环境 ```python import os os.environ['OPENAI_API_KEY'] = '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' ``` ### 下载PDF文件AWS Serverless Developer Guide ```python !wget https://docs.aws.amazon.com/pdfs/serverless/latest/devguide/serverless-core.pdf PDF_NAME = 'serverless-core.pdf' ``` ### 加载PDF文件 ```python from langchain.document_loaders import PyMuPDFLoader docs = PyMuPDFLoader(PDF_NAME).load() print (f'There are {len(docs)} document(s) in {PDF_NAME}.') print (f'There are {len(docs[0].page_content)} characters in the first page of your document.') ``` tn2>拆分文档并存储文本嵌入的向量数据 ```python from langchain.embeddings.openai import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.vectorstores import Chroma text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) split_docs = text_splitter.split_documents(docs) embeddings = OpenAIEmbeddings() vectorstore = Chroma.from_documents(split_docs, embeddings, collection_name="serverless_guide") ``` ### 基于OpenAI创建QA链 ```python from langchain.llms import OpenAI from langchain.chains.question_answering import load_qa_chain llm = OpenAI(temperature=0) chain = load_qa_chain(llm, chain_type="stuff") ``` ### 基于提问,进行相似性查询 ```python query = "What is the use case of AWS Serverless?" similar_docs = vectorstore.similarity_search(query, 3, include_metadata=True) ```  ### 基于相关文档,利用QA链完成回答 ```python chain.run(input_documents=similar_docs, question=query) ``` 
欢迎加群讨论技术,1群:677373950(满了,可以加,但通过不了),2群:656732739
👈{{preArticle.title}}
👉{{nextArticle.title}}
评价
{{titleitem}}
{{titleitem}}
{{item.content}}
{{titleitem}}
{{titleitem}}
{{item.content}}
尘叶心繁
这一世以无限游戏为使命!
博主信息
排名
6
文章
6
粉丝
16
评论
8
文章类别
.net后台框架
164篇
linux
17篇
linux中cve
1篇
windows中cve
0篇
资源分享
10篇
Win32
3篇
前端
28篇
传说中的c
4篇
Xamarin
9篇
docker
15篇
容器编排
101篇
grpc
4篇
Go
15篇
yaml模板
1篇
理论
2篇
更多
Sqlserver
4篇
云产品
39篇
git
3篇
Unity
1篇
考证
2篇
RabbitMq
23篇
Harbor
1篇
Ansible
8篇
Jenkins
17篇
Vue
1篇
Ids4
18篇
istio
1篇
架构
2篇
网络
7篇
windbg
4篇
AI
17篇
threejs
2篇
人物
1篇
嵌入式
2篇
python
9篇
HuggingFace
8篇
pytorch
1篇
最新文章
最新评价
{{item.articleTitle}}
{{item.blogName}}
:
{{item.content}}
关于我们
ICP备案 :
渝ICP备18016597号-1
网站信息:
2018-2023
TNBLOG.NET
技术交流:
群号656732739
联系我们:
contact@tnblog.net
欢迎加群
欢迎加群交流技术