13.4 生成式引擎模拟器（Ollama + LLaMA + LangChain + RAG）

import os
from langchain_community.document_loaders import DirectoryLoader, TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.embeddings import OllamaEmbeddings
from langchain_chroma import Chroma

# 1. 加载文档
loader = DirectoryLoader(
    path="./content",
    glob="**/*.md",
    loader_cls=TextLoader,
    loader_kwargs={"encoding": "utf-8"}
)
documents = loader.load()

# 2. 文档分割（模拟生成引擎的chunk策略）
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,      # 每个片段大小，接近AI的上下文窗口
    chunk_overlap=50,    # 重叠部分，避免信息断裂
    separators=["\n\n", "\n", "。", "！", "？", " ", ""]
)
chunks = text_splitter.split_documents(documents)

# 3. 嵌入并存入向量数据库
embeddings = OllamaEmbeddings(model="nomic-embed-text")
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

print(f"已索引 {len(chunks)} 个文档片段")

from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

# 1. 初始化LLM
llm = Ollama(
    model="qwen2.5:7b",       # 中文场景推荐
    temperature=0.3,          # 低温度：更确定性的回答
    top_k=10,
    top_p=0.9,
    num_predict=2048          # 最大生成长度
)

# 2. 创建检索器
retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 5}    # 检索Top-5片段
)

# 3. 定义提示词模板（模拟生成引擎的引用格式）
template = """你是一个生成式搜索引擎。请基于以下检索到的信息，回答用户的问题。
在回答中，必须使用 [1]、[2] 等格式标注信息来源，并在末尾列出引用列表。

检索到的信息：
{context}

用户问题：{question}

请以以下格式回答：
**答案**：[你的回答]

**引用来源**：
[1] 来源标题1 - URL
[2] 来源标题2 - URL
"""

prompt = PromptTemplate(
    template=template,
    input_variables=["context", "question"]
)

# 4. 构建QA链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    chain_type_kwargs={"prompt": prompt},
    return_source_documents=True
)

# 5. 测试查询
query = "如何优化网站的首屏加载速度？"
result = qa_chain.invoke({"query": query})

print("答案：", result['result'])
print("\n引用文档：")
for doc in result['source_documents']:
    print(f"- {doc.metadata.get('source', '未知')} (片段: {doc.page_content[:50]}...)")

perplexity_prompt = """你是一个类似Perplexity的生成式搜索引擎。
你的回答必须：
1. 提供简洁、直接的答案
2. 每个关键事实后紧跟引用标记 [1][2]
3. 最后列出所有引用来源的完整标题和URL
4. 如果信息不足，明确说明“未找到相关信息”

检索到的信息：
{context}

用户问题：{question}
"""

bing_prompt = """你是一个类似Microsoft Copilot（Bing Chat）的AI助手。
你的回答风格：
1. 友好、对话式，但保持专业
2. 使用表情符号适当点缀
3. 在段落末尾标注引用
4. 提供“进一步探索”建议

检索到的信息：
{context}

用户问题：{question}
"""

deepseek_prompt = """你是一个类似DeepSeek的深度推理引擎。
请按以下步骤回答：
1. 首先理解用户问题的核心意图
2. 分析检索到的信息，评估其权威性和时效性
3. 给出带有逻辑推导过程的答案
4. 对每个结论标注信源等级（A/B/C级）
5. 如果存在矛盾信息，明确指出并给出你的判断

信源等级：
- A级：官方文档、学术论文、权威标准
- B级：知名行业网站、专家博客
- C级：普通用户内容、论坛讨论

检索到的信息：
{context}

用户问题：{question}
"""

# 假设你的内容包含表格
table_description = "表格：2024年各搜索引擎市场份额。列：搜索引擎、市场份额、变化趋势。行：Google 91.4% -0.3%、Bing 3.4% +0.5%、Yandex 1.5% +0.1%、百度 1.2% -0.2%"

# 将描述作为额外文本片段加入索引
doc_with_table = Document(
    page_content=table_description,
    metadata={"source": "table_report_2024", "type": "table"}
)

from langchain.agents import initialize_agent, Tool
from langchain.tools import tool

@tool
def search_web(query: str) -> str:
    """模拟联网搜索功能"""
    # 实际调用搜索API或本地索引
    return f"模拟搜索结果：{query} 的相关信息..."

@tool
def calculate_formula(formula: str) -> str:
    """模拟计算能力"""
    try:
        result = eval(formula)
        return f"计算结果：{result}"
    except:
        return "无法计算"

tools = [
    Tool(name="WebSearch", func=search_web, description="搜索网络信息"),
    Tool(name="Calculator", func=calculate_formula, description="执行数学计算")
]

agent = initialize_agent(
    tools=tools,
    llm=llm,
    agent="zero-shot-react-description",
    verbose=True
)

# 测试代理式搜索
agent.run("2024年Google市场份额是多少？比去年增长了多少？")

# 测试不同格式的引用率
queries = ["什么是Core Web Vitals？", "LCP优化方法"]
for query in queries:
    result = qa_chain.invoke({"query": query})
    # 统计引用来源中不同格式的占比
    sources = [doc.metadata.get('source') for doc in result['source_documents']]
    print(f"查询: {query}")
    print(f"引用来源: {sources}")

# 保存基线答案
baseline = qa_chain.invoke({"query": "你的核心关键词"})

# 修改内容后重新索引
# ...

# 对比新答案
new_result = qa_chain.invoke({"query": "你的核心关键词"})

# 使用语义相似度比较答案变化
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('all-MiniLM-L6-v2')
similarity = util.cos_sim(
    model.encode(baseline['result']),
    model.encode(new_result['result'])
)
print(f"答案相似度: {similarity.item():.2f}")