মডিউল ৫: RAG (Retrieval-Augmented Generation) – নিজের ডেটা দিয়ে উত্তর দেওয়া

pip install langchain langchain-groq python-dotenv langchain-community

from langchain_groq import ChatGroq
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA
from dotenv import load_dotenv

load_dotenv()

# ধাপ ১: ডকুমেন্ট তৈরি করো
document_text = """
বাংলাদেশ দক্ষিণ এশিয়ার একটি দেশ। এর রাজধানী ঢাকা।
বাংলাদেশের জনসংখ্যা প্রায় ১৭ কোটি। 
বাংলাদেশের মুদ্রা টাকা।
বাংলাদেশ একটি কৃষি প্রধান দেশ।
বাংলাদেশের প্রধান ফসল ধান।
"""

# ধাপ ২: ডকুমেন্ট ছোট অংশে ভাগ করো
text_splitter = CharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20
)
chunks = text_splitter.split_text(document_text)

# ধাপ ৩: ভেক্টর স্টোর তৈরি করো
embeddings = HuggingFaceEmbeddings()
vector_store = FAISS.from_texts(chunks, embeddings)

# ধাপ ৪: AI তৈরি করো
ai = ChatGroq(model="mixtral-8x7b-32768")

# ধাপ ৫: RAG চেইন তৈরি করো
qa_chain = RetrievalQA.from_chain_type(
    llm=ai,
    chain_type="stuff",
    retriever=vector_store.as_retriever()
)

# ধাপ ৬: প্রশ্ন করো
question = "বাংলাদেশের রাজধানী কি?"
answer = qa_chain.run(question)
print(f"প্রশ্ন: {question}")
print(f"উত্তর: {answer}")

from langchain_groq import ChatGroq
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import PyPDFLoader
from dotenv import load_dotenv

load_dotenv()

# ধাপ ১: PDF লোড করো
loader = PyPDFLoader("আপনার_ফাইল.pdf")
documents = loader.load()

# ধাপ ২: ডকুমেন্ট ছোট অংশে ভাগ করো
text_splitter = CharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=100
)
chunks = text_splitter.split_documents(documents)

# ধাপ ৩: ভেক্টর স্টোর তৈরি করো
embeddings = HuggingFaceEmbeddings()
vector_store = FAISS.from_documents(chunks, embeddings)

# ধাপ ৪: AI তৈরি করো
ai = ChatGroq(model="mixtral-8x7b-32768")

# ধাপ ৫: RAG চেইন তৈরি করো
qa_chain = RetrievalQA.from_chain_type(
    llm=ai,
    chain_type="stuff",
    retriever=vector_store.as_retriever()
)

# ধাপ ৬: প্রশ্ন করো
question = "এই ডকুমেন্টের মূল বিষয় কি?"
answer = qa_chain.run(question)
print(f"উত্তর: {answer}")

from langchain_groq import ChatGroq
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA
from dotenv import load_dotenv
import os

load_dotenv()

# একাধিক ডকুমেন্ট লোড করো
documents_text = []

# ফোল্ডার থেকে সব টেক্সট ফাইল পড়ো
for filename in os.listdir("documents/"):
    if filename.endswith(".txt"):
        with open(f"documents/{filename}", "r", encoding="utf-8") as f:
            documents_text.append(f.read())

# সব ডকুমেন্ট একসাথে করো
all_text = "\n".join(documents_text)

# ডকুমেন্ট ছোট অংশে ভাগ করো
text_splitter = CharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=100
)
chunks = text_splitter.split_text(all_text)

# ভেক্টর স্টোর তৈরি করো
embeddings = HuggingFaceEmbeddings()
vector_store = FAISS.from_texts(chunks, embeddings)

# AI তৈরি করো
ai = ChatGroq(model="mixtral-8x7b-32768")

# RAG চেইন তৈরি করো
qa_chain = RetrievalQA.from_chain_type(
    llm=ai,
    chain_type="stuff",
    retriever=vector_store.as_retriever()
)

# প্রশ্ন করো
while True:
    question = input("\nপ্রশ্ন: ")
    if question.lower() == "exit":
        break

    answer = qa_chain.run(question)
    print(f"উত্তর: {answer}")