১.৩: LLM API কি এবং সেটআপ

টিউটোরিয়াল ১.৩: LLM API সেটআপ এবং কনফিগারেশন

ভূমিকা

লাংচেইন ব্যবহার করে AI অ্যাপ্লিকেশন তৈরি করতে হলে, আমাদের বিভিন্ন LLM (Large Language Model) প্রোভাইডারের API সাথে সংযোগ স্থাপন করতে হবে। এই টিউটোরিয়ালে আমরা শিখব:

1. বিভিন্ন LLM প্রোভাইডার সম্পর্কে (OpenAI, Hugging Face, ইত্যাদি)
2. API কি কিভাবে পেতে হয় এবং কনফিগার করতে হয়
3. এনভায়রনমেন্ট ভেরিয়েবল সেটআপ করা
4. API কল টেস্ট করা এবং কমন সমস্যা সমাধান করা

আসুন শুরু করি!

১. LLM প্রোভাইডার পরিচিতি

OpenAI

OpenAI হল সবচেয়ে জনপ্রিয় LLM প্রোভাইডারদের মধ্যে একটি, যারা GPT-3.5, GPT-4 এবং অন্যান্য শক্তিশালী মডেল প্রদান করে।

বৈশিষ্ট্য:

• উচ্চ কোয়ালিটি টেক্সট জেনারেশন
• বিভিন্ন মডেল অপশন (GPT-3.5-turbo, GPT-4, ইত্যাদি)
• টোকেন-ভিত্তিক প্রাইসিং
• সহজ API ইন্টারফেস

ব্যবহার ক্ষেত্র:

• চ্যাটবট
• কনটেন্ট জেনারেশন
• টেক্সট সামারাইজেশন
• কোড জেনারেশন

Hugging Face

Hugging Face হল একটি AI কমিউনিটি এবং প্ল্যাটফর্ম যা হাজার হাজার ওপেন-সোর্স মডেল প্রদান করে।

বৈশিষ্ট্য:

• বিশাল ওপেন-সোর্স মডেল লাইব্রেরি
• সেল্ফ-হোস্টিং অপশন
• ফ্রি এবং পেইড মডেল উভয়ই উপলব্ধ
• কমিউনিটি-ড্রাইভেন ডেভেলপমেন্ট

ব্যবহার ক্ষেত্র:

• কাস্টম NLP টাস্ক
• লো-বাজেট প্রজেক্ট
• রিসার্চ এবং এক্সপেরিমেন্টেশন
• সেল্ফ-হোস্টেড সলিউশন

Anthropic

Anthropic হল একটি AI রিসার্চ কোম্পানি যারা Claude মডেল সিরিজ তৈরি করেছে।

বৈশিষ্ট্য:

• সেফটি-ফোকাসড মডেল
• লম্বা কনটেক্সট উইন্ডো
• নিউয়ান্সড রেসপন্স
• কনস্টিটিউশনাল AI অ্যাপ্রোচ

ব্যবহার ক্ষেত্র:

• সেফটি-ক্রিটিক্যাল অ্যাপ্লিকেশন
• লম্বা ডকুমেন্ট প্রসেসিং
• কমপ্লেক্স রিজনিং টাস্ক

Cohere

Cohere হল একটি AI প্ল্যাটফর্ম যা বিজনেস-ফোকাসড LLM সার্ভিস প্রদান করে।

বৈশিষ্ট্য:

• এন্টারপ্রাইজ-গ্রেড সিকিউরিটি
• টেক্সট এমবেডিং
• মাল্টিলিঙ্গুয়াল সাপোর্ট
• কাস্টমাইজেবল মডেল

ব্যবহার ক্ষেত্র:

• এন্টারপ্রাইজ অ্যাপ্লিকেশন
• সিমান্টিক সার্চ
• মাল্টিলিঙ্গুয়াল অ্যাপ্লিকেশন

ওপেন-সোর্স মডেল (Llama, Mistral, ইত্যাদি)

বিভিন্ন ওপেন-সোর্স LLM মডেল আছে যেগুলি সেল্ফ-হোস্ট করা যায় বা ক্লাউড সার্ভিসের মাধ্যমে ব্যবহার করা যায়।

বৈশিষ্ট্য:

• ফ্রি বা লো-কস্ট
• কাস্টমাইজেশন ফ্লেক্সিবিলিটি
• ডাটা প্রাইভেসি
• সেল্ফ-হোস্টিং অপশন

ব্যবহার ক্ষেত্র:

• ডাটা প্রাইভেসি-সেনসিটিভ অ্যাপ্লিকেশন
• লো-বাজেট প্রজেক্ট
• এজ ডিভাইস ডেপ্লয়মেন্ট

২. API কি পাওয়া এবং কনফিগার করা

OpenAI API কি

ধাপ ১: অ্যাকাউন্ট তৈরি করুন

• OpenAI ওয়েবসাইটে (https://platform.openai.com/) যান
• Sign Up বাটনে ক্লিক করুন
• আপনার ইমেইল এবং পাসওয়ার্ড দিয়ে রেজিস্টার করুন
• ইমেইল ভেরিফিকেশন সম্পূর্ণ করুন

ধাপ ২: API কি জেনারেট করুন

• লগইন করার পর, ডাশবোর্ডে যান
• “API Keys” সেকশনে যান
• “Create new secret key” বাটনে ক্লিক করুন
• আপনার API কি-এর একটি নাম দিন (যেমন: “LangChain Project”)
• “Create secret key” বাটনে ক্লিক করুন
• খুব গুরুত্বপূর্ণ: আপনার API কি কপি করে একটি নিরাপদ জায়গায় সেভ করুন। এটি শুধুমাত্র একবারই দেখানো হবে!

ধাপ ৩: বিলিং সেটআপ করুন

• “Billing” সেকশনে যান
• “Set up paid account” বাটনে ক্লিক করুন
• আপনার পেমেন্ট মেথড যোগ করুন
• একটি প্রারম্ভিক ক্রেডিট অ্যাড করুন (যেমন: $10-$20)

Hugging Face API কি

ধাপ ১: অ্যাকাউন্ট তৈরি করুন

• Hugging Face ওয়েবসাইটে (https://huggingface.co/) যান
• Sign Up বাটনে ক্লিক করুন
• আপনার ইমেইল এবং পাসওয়ার্ড দিয়ে রেজিস্টার করুন

ধাপ ২: API কি জেনারেট করুন

• লগইন করার পর, আপনার প্রোফাইল আইকনে ক্লিক করুন
• “Settings” সিলেক্ট করুন
• “Access Tokens” ট্যাবে যান
• “New token” বাটনে ক্লিক করুন
• টোকেনের নাম দিন এবং পারমিশন সিলেক্ট করুন (সাধারণত “read” পারমিশন যথেষ্ট)
• “Generate a token” বাটনে ক্লিক করুন
• আপনার API কি কপি করে একটি নিরাপদ জায়গায় সেভ করুন

Anthropic API কি

ধাপ ১: অ্যাকাউন্ট তৈরি করুন

• Anthropic ওয়েবসাইটে (https://www.anthropic.com/product) যান
• “Get API access” বাটনে ক্লিক করুন
• ফর্ম পূরণ করুন এবং সাবমিট করুন
• অ্যাপ্রুভাল পাওয়ার পর, আপনার ইমেইলে একটি ইনভাইটেশন পাবেন

ধাপ ২: API কি জেনারেট করুন

• ইনভাইটেশন লিংকে ক্লিক করুন
• অ্যাকাউন্ট সেটআপ সম্পূর্ণ করুন
• কনসোলে যান
• “API Keys” সেকশনে যান
• “Create API Key” বাটনে ক্লিক করুন
• আপনার API কি কপি করে একটি নিরাপদ জায়গায় সেভ করুন

৩. এনভায়রনমেন্ট ভেরিয়েবল সেটআপ

API কি সিকিউরলি ম্যানেজ করার সবচেয়ে ভাল উপায় হল এনভায়রনমেন্ট ভেরিয়েবল ব্যবহার করা। এটি আপনার কোডবেসে সেনসিটিভ ইনফরমেশন হার্ডকোড করা এড়াতে সাহায্য করে।

.env ফাইল ব্যবহার করা

ধাপ ১: python-dotenv ইনস্টল করুন

pip install python-dotenv

ধাপ ২: প্রজেক্ট রুটে .env ফাইল তৈরি করুন

OPENAI_API_KEY=your-openai-api-key
HUGGINGFACEHUB_API_TOKEN=your-huggingface-api-token
ANTHROPIC_API_KEY=your-anthropic-api-key
COHERE_API_KEY=your-cohere-api-key

ধাপ ৩: .gitignore ফাইলে .env যোগ করুন

আপনার .gitignore ফাইলে নিচের লাইন যোগ করুন যাতে আপনার API কি গিট রিপোজিটরিতে কমিট না হয়:

.env

ধাপ ৪: কোডে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন

from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# এনভায়রনমেন্ট ভেরিয়েবল অ্যাক্সেস করুন
openai_api_key = os.getenv("OPENAI_API_KEY")
huggingface_api_token = os.getenv("HUGGINGFACEHUB_API_TOKEN")
anthropic_api_key = os.getenv("ANTHROPIC_API_KEY")

সিস্টেম এনভায়রনমেন্ট ভেরিয়েবল সেটআপ

আপনি সিস্টেম লেভেলে এনভায়রনমেন্ট ভেরিয়েবল সেট করতে পারেন:

উইন্ডোজে:

কমান্ড প্রম্পটে:

setx OPENAI_API_KEY "your-openai-api-key"

বা সিস্টেম প্রপার্টিজে:

1. Start > Edit environment variables for your account
2. “New” ক্লিক করুন
3. ভেরিয়েবল নাম এবং ভ্যালু এন্টার করুন
4. “OK” ক্লিক করুন

ম্যাক/লিনাক্সে:

টার্মিনালে:

echo 'export OPENAI_API_KEY="your-openai-api-key"' >> ~/.bashrc
source ~/.bashrc

বা Zsh ব্যবহার করলে:

echo 'export OPENAI_API_KEY="your-openai-api-key"' >> ~/.zshrc
source ~/.zshrc

৪. লাংচেইনে LLM কনফিগারেশন

লাংচেইনে বিভিন্ন LLM প্রোভাইডার ব্যবহার করার জন্য, আমাদের প্রথমে প্রয়োজনীয় প্যাকেজ ইনস্টল করতে হবে এবং তারপর মডেল কনফিগার করতে হবে।

OpenAI মডেল কনফিগারেশন

ধাপ ১: প্যাকেজ ইনস্টল করুন

pip install langchain openai

ধাপ ২: OpenAI LLM কনফিগার করুন

from langchain.llms import OpenAI
from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# OpenAI LLM ইনিশিয়ালাইজ করুন
llm = OpenAI(
    temperature=0.7,  # ক্রিয়েটিভিটি লেভেল (0.0-1.0)
    model_name="gpt-3.5-turbo-instruct",  # মডেল নাম
    max_tokens=256,  # রেসপন্সের সর্বাধিক দৈর্ঘ্য
    top_p=1,  # নিউক্লিয়াস স্যাম্পলিং
    frequency_penalty=0,  # রিপিটেশন পেনাল্টি
    presence_penalty=0  # নতুন টপিক এক্সপ্লোরেশন
)

# টেস্ট প্রম্পট রান করুন
response = llm("বাংলাদেশের ঐতিহাসিক স্থান সম্পর্কে একটি তালিকা তৈরি করুন")
print(response)

OpenAI চ্যাট মডেল কনফিগারেশন

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage, SystemMessage

# ChatOpenAI ইনিশিয়ালাইজ করুন
chat_model = ChatOpenAI(
    temperature=0.7,
    model_name="gpt-3.5-turbo",  # চ্যাট মডেল
    max_tokens=500
)

# চ্যাট মেসেজ তৈরি করুন
messages = [
    SystemMessage(content="আপনি একজন সহায়ক AI অ্যাসিস্ট্যান্ট।"),
    HumanMessage(content="বাংলাদেশের পর্যটন স্পট সম্পর্কে আমাকে কিছু তথ্য দিন।")
]

# চ্যাট মডেল রান করুন
response = chat_model.generate([messages])
print(response.generations[0][0].text)

Hugging Face মডেল কনফিগারেশন

ধাপ ১: প্যাকেজ ইনস্টল করুন

pip install langchain huggingface_hub

ধাপ ২: Hugging Face মডেল কনফিগার করুন

from langchain.llms import HuggingFaceHub
from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# Hugging Face মডেল ইনিশিয়ালাইজ করুন
llm = HuggingFaceHub(
    repo_id="google/flan-t5-xl",  # মডেল রিপোজিটরি
    model_kwargs={"temperature": 0.7, "max_length": 512}
)

# টেস্ট প্রম্পট রান করুন
response = llm("Translate to Bengali: Hello, how are you?")
print(response)

Anthropic মডেল কনফিগারেশন

ধাপ ১: প্যাকেজ ইনস্টল করুন

pip install langchain anthropic

ধাপ ২: Anthropic মডেল কনফিগার করুন

from langchain.llms import Anthropic
from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# Anthropic মডেল ইনিশিয়ালাইজ করুন
llm = Anthropic(
    model="claude-2",  # মডেল নাম
    max_tokens_to_sample=256,  # রেসপন্সের সর্বাধিক দৈর্ঘ্য
    temperature=0.7  # ক্রিয়েটিভিটি লেভেল
)

# টেস্ট প্রম্পট রান করুন
response = llm("বাংলাদেশের সংস্কৃতি সম্পর্কে একটি সংক্ষিপ্ত বিবরণ দিন")
print(response)

৫. API কল টেস্টিং এবং ট্রাবলশুটিং

API কল টেস্টিং

API কল সঠিকভাবে কাজ করছে কিনা তা নিশ্চিত করার জন্য, আমরা একটি সিম্পল টেস্ট স্ক্রিপ্ট লিখতে পারি:

from dotenv import load_dotenv
import os
import openai
import time

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# OpenAI API কি সেট করুন
openai.api_key = os.getenv("OPENAI_API_KEY")

def test_openai_api():
    try:
        # API কল টাইমিং মেজার করুন
        start_time = time.time()

        # টেস্ট API কল
        response = openai.Completion.create(
            model="gpt-3.5-turbo-instruct",
            prompt="Hello, world!",
            max_tokens=5
        )

        # রেসপন্স টাইম ক্যালকুলেট করুন
        elapsed_time = time.time() - start_time

        print(f"✅ API কল সফল!")
        print(f"রেসপন্স টাইম: {elapsed_time:.2f} সেকেন্ড")
        print(f"রেসপন্স: {response.choices[0].text.strip()}")
        print(f"মডেল: {response.model}")
        print(f"ব্যবহৃত টোকেন: {response.usage.total_tokens}")

        return True
    except Exception as e:
        print(f"❌ API কল ব্যর্থ: {str(e)}")
        return False

# API টেস্ট রান করুন
test_openai_api()

কমন API এরর এবং সমাধান

১. API কি এরর

এরর মেসেজ:

openai.error.AuthenticationError: Incorrect API key provided: YOUR_KEY. You can find your API key at https://platform.openai.com/account/api-keys.

সমাধান:

• API কি সঠিকভাবে কপি করা হয়েছে কিনা চেক করুন (স্পেস বা অতিরিক্ত ক্যারেক্টার নেই)
• API কি সঠিকভাবে এনভায়রনমেন্ট ভেরিয়েবলে সেট করা হয়েছে কিনা চেক করুন
• OpenAI ড্যাশবোর্ডে গিয়ে API কি রিজেনারেট করুন

২. রেট লিমিট এরর

এরর মেসেজ:

openai.error.RateLimitError: You exceeded your current quota, please check your plan and billing details.

সমাধান:

• OpenAI ড্যাশবোর্ডে গিয়ে বিলিং স্ট্যাটাস চেক করুন
• আপনার অ্যাকাউন্টে ক্রেডিট যোগ করুন
• রিকোয়েস্ট ফ্রিকোয়েন্সি কমান (রিকোয়েস্টের মধ্যে ডিলে যোগ করুন)
• ছোট মডেল ব্যবহার করুন (যেমন: gpt-3.5-turbo বনাম gpt-4)

৩. টাইমআউট এরর

এরর মেসেজ:

openai.error.Timeout: Request timed out

সমাধান:

• নেটওয়ার্ক কানেকশন চেক করুন
• টাইমআউট প্যারামিটার বাড়ান:

openai.api_requestor.TIMEOUT_SECS = 60  # ডিফল্ট 10 সেকেন্ড

• ছোট প্রম্পট বা ছোট max_tokens ব্যবহার করুন

৪. ইনভ্যালিড প্যারামিটার এরর

এরর মেসেজ:

openai.error.InvalidRequestError: This model's maximum context length is 4097 tokens...

সমাধান:

• প্রম্পট সাইজ কমান
• টোকেন কাউন্ট ক্যালকুলেট করুন:

import tiktoken

def count_tokens(text, model="gpt-3.5-turbo"):
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(text))

prompt = "আপনার লম্বা প্রম্পট..."
token_count = count_tokens(prompt)
print(f"টোকেন কাউন্ট: {token_count}")

• বড় কনটেক্সট উইন্ডো সাপোর্ট করে এমন মডেল ব্যবহার করুন

৬. LLM প্যারামিটার অপটিমাইজেশন

LLM থেকে সর্বোত্তম রেজাল্ট পেতে, আমাদের বিভিন্ন প্যারামিটার অপটিমাইজ করতে হবে:

টেম্পারেচার

টেম্পারেচার কন্ট্রোল করে মডেলের ক্রিয়েটিভিটি লেভেল:

• লো টেম্পারেচার (0.0-0.3): বেশি ডিটারমিনিস্টিক, প্রেডিক্টেবল আউটপুট
• মিডিয়াম টেম্পারেচার (0.4-0.7): ব্যালেন্সড ক্রিয়েটিভিটি
• হাই টেম্পারেচার (0.8-1.0): বেশি ক্রিয়েটিভ, ডাইভার্স আউটপুট

# ফ্যাক্টুয়াল রেসপন্সের জন্য
factual_llm = OpenAI(temperature=0.1)

# ক্রিয়েটিভ কনটেন্টের জন্য
creative_llm = OpenAI(temperature=0.9)

ম্যাক্স টোকেন

ম্যাক্স টোকেন কন্ট্রোল করে রেসপন্সের দৈর্ঘ্য:

# সংক্ষিপ্ত রেসপন্সের জন্য
short_llm = OpenAI(max_tokens=50)

# বিস্তারিত রেসপন্সের জন্য
detailed_llm = OpenAI(max_tokens=500)

টপ-পি

টপ-পি (নিউক্লিয়াস স্যাম্পলিং) কন্ট্রোল করে টোকেন সিলেকশনের ডাইভারসিটি:

# ফোকাসড আউটপুটের জন্য
focused_llm = OpenAI(top_p=0.1)

# ডাইভার্স আউটপুটের জন্য
diverse_llm = OpenAI(top_p=0.9)

ফ্রিকোয়েন্সি এবং প্রেজেন্স পেনাল্টি

এই প্যারামিটারগুলি কন্ট্রোল করে মডেল কতটা রিপিটিটিভ হবে:

# রিপিটেশন এড়াতে
non_repetitive_llm = OpenAI(
    frequency_penalty=0.8,  # শব্দ রিপিট
    presence_penalty=0.8   # টপিক রিপিট
)

# রিপিটেশন অ্যালাউ করতে
repetitive_llm = OpenAI(
    frequency_penalty=0.0,
    presence_penalty=0.0
)

৭. মাল্টিপল LLM প্রোভাইডার ব্যবহার করা

একটি প্রজেক্টে একাধিক LLM প্রোভাইডার ব্যবহার করা যেতে পারে, যেমন:

from langchain.llms import OpenAI, HuggingFaceHub, Anthropic
from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

# বিভিন্ন LLM ইনিশিয়ালাইজ করুন
openai_llm = OpenAI(temperature=0.7)
huggingface_llm = HuggingFaceHub(repo_id="google/flan-t5-xl")
anthropic_llm = Anthropic(model="claude-2")

# একই প্রম্পট বিভিন্ন মডেলে রান করুন
prompt = "বাংলাদেশের জাতীয় প্রতীক সম্পর্কে একটি সংক্ষিপ্ত বিবরণ দিন"

print("OpenAI রেসপন্স:")
print(openai_llm(prompt))
print("\nHugging Face রেসপন্স:")
print(huggingface_llm(prompt))
print("\nAnthropic রেসপন্স:")
print(anthropic_llm(prompt))

৮. LLM কস্ট ট্র্যাকিং

LLM API ব্যবহারের খরচ ট্র্যাক করা গুরুত্বপূর্ণ, বিশেষ করে প্রোডাকশন অ্যাপ্লিকেশনের জন্য:

from langchain.callbacks import get_openai_callback
from langchain.llms import OpenAI

llm = OpenAI(temperature=0.7)

# কস্ট ট্র্যাকিং কলব্যাক ব্যবহার করুন
with get_openai_callback() as cb:
    result = llm("বাংলাদেশের ইতিহাস সম্পর্কে একটি সংক্ষিপ্ত বিবরণ দিন")
    print(result)

    # কস্ট এবং টোকেন ব্যবহার দেখুন
    print(f"টোটাল টোকেন: {cb.total_tokens}")
    print(f"প্রম্পট টোকেন: {cb.prompt_tokens}")
    print(f"কমপ্লিশন টোকেন: {cb.completion_tokens}")
    print(f"সাকসেসফুল রিকোয়েস্ট: {cb.successful_requests}")
    print(f"টোটাল কস্ট (USD): ${cb.total_cost:.6f}")

৯. হাতে-কলমে প্র্যাকটিকাল প্রজেক্ট: মাল্টি-প্রোভাইডার চ্যাটবট

আসুন একটি সিম্পল চ্যাটবট তৈরি করি যা বিভিন্ন LLM প্রোভাইডার ব্যবহার করতে পারে:

from langchain.llms import OpenAI, HuggingFaceHub
from langchain.chat_models import ChatOpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
from dotenv import load_dotenv
import os

# .env ফাইল থেকে এনভায়রনমেন্ট ভেরিয়েবল লোড করুন
load_dotenv()

class MultiProviderChatbot:
    def __init__(self):
        # বিভিন্ন LLM ইনিশিয়ালাইজ করুন
        self.providers = {
            "openai": ConversationChain(
                llm=OpenAI(temperature=0.7),
                memory=ConversationBufferMemory()
            ),
            "openai-chat": ConversationChain(
                llm=ChatOpenAI(temperature=0.7),
                memory=ConversationBufferMemory()
            ),
            "huggingface": ConversationChain(
                llm=HuggingFaceHub(repo_id="google/flan-t5-xl"),
                memory=ConversationBufferMemory()
            )
        }

        self.current_provider = "openai"  # ডিফল্ট প্রোভাইডার

    def switch_provider(self, provider_name):
        if provider_name in self.providers:
            self.current_provider = provider_name
            return f"প্রোভাইডার পরিবর্তন করা হয়েছে: {provider_name}"
        else:
            return f"ভুল প্রোভাইডার নাম। উপলব্ধ অপশন: {', '.join(self.providers.keys())}"

    def chat(self, message):
        return self.providers[self.current_provider].predict(input=message)

# চ্যাটবট ইনিশিয়ালাইজ করুন
chatbot = MultiProviderChatbot()

# ইউজার ইন্টারফেস
print("মাল্টি-প্রোভাইডার চ্যাটবট")
print("প্রোভাইডার পরিবর্তন করতে: 'switch:provider_name' টাইপ করুন")
print("বের হতে: 'exit' টাইপ করুন")
print("=" * 50)

while True:
    user_input = input("\nআপনার মেসেজ: ")

    if user_input.lower() == 'exit':
        break

    if user_input.lower().startswith('switch:'):
        provider = user_input.split(':', 1)[1].strip()
        print(chatbot.switch_provider(provider))
        continue

    response = chatbot.chat(user_input)
    print(f"\nAI ({chatbot.current_provider}): {response}")

উপসংহার

এই টিউটোরিয়ালে আমরা শিখেছি:

1. বিভিন্ন LLM প্রোভাইডার সম্পর্কে (OpenAI, Hugging Face, Anthropic, ইত্যাদি)
2. API কি কিভাবে পেতে হয় এবং কনফিগার করতে হয়
3. এনভায়রনমেন্ট ভেরিয়েবল সেটআপ করা
4. লাংচেইনে বিভিন্ন LLM কনফিগার করা
5. API কল টেস্ট করা এবং কমন সমস্যা সমাধান করা
6. LLM প্যারামিটার অপটিমাইজ করা
7. মাল্টিপল LLM প্রোভাইডার ব্যবহার করা
8. LLM কস্ট ট্র্যাকিং করা

এখন আপনি বিভিন্ন LLM প্রোভাইডার ব্যবহার করে লাংচেইন অ্যাপ্লিকেশন তৈরি করতে প্রস্তুত!

অনুশীলনী

1. OpenAI, Hugging Face, এবং Anthropic API কি সেটআপ করুন এবং একটি সিম্পল কম্প্যারিজন স্ক্রিপ্ট লিখুন যা একই প্রম্পট তিনটি প্রোভাইডারে রান করে।
2. বিভিন্ন টেম্পারেচার সেটিংস এক্সপেরিমেন্ট করুন (0.1, 0.5, 0.9) এবং একই প্রম্পটের জন্য আউটপুট কম্প্যার করুন।
3. একটি সিম্পল কস্ট ট্র্যাকিং সিস্টেম তৈরি করুন যা আপনার অ্যাপ্লিকেশনের API কল খরচ লগ করে এবং রিপোর্ট জেনারেট করে।
4. আমাদের মাল্টি-প্রোভাইডার চ্যাটবট আপগ্রেড করুন যাতে এটি রেসপন্স টাইম এবং কোয়ালিটি ট্র্যাক করে এবং অটোমেটিক্যালি বেস্ট প্রোভাইডার সিলেক্ট করে।