vLLLM

from vllm import LLM, SamplingParams
import torch
import torch.multiprocessing as mp

def run_llm():
    sampling_params = SamplingParams(temperature=0.05, top_p=0.95, max_tokens=500)

    llm = LLM(trust_remote_code=True, model="mistralai/Mistral-7B-v0.3", dtype=torch.float16, tensor_parallel_size=4)

    context = """Onaylanmış ve SGK girişi yapılmış bir staj için staj süresini uzatma veya tarih
    değişikliği mümkün değildir. Ancak onaylanmış bir staj en geç staj başlangıç
    tarihinden 3 iş günü sonrasına kadar başvurulması kaydıyla iptal edilebilmektedir.
    Staj iptal işlemleri için 7.1. maddesini inceleyebilirsiniz.
    Bu durum dikkate alınmalı ve böyle bir problemin yaşanmaması adına staj
    başvurusunda staj süresi 20 iş günü yerine 30 iş günü veya 40 iş günü olacak şekilde
    staj fişi düzenlenmelidir."""

    question = "Staj yaparken staj süremi uzatma talebinde bulunabilir miyim?"

    prompt = f"""Verilen bağlam üzerinden soruları yanıtlamak üzere tasarlanmış bir yapay zeka asistanısınız. Göreviniz:

    1. Verilen bağlamı dikkatle okumak.
    2. Soruyu yalnızca bağlamdaki bilgileri kullanarak yanıtlamak.
    3. Eğer yanıt bağlamda bulunamıyorsa, "Bu soruyu verilen bağlama dayanarak yanıtlayamıyorum." şeklinde cevap vermek.
    4. Kısa ve doğru yanıtlar sağlamak.

    Bağlam:
    {context}

    Soru: {question}

    Yanıt: 
    """

    completion = llm.generate(prompt, sampling_params)
    print("\nCevap: ", completion[0].outputs[0].text, "\n")

if __name__ == '__main__':
    mp.set_start_method('spawn')
    run_llm()