Untitled

def chunk_text(text, chunk_size=512):
    """
    Dzieli tekst na fragmenty o określonej wielkości.

    Args:
        text (str): Tekst do podzielenia.
        chunk_size (int): Wielkość fragmentu (w tokenach).

    Returns:
        list: Lista fragmentów tekstu.
    """

    tokens = text.split()  # Prosta tokenizacja (podział na słowa)
    chunks = []
    for i in range(0, len(tokens), chunk_size):
        chunk = ' '.join(tokens[i:i + chunk_size])
        chunks.append(chunk)
    return chunks

text = """
Długi tekst do podzielenia na fragmenty.
...
"""

chunks = chunk_text(text, chunk_size=100)
for chunk in chunks:
    print(chunk)
    print("-" * 20)