Untitled

from datetime import datetime
import pandas as pd
import pathlib

pd.set_option('display.max_rows', 500)
pd.set_option('display.max_columns', 500)
pd.set_option('display.width', 1000)

cur_path = pathlib.Path().resolve() # текущий путь до папки

files_path = f'{cur_path}/info-stat-11-2023/12 зарплата'
files_path

import glob

data_files = sorted(glob.glob(f'{files_path}/12*.xlsx'))
data_files



# Словарь для преобразования названия месяца в номер месяца
month_dict = {
    'январь': '01',
    'февраль': '02',
    'март': '03',
    'апрель': '04',
    'май': '05',
    'июнь': '06',
    'июль': '07',
    'август': '08',
    'сентябрь': '09',
    'октябрь': '10',
    'ноябрь': '11',
    'декабрь': '12'
}

# Функция для преобразования названия месяца и года в формат даты
def month_to_date(month_name, year):
    # Преобразование названия месяца в номер месяца и создание строки даты
    month_num = month_dict.get(month_name.lower(), '01')  # Значение по умолчанию - январь
    return f'01.{month_num}.{year}'

def process_file(file_path):
    
    data = pd.read_excel(file_path, header=3)
    
    # Создаем новые заголовки столбцов на основе названий месяцев и года
    new_headers = []
    current_year = 2016  # Начальный год
    for col in data.columns:
        # Убираем числовой суффикс из названия месяца (если есть), чтобы применить словарь месяцев
        month_name = ''.join(filter(str.isalpha, col))
        if month_name.lower() in month_dict:
            # Преобразуем месяц и год в формат даты
            new_headers.append(month_to_date(month_name, str(current_year)))
            # Увеличиваем год, если месяц - декабрь
            if month_name.lower() == 'декабрь':
                current_year += 1
        else:
            # Для несоответствующих столбцов оставляем как есть
            new_headers.append(col)

    # Обновляем заголовки в DataFrame
    data.columns = new_headers

    # Устанавливаем первый столбец в качестве индекса и меняем название
    data.set_index(data.columns[0], inplace=True)
    data.index.names = ['Регион']

    # Сбросим индекс и добавим столбец "Регион" на первое место
    data.reset_index(inplace=True)
    # Перемещаем столбец "Регион" на первое место
    data = data.set_index(['Регион']).reset_index()

    # Убираем возможные дубликаты в названиях столбцов, которые могли появиться из-за суффиксов типа "2"
    data = data.loc[:,~data.columns.duplicated()]

    data = pd.melt(data, id_vars=['Регион'], var_name='Дата', value_name='Значение')

    # заменим пропуски значением 0, чтобы можно было загрузить в sql
    data = data.fillna(0)
    
    
    data['Регион'] = data['Регион'].str.strip()
    data['Регион'] = data['Регион'].str.replace(r'\s+', ' ', regex=True)
    
    data['Значение'] = pd.to_numeric(data['Значение'], errors='coerce')
    data = data.fillna(0)
    #data['Значение'] = data['Значение'].apply(lambda x: '{:.1f}'.format(x) if pd.notnull(x) else x)
    #data = data.fillna(0)
    #data['Дата'] = pd.to_datetime(data['Дата'], errors='ignore')
    data = data.fillna(0)
    
    data = data[~data['Дата'].str.startswith('Unnamed')]
    data.reset_index(drop=True, inplace=True)
    
    print(data.info())
    print(data.head())
    
    data = data[data['Регион'].str.len() <= 150]
    output_file_path = file_path.replace('.xlsx','.csv')
    data.to_csv(output_file_path, index=False, sep=';', lineterminator='\t')

    
    
for file in data_files:
    process_file(file)