Untitled

import pandas as pd
import nltk
from nltk.corpus import stopwords as nltk_stopwords
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
import optuna

train = pd.read_csv('tweets_lemm_train.csv')
test = pd.read_csv('tweets_lemm_test.csv')

nltk.download('stopwords')
stopwords = set(nltk_stopwords.words('russian'))

count_tf_idf = TfidfVectorizer(stop_words=stopwords)
tf_idf = count_tf_idf.fit_transform(train['lemm_text'])

aaa = pd.DataFrame(tf_idf).join(train[['lemm_text', 'positive']])
aaa


# вывод

# 	0	lemm_text	positive
# 0	(0, 8267)\t0.36743504077587497\n (0, 6334)\...	хоть я и школотый но поверь у мы то же самый о...	1
# 1	(0, 9114)\t0.27912334026101887\n (0, 6788)\...	да весь таки он немного похожий на он но мой м...	1
# 2	(0, 2908)\t0.6988128625714507\n (0, 2752)\t...	ну ты идиотка я испугаться за ты	1
# 3	(0, 9122)\t0.18985605604763292\n (0, 2307)\...	кто то в угол сидеть и погибать от голод а мы ...	1
# 4	(0, 3539)\t0.3447674915971415\n (0, 46)\t0....	вот что значит страшилка но блин посмотреть ве...	1
# ...	...	...	...
# 4995	(0, 6871)\t0.4903708841023931\n (0, 2088)\t...	вроде дружить год и в один момент весь разруши...	0
# 4996	(0, 7755)\t0.3628092092342528\n (0, 1813)\t...	поэтому и поздравлять заранее что не получитьс...	0
# 4997	(0, 5485)\t0.7944945937644147\n (0, 9300)\t...	черта ну зачем они переделать	0
# 4998	(0, 3776)\t0.4006278162520656\n (0, 588)\t0...	вроде бы и любим друг друг и быть вместе не мо...	0
# 4999	(0, 1347)\t0.4344326728730419\n (0, 1066)\t...	один из самый скучный суббота за последний вре...	0
# 5000 rows × 3 columns


x = 234
print(aaa[0]. iloc[x])
print(aaa['lemm_text']. iloc[x

# вывод
#   (0, 3273)	0.22606525654845808
#   (0, 6142)	0.2725149575629706
#   (0, 8334)	0.817544872688912
#   (0, 1724)	0.25110882556134007
#   (0, 7562)	0.21986803968543672
#   (0, 5185)	0.23858704105489906
#   (0, 3780)	0.14685315547785324
#   (0, 9122)	0.1279189440354948
# хотеть наконец отдохнуть и тут слышать за дверь топ топ топ и тут она уже на порог в мой комната любить она