Изменения

== Примеры использования NLTK ==

text = "Предложение. Предложение, которое содержит запятую. Восклицательный знак! Вопрос?"

sents = nltk.sent_tokenize(text)

print(sents)

'''output:''' ['Предложение.', 'Предложение, которое содержит запятую.', 'Восклицательный знак!', 'Вопрос?']

from nltk.tokenize import RegexpTokenizer

sent = "В этом предложении есть много слов, мы их разделим."

print(word_tokenize(sent))

'''output:''' ['В', 'этом', 'предложении', 'есть', 'много', 'слов', ',', 'мы', 'их', 'разделим', '.']

from nltk.corpus import stopwords

stop_words=set(stopwords.words('english'))

'''output:''' {'should', 'wouldn', 'do', 'over', 'her', 'what', 'aren', 'once', 'same', 'this', 'needn', 'other', 'been', 'with', 'all' ...

from nltk.stem.porter import PorterStemmer

porter_stemmer = PorterStemmer()