Посчитать слова с текста на сайте - Python
Формулировка задачи:
Как посчитать слова в тексте новости на странице сайта ?
Решение задачи: «Посчитать слова с текста на сайте»
textual
Листинг программы
import requests
import lxml.html
import re
url = 'http://www.cyberforum.ru/python-web/thread1969000.html' # этот топик
css_post = 'div#post_message_10374313' # ваш последний пост
resp = requests.get(url)
tree = lxml.html.fromstring(resp.text)
posts = tree.cssselect(css_post)
if posts is not None:
post_content = posts[0].text_content().strip()
print(post_content)
words = re.findall(r'\w+', post_content) # примитивный способ разбивки на слова-токены, очень не точный
print(words)
print(len(words)) # всего токенов без учета регистра и повторов
words = {word.lower() for word in re.findall(r'\w+', post_content)} # уникальные токены с нормализованным регистром
print(words)
print(len(words))