E_Commerce_Review_Engine/main.py

# Система анализа и модерации отзывов на товары (E-Commerce Review Engine)

#словари

def clean_text(text: str): # чистит текст отзыва от знаков препинания
    black_list = ",?:();-+=*%"
    for i in range(len(black_list)):
        text = text.replace(black_list[i], '')
    text = text.lower()
    for i in range(len(text)):
        text = text.replace('  ', ' ')
    return text


def extract_keywords(text: str, keywords_dict: dict): # поиск категорий, упомянутых в тексте
    empty_list = []
    for k, v in keywords_dict.items():
        for i in v:
            if i in text:
                empty_list.append(k)
    return (list(set(empty_list)))


def calculate_sentiment_score(text: str, positive_words: set, negative_words: set): # тональность текста [-1: 1]
    pos_count = 0
    neg_count = 0
    for i in positive_words:
        if i in text:
            pos_count += 1
    for i in negative_words:
        if i in text:
            neg_count += 1
    sentiment = (pos_count - neg_count) / (pos_count + neg_count)
    return sentiment


def validate_rating(rating: int): # проверка рейтинга в [1: 5]
    if 1 <= rating <= 5:
        res = True
    else:
        res = False
    return res


def is_spam(text: str, spam_indicators: list): # проверяет сырой текст на спам
    res = False
    caps_count = 0
    for i in spam_indicators:
        if i in text:
            res = True
    if res == False:
        for i in range(len(text)):
            if text[i].isupper():
                caps_count += 1
            if caps_count > len(text) / 2:
                res = True
                break
    return res


def enrich_review(review: dict, keywords_dict: dict, positive_words: set, negative_words: set): # обогащенный словарь
    upgrade_review = {
        "id": review.get("id"),
        "rating": review.get("rating"),
        "text": review.get("text"),
        "clean_txt": clean_text(review.get("text")),
        "sentiment": calculate_sentiment_score(review.get("text"), positive_words, negative_words),
        "topics": extract_keywords(review.get("text"), keywords_dict)
    }
    return upgrade_review


def filter_valid_reviews(reviews: list, spam_indicators): # фильтрует отзывы
    valid_base = []
    for i in range(len(reviews)):
        if validate_rating(reviews[i].get('rating')) and not (
        is_spam(reviews[i].get("text"), spam_indicators)) and not (reviews[i].get('clean_txt') == ''):
            valid_base.append(reviews[i])
    return valid_base


def calculate_average_rating_by_topic(reviews: list):
    avg = dict()
    for i in reviews:
        for j in i.get("topics"):
            avg[j] = None
    for i in avg:
        srz = {'summ': 0, 'lens': 0}
        for j in range(len(reviews)):
            print(reviews[j])
            if i in reviews[j].get('topics'):
                print(i, reviews[j].get("rating"))
                srz['summ'] += reviews[j].get("rating")
                srz['lens'] += 1
        avg[i] = srz.get("summ") / srz.get("lens")
    return avg


def detect_anomalies(reviews: list, sentiment_threshold: float = 0.5):
    anomalys = []
    for i in reviews:
        print(i)
        if ((i['rating'] >= 4 and i['sentiment'] < -sentiment_threshold) or
                (i['rating'] <= 2 and i['sentiment'] > sentiment_threshold)):
            anomalys.append(i['id'])
    return anomalys


def generate_summary_report(valid_reviews: list, all_reviews_count: int, anomalies: list):
    return dict


def main():
    spam_indicators = [
        "заработок в интернете", "легкие деньги", "пассивный доход",
        "быстрый заработок", "миллион за неделю", "лотерея",
        "вы выиграли приз", "ваш приз ждет", "выигрыш",
        "без вложений", "с гарантией возврата", "инвестиции",
        "как заработать", "деньги просто так", "криптовалюта без риска",
        "финансовая пирамида", "реферальная программа", "партнерская программа"
    ]
    positive_words = {"отличное качество", "высокое качество", "хорошее качество",
                      "качественный", "добротный", "надежный", "прочный", "долговечный",
                      "превосходный", "безупречный", "аккуратно сделан", "хорошая сборка",
                      "качественные материалы", "ничего не люфтит", "сидит плотно",
                      "отлично работает", "супер", "огонь", "класс", "достойный",
                      "не уступает бренду", "сделан на совесть"
                      }
    negative_words = {"плохое качество", "низкое качество", "дешевый", "хлипкий",
                      "непрочный", "недолговечный", "брак", "некачественный", "сыпется",
                      "ломается", "разваливается", "плохая сборка", "криво сделано",
                      "зазоры", "люфтит", "скрипит", "хрупкий", "одноразовый", "дешевка",
                      "не соответствует заявленному", "отвратительное качество",
                      "ужасное качество", "худшее качество", "мусор", "шлак", "не годится"
                      }
    delivery_words = [
        "быстрая доставка", "бесплатная доставка", "доставка вовремя", "курьер вежливый",
        "упаковано хорошо", "доставка день в день", "отслеживание", "пришло целым",
        "забрал сам", "пункт выдачи рядом", "доставили быстро", "соблюдены сроки",
        "уведомления о статусе", "sms оповещение", "забрать сегодня", "долгая доставка",
        "опоздали", "повреждена упаковка", "не дозвониться", "потеряли заказ",
        "не пришло уведомление", "неправильный адрес", "курьер грубый", "пункт выдачи далеко",
        "ждал неделю", "разбито при доставке", "не привезли", "потеряли посылку",
        "не отслеживается", "перепутали заказ", "плохая упаковка", "доставка платная",
        "дорогая доставка", "не привезли вовремя", "вернули на склад"
    ]
    price_words = [
        "низкая цена", "доступная цена", "дешево", "бюджетный",
        "хорошая цена", "адекватная цена", "цена качество", "скидка",
        "распродажа", "акция", "выгодно", "недорого",
        "дешевле чем везде", "цена огонь", "цена порадовала", "экономия",
        "дешево и сердито", "спеццена", "цена кусается", "дорого",
        "высокая цена", "завышенная цена", "переплата", "цена не оправдана",
        "дороговато", "цены конские", "цена завышена", "не по карману",
        "золотое", "слишком дорого", "цена не соответствует качеству", "дороже чем у других",
        "наценка", "обдираловка", "цена выросла", "денег не стоит"
    ]
    keywords_dict = {
        "quality": list(positive_words) + list(negative_words),
        "delivery": delivery_words,
        "price": price_words
    }

    print("\n======== Введите название файла с форматом .csv или используйте по умолчанию (Enter) ========")
    name_report = input()
    if not name_report:
        name_report = "data.csv"
    if name_report[-4:] == ".csv":  #проверка на правильность ввода имени файла
        try:
            report = open(name_report, 'r+', encoding='utf-8')  #открытие файла
        except:
            print("Файл отсутствует")
        else:
            print("Содержимое файла:")  #запись файла в список
            review = list()
            for i in report:
                i = i.replace("\n", '')  #убираем отступы в концы строки
                review.append(i)
            report.close()
            print("id rating text")
            for i in review:
                print(i)
    else:
        print("Неверный тип файла! "
              "\nНеобходимо выбрать файл с форматом .csv")


if __name__ == "__main__":
    main()