# Bot check

# HW_ID: phds_hw4
# Бот проверит этот ID и предупредит, если случайно сдать что-то не то.

# Status: not final
# Перед отправкой в финальном решении удали "not" в строчке выше.
# Так бот проверит, что ты отправляешь финальную версию, а не промежуточную.
# Никакие значения в этой ячейке не влияют на факт сдачи работы.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, mean_squared_error, mean_absolute_error, mean_absolute_percentage_error
from sklearn.linear_model import Ridge, Lasso, ElasticNet
from sklearn.linear_model import LinearRegression

from sklearn.model_selection import GroupShuffleSplit

import warnings
import seaborn as sns
sns.set_theme(palette='Set2')
warnings.filterwarnings("ignore")

data = pd.read_csv('breast_cancer.csv')
data.head()

<...>

fig, axs = plt.subplots(1, 2, figsize=(10, 5))
data.groupby("Class")['Bare Nuclei'].hist(ax=axs[0], alpha=0.5)
data.groupby("Class")['Bare Nuclei'].plot(kind='kde', ax=axs[1])
axs[0].set_title('Гистограмма для Bare Nuclei', fontsize=20)
axs[1].set_title('KDE для Bare Nuclei', fontsize=20);

data = pd.read_csv('dataset_savaged.csv')
data.info()

fig, axs = plt.subplots(1, 2, figsize=(15, 7))
data.groupby("pha")['rms'].hist(ax=axs[0], alpha=0.5)
data.groupby("pha")['rms'].plot(kind='kde', ax=axs[1])
axs[0].set_title('Гистограмма для rms', fontsize=20)
axs[1].set_title('KDE для rms', fontsize=20);

features = ['epoch', 'ma', 'tp', 'rms']
<...>

X = <...>
y = <...>
X_train, X_test, y_train, y_test = <...>

<...>

<...>

<...>

original = <...>.value_counts() # Колонка таргета из изначального датасета
train = <...>.value_counts() # Колонка таргета из тренировочного датасета
test = <...>.value_counts() # Колонка таргета из тестового датасета

fig, axes = plt.subplots(1, 3, figsize=(15, 5))
sns.barplot(x=original.index, y=original.values, ax=axes[0], palette=['blue'])
axes[0].set_title('Распределение классов в data')
axes[0].set_ylabel('Количество')

sns.barplot(x=train.index, y=train.values, ax=axes[1], palette=['green'])
axes[1].set_title('Распределение классов в train')

sns.barplot(x=test.index, y=test.values, ax=axes[2], palette=['orange'])
axes[2].set_title('Распределение классов в test')

plt.show()

threshold = <...>
class_weights = {<класс_1>: threshold, <класс_2>: 1 - threshold}
# если использовать class_weights = 'balanced', модель сама подсчитает веса

weighted_model = LogisticRegression(class_weight=class_weights)

<...>
print(f"accuracy = {accuracy} \nprecision = {precision} \nrecall = {recall}")

def calculate_coef(model, X, y, log_min, log_max, 
               num):
    """
    Данная функция считает коэффициенты для признаков 
    при различных значениях параметра регуляризации.

    :param model: регрессионная модель
    :param X: матрица регрессоров
    :param y: вектор целевой переменной
    :param log_min, log_max: логарифмы левой и правой границ диапазона для коэффициента регуляризации
    :param num: число точек из диапазона

    :return coefs: коэффициенты модели
    """
    
    alphas = np.logspace(log_min, log_max, num) # сетка параметров   
    coefs = [] # коэффициенты моделей
    for a in alphas:
        if 'l1_ratio' in model.get_params(): # для ElasticNet
            # равномерно распределим alpha по обоим коэффициентам
            a *= 3/2
            model.set_params(alpha=a) # переопределяем параметры модели
        else:
            model.set_params(alpha=a)
        model.fit(X, y)
        # отбираем только первые 20 признаков для ускорения работы кода
        coefs.append(model.coef_[:20]) 
    return coefs

def draw_track(coefs, log_min, log_max, 
               num, title='', figsize=(10, 5)):
    
    """
    Данная функция строит график зависимости значений 
    коэффициентов модели от параметра регуляризации.
    
    :param coefs: коэффициенты модели
    :param log_min, log_max: логарифмы левой и правой границ диапазона для коэффициента регуляризации
    :param num: число точек из диапазона
    :param title: название графика
    :param figsize: размеры рисунка

    :return coefs: коэффициенты модели
    """
    alphas = np.logspace(log_min, log_max, num) # сетка параметров  

    plt.figure(figsize=figsize)
    ax = plt.gca() # используется для получения текущего экземпляра axes
    ax.hlines(0, 10 ** log_min, 10 ** log_max, linewidth=15, alpha=0.15)
    ind = 1
    for coef in np.array(coefs).T:
        label = r'$\theta_{' + str(ind) + '}$'
        ax.plot(alphas, coef, linewidth=2, label=label) # рисуем коэффициенты в зависимости от alpha
        ind += 1
        
    ax.set_xscale('log') # логарифмическая шкала
    ax.set_xlim(ax.get_xlim()[::-1])  # обратить ось
    plt.xlabel('Параметр регуляризации', fontsize=19)
    plt.ylabel('Значения коэффициентов', fontsize=19)
    plt.title(title, fontsize=22)
    plt.legend(loc='upper left', fontsize=8)
    plt.axis('tight')
    plt.show()

data = pd.read_csv('parkinsons_updrs.data', sep=',')
data.info()

<...>

groups = data["subject#"]
gss = GroupShuffleSplit(n_splits=1, test_size=0.3, random_state=42)
train_index, test_index = next(gss.split(X, y, groups=groups))
<...>

data = pd.read_csv('physics_data.csv', index_col=0)
data.head()

<...>

X_train, X_test, y_train, y_test = <...>

<...>

# Ridge регрессия
# инициализация и обучение моддели
ridge_model = <...>

# коэффициенты регрессии
ridge_coefs = <...>

# отрисовка
<...>


# Lasso регрессия
lasso_model = <...>
lasso_coefs = <...>
<...>

# Elastic регрессия
elastic_model = <...>  # установите какое-то значение l1_ratio
elastic_coefs = <...>
<...>

grid = <...>
coefs = <...>
model = <...>

for l1_ratio in grid:
    <...> # Задайте новый параметр модели
    <...> # Обучите
    <...># Добавьте в список

# Для визуализации можно использовать код из функции draw_track

<...>

linreg = {}
linreg['MSE'] = mean_squared_error(<...>)
linreg['MAE'] = mean_absolute_error(<...>)
linreg['MAPE'] = mean_absolute_percentage_error(<...>)

def draw_errors(error, error_name, alphas):

    """
    Функция строит график зависимости величины ошибки от параметра alpha для разных моделей
    
    :param error: функция, вычисляющая ошибку
    :param error_name: имя функции, вычисляющей ошибку (одно из 'MSE', 'MAE', 'MAPE')
    :param alphas: массив величин alpha
    """
    arr = [] # массив ошибок
    for a in alphas:
        tmp = [] # массив ошибок
        models = [<Ваши модели с заданными парметрами>] 
        for model in models:
            
            # обучение модели и предсказание 
            y_pred = <...>
            tmp.append(error(y_test, y_pred))
        arr.append(tmp)

    arr = np.array(arr)
    plt.figure(figsize=(10, 6), dpi=100)

    names = <Имена моделей с заданными параметрами> 
    for i in range(5):
        plt.plot(alphas, arr[:, i], label=names[i]) # рисуем ошибки в зависимости от alpha

    # прерывистой линией рисуем ошибки логрега без регуляризации
    plt.hlines(linreg[error_name], alphas[0], alphas[-1], color='black', label = 'No regularization', linestyles='dashed')
    plt.xlabel('Параметр регуляризации')
    plt.ylabel(error_name)
    plt.xscale('log')
    plt.legend()

alphas = np.logspace(-2, 8, 20)

# вложите в функции метрики
draw_errors(<...>)
draw_errors(<...>)
draw_errors(<...>)

<...>

Физтех.Статистика

Phystech@DataScience ¶

Домашнее задание 4¶

Легкая часть¶

Задача 1¶

1. Загрузка данных и предобработка¶

Профиль биология¶

Профиль физика¶

2. Обучение модели¶

3. Учтём дисбаланс классов¶

Задача 2¶

1. Загрузка данных¶

Профиль биология¶

Профиль физика¶

2. Влияние регуляризации на коэффициенты моделей¶

Сложная часть¶

Задача 3¶

Задача 4¶

Контакты

Phystech@DataScience¶

Домашнее задание 4¶

Легкая часть¶

Задача 1¶

1. Загрузка данных и предобработка¶

Профиль биология¶

Профиль физика¶

2. Обучение модели¶

3. Учтём дисбаланс классов¶

Задача 2¶

1. Загрузка данных¶

Профиль биология¶

Профиль физика¶

2. Влияние регуляризации на коэффициенты моделей¶

Сложная часть¶

Задача 3¶

Задача 4¶

Phystech@DataScience ¶