# Bot check

# HW_ID: fpmi_ad10
# Бот проверит этот ID и предупредит, если случайно сдать что-то не то.

# Status: not final
# Перед отправкой в финальном решении удали "not" в строчке выше.
# Так бот проверит, что ты отправляешь финальную версию, а не промежуточную.
# Никакие значения в этой ячейке не влияют на факт сдачи работы.

import requests
from time import sleep
import json

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

sns.set(style="whitegrid", font_scale=1.3, palette="Set2")

URL = "https://api.hh.ru/vacancies"

params = {
    "text": "Data Scientist",
    "area": 1,
    "page": 0,
    "per_page": 10,
}

req = requests.get(URL, params)
data = json.loads(req.content.decode())

data.keys()

dict_keys(['items', 'found', 'pages', 'page', 'per_page', 'clusters', 'arguments', 'fixes', 'suggests', 'alternate_url'])

data["items"][0]

{'id': '98269481',
 'premium': False,
 'name': 'Data Scientist / ML-инженер',
 'department': None,
 'has_test': False,
 'response_letter_required': False,
 'area': {'id': '1', 'name': 'Москва', 'url': 'https://api.hh.ru/areas/1'},
 'salary': None,
 'type': {'id': 'open', 'name': 'Открытая'},
 'address': None,
 'response_url': None,
 'sort_point_distance': None,
 'published_at': '2024-05-02T17:45:01+0300',
 'created_at': '2024-05-02T17:45:01+0300',
 'archived': False,
 'apply_alternate_url': 'https://hh.ru/applicant/vacancy_response?vacancyId=98269481',
 'show_logo_in_search': None,
 'insider_interview': None,
 'url': 'https://api.hh.ru/vacancies/98269481?host=hh.ru',
 'alternate_url': 'https://hh.ru/vacancy/98269481',
 'relations': [],
 'employer': {'id': '6382',
  'name': 'Медиалогия',
  'url': 'https://api.hh.ru/employers/6382',
  'alternate_url': 'https://hh.ru/employer/6382',
  'logo_urls': {'original': 'https://img.hhcdn.ru/employer-logo-original/867798.png',
   '90': 'https://img.hhcdn.ru/employer-logo/3912067.png',
   '240': 'https://img.hhcdn.ru/employer-logo/3912068.png'},
  'vacancies_url': 'https://api.hh.ru/vacancies?employer_id=6382',
  'accredited_it_employer': False,
  'trusted': True},
 'snippet': {'requirement': 'Знание Python и библиотек для работы с данными и классическим ML (numpy, pandas, sklearn, catboost и др.). Желателен опыт создания...',
  'responsibility': 'Создание моделей для задач NLP и CV. Доработка и улучшение существующих моделей. Анализ данных из социальных сетей: классификация, кластеризация, определение...'},
 'contacts': None,
 'schedule': {'id': 'remote', 'name': 'Удаленная работа'},
 'working_days': [],
 'working_time_intervals': [],
 'working_time_modes': [],
 'accept_temporary': False,
 'professional_roles': [{'id': '165', 'name': 'Дата-сайентист'}],
 'accept_incomplete_resumes': False,
 'experience': {'id': 'between1And3', 'name': 'От 1 года до 3 лет'},
 'employment': {'id': 'full', 'name': 'Полная занятость'},
 'adv_response_url': None,
 'is_adv_vacancy': False,
 'adv_context': None}

data["found"]

362

data["pages"]

37

df = pd.json_normalize(data["items"])
df.head()

vacancy = df["id"].iloc[0]
vacancy_url = f"https://api.hh.ru/vacancies/{vacancy}"

req = requests.get(vacancy_url)
vacancy_info = json.loads(req.content.decode())

vacancy_info

{'id': '98269481',
 'premium': False,
 'billing_type': {'id': 'standard', 'name': 'Стандарт'},
 'relations': [],
 'name': 'Data Scientist / ML-инженер',
 'insider_interview': None,
 'response_letter_required': False,
 'area': {'id': '1', 'name': 'Москва', 'url': 'https://api.hh.ru/areas/1'},
 'salary': None,
 'type': {'id': 'open', 'name': 'Открытая'},
 'address': None,
 'allow_messages': True,
 'experience': {'id': 'between1And3', 'name': 'От 1 года до 3 лет'},
 'schedule': {'id': 'remote', 'name': 'Удаленная работа'},
 'employment': {'id': 'full', 'name': 'Полная занятость'},
 'department': None,
 'contacts': None,
 'description': '<p>Медиалогия разрабатывает высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные технологии лингвистического анализа и компьютерного зрения, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в соц.сетях, блогах, форумах и управлять их репутацией.</p> <p>Наша команда активно растет и сейчас мы в поиске <strong>Data Scientist / ML-инженер (Middle)</strong><strong>.</strong></p> <p><strong>Вам предстоит:</strong></p> <ul> <li>создание моделей для задач NLP и CV;</li> <li>доработка и улучшение существующих моделей;</li> <li>анализ данных из социальных сетей: классификация, кластеризация, определение сущностей, выявление аномалий;</li> <li>проведение экспериментов на &quot;больших данных&quot; и обработка результатов;</li> <li>построение и тестирование гипотез.</li> </ul> <p><strong>Наши пожелания к будущему коллеге:</strong></p> <ul> <li>знание Python и библиотек для работы с данными и классическим ML (numpy, pandas, sklearn, catboost и др.);</li> <li>желателен опыт создания моделей машинного обучения на TensorFlow, PyTorch;</li> <li>умение работать с неструктурированными контентом, правильно оценивать качество моделей;</li> <li>желателен опыт работы с большими данными (Spark, Hadoop).</li> <li>умение работать в команде, хорошие коммуникативные навыки;</li> <li>желание активно развиваться и браться за самые сложные задачи.</li> </ul> <p><strong>Мы предлагаем:</strong></p> <ul> <li> <p>работу в аккредитованной IT-компании со всеми преимуществами;</p> </li> <li>белую ЗП, официальное оформление по ТК РФ;</li> <li>ДМС с хорошим выбором клиник и международной страховкой;</li> <li>возможность посещения профильных мероприятий и карьерное развитие;</li> <li>гибкое начало рабочего дня;</li> <li>удаленный формат работы;</li> <li>активное развитие в сильной data science команде.</li> </ul>',
 'branded_description': None,
 'vacancy_constructor_template': None,
 'key_skills': [{'name': 'Python'},
  {'name': 'ML'},
  {'name': 'NLP'},
  {'name': 'Deep Learning'},
  {'name': 'Машинное обучение'},
  {'name': 'Pandas'},
  {'name': 'Numpy'},
  {'name': 'Hadoop'},
  {'name': 'Spark'},
  {'name': 'sklearn'},
  {'name': 'catboost'},
  {'name': 'CV'}],
 'accept_handicapped': False,
 'accept_kids': False,
 'archived': False,
 'response_url': None,
 'specializations': [],
 'professional_roles': [{'id': '165', 'name': 'Дата-сайентист'}],
 'code': None,
 'hidden': False,
 'quick_responses_allowed': False,
 'driver_license_types': [],
 'accept_incomplete_resumes': False,
 'employer': {'id': '6382',
  'name': 'Медиалогия',
  'url': 'https://api.hh.ru/employers/6382',
  'alternate_url': 'https://hh.ru/employer/6382',
  'logo_urls': {'original': 'https://img.hhcdn.ru/employer-logo-original/867798.png',
   '90': 'https://img.hhcdn.ru/employer-logo/3912067.png',
   '240': 'https://img.hhcdn.ru/employer-logo/3912068.png'},
  'vacancies_url': 'https://api.hh.ru/vacancies?employer_id=6382',
  'accredited_it_employer': False,
  'trusted': True},
 'published_at': '2024-05-02T17:45:01+0300',
 'created_at': '2024-05-02T17:45:01+0300',
 'initial_created_at': '2024-05-02T17:45:01+0300',
 'negotiations_url': None,
 'suitable_resumes_url': None,
 'apply_alternate_url': 'https://hh.ru/applicant/vacancy_response?vacancyId=98269481',
 'has_test': False,
 'test': None,
 'alternate_url': 'https://hh.ru/vacancy/98269481',
 'working_days': [],
 'working_time_intervals': [],
 'working_time_modes': [],
 'accept_temporary': False,
 'languages': [],
 'approved': True}

	id	premium	name	department	has_test	response_letter_required	salary	address	response_url	sort_point_distance	...	address.metro.station_id	address.metro.line_id	address.metro.lat	address.metro.lng	address.metro_stations	address.id	department.id	department.name	insider_interview.id	insider_interview.url
0	98263959	False	Logistics Manager	NaN	False	False	None	NaN	None	None	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
1	97153868	False	Junior Data Scientist (Ranking&Search)	NaN	True	False	None	NaN	None	None	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2	98214631	False	Data Scientist	NaN	False	False	None	NaN	None	None	...	5.36	5	55.728994	37.622533	[{'station_name': 'Добрынинская', 'line_name':...	1079022	NaN	NaN	NaN	NaN
3	98269481	False	Data Scientist / ML-инженер	NaN	False	False	None	NaN	None	None	...	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
4	98088762	False	Junior data scientist (модели кредитного риска)	NaN	False	False	None	NaN	None	None	...	2.512	2	55.695000	37.664167	[{'station_name': 'Технопарк', 'line_name': 'З...	602591	80-80-expert	Альфа-Банк. Центральный офис	32631	https://hh.ru/interview/32631?employerId=80

Физтех.Статистика

Введение в анализ данных ¶

Домашнее задание 10. Анализ вакансий.¶

Справка по работе с API сервиса hh.ru.¶

Сложная часть¶

Задача 1.¶

Факультативная часть¶

Задача 2.¶

Задача 3.¶

Контакты

Введение в анализ данных¶

Домашнее задание 10. Анализ вакансий.¶

Справка по работе с API сервиса hh.ru.¶

Сложная часть¶

Задача 1.¶

Факультативная часть¶

Задача 2.¶

Задача 3.¶

Введение в анализ данных ¶