Я начинаю изучение направления Data Engineering

К этому моменту реализовано:

1. Взаимодействие с API google sheets на тестовом датасете.
Удалось добиться валидации и преобразование данных.
Также из sheets данные записываются в SQLite.
Python, gspread, pandas, SQLite

2. Связка: API курсов валют -> Google sheets -> MSSQL (локально) + альтернатива на Airflow в Docker.
-Курсы валют берутся из API НБРБ, идут в google sheets в ручном режиме или автоматически в настроенное время.
-Функционал добавления данных в MSSQL. Таргет на времени. Если такое время уже есть - обновить данные. Если нет - вставка новых.
-Airflow в Docker (На windows это было весело...). Буквально всё то же самое в нём и крутится, но не удалось подружить запрос и контейнера к моей локальной БД (если бы была удалённой, то проблем, наверно, не было бы.)
Python, gspread, Docker, Airflow, MSSQL, pyodbc

Параллельно поднял туннель между VPS и ноутом.
РБ <--> Россия.