Apache Airflow - фреймворк для построения и мониторинга процессов работы с большими данными, а также управления ими.
Как и многие другие инструменты в области Big Data, Airflow предоставляет web-interface для работы с системой.

Big Data Tools - это семейство плагинов платформы IntelliJ для комфортной работы с большими данными в рамках IDE.
Одна из основных идей Big Data Tools - интеграция ключевых инструментов внутри IDE для сокращения затрат ресурсов разработчика на переключение контекстов.
Цель проекта - обеспечить возможность проводить большую часть работы с Airflow, не покидая IDE, а также повысить удобство этой работы средствами платформы IntelliJ.

В рамках стажировки предстоит провести интеграцию Airflow и Big Data Tools:

• Разработать и интегрировать в плагин инструмент просмотра (и, опционально, редактирования) графов исполнения Airflow (DAGs)
• Интегрировать в плагин систему логгирования и обработки событий Airflow
• Поддержать просмотр и редактирование конфигаруционных файлов Airflow в плагине
• Обеспечить возможность запускать задачи Airflow в плагине
• Обеспечить возможность мониторить процесс исполнения задачи Airflow в плагине
• Разработать средства анализа и автоматического улучшения конфигураций (например, оптимизация зависимостей в DAG; исследовательская часть)

При работе над проектом будет возможность ознакомиться с рядом технологий:

• Apache Airflow
• Apache Spark
• Apache Hadoop

и просто получить хорошее общее представление о том, как архитектурно выглядит мир обработки больших данных.

• Kotlin (или хороший уровень Java/Scala и желание учить Kotlin)
• Знание и понимание алгоритмов и структур данных
• Опыт работы с REST будет полюсом
• Опыт и желание разрабатывать UI на java/kotlin будет плюсом