В команде Market Research and Analytics мы занимаемся различными исследовательскими проектами для всех продуктов и команд JetBrains. Основные направления работы команды: Business & Technology Research, UX Research, Data retrievals / Dashboards, Surveys.
Задачей стажировки является помощь в решении ряда задач для улучшения внутренних процессов.

Задача 1 - инфрастуктура для опросов. Наши опросы собираются через внешнюю систему Alchemer, которая предоставляет API для скачивания данных. Мы храним данные в базе (PostgreSQL) в единообразном виде для всех опросов. В команде написаны два инструмента для выгрузки. Один написан на языке R, скачивает опросы с любыми типами вопросов и складывает их в базу данных. Его недостаток - плохая архитектура и производительность. Второй написан на Python, но не складывает данные в базу и не поддерживает часть типов вопросов. Требуется разработать новый инструмент и автоматизировать его работу с использованием CI-инфраструктуры компании (TeamCity, возможно Kubernetes). Примерные этапы работы:

• многопоточное скачивание JSON через API
• парсинг JSON в имеющуюся табличную структуру данных
• выгрузка завершённых опросов в базу
• догрузка новых ответов на ранее загруженные опросы
• автоматизация работы с отдельными опросами
• полная автоматизация, новые ответы на все опросы автоматически пополняют базу

Задача 2 - сервис-индексатор отчетов команды в Google Drive
На текущий момент команда Market Research & Analytics создает и хранит отчеты по своим исследованиям в формате Google Doc. Для улучшения процесса поиска этих отчетов, мы планируем создать решение-надстройку над Google Drive, которая будет индексировать существующее содержимое и предоставлять интерфейс гибкого поиска. Одной из частей данного решения будет сервис-индексатор, в задачу которого будет входить преобразование различных частей Google документов в структурированные данные.
Примерные задачи:
Использование Drive и Docs API для поиска и парсинга Google документов, а также YouTrack API для выгрузки дополнительной мета информации из нашего YouTrack
Автоматизированное тегирование на основе содержимого Google документов
Создание репортов / алертов по нарушениям конвенций документов
Примерный стек:
Python (requests, flask, библиотеки для тегирования)
PostgreSQL
В дальнейшем стажер может взять на себя задачи по реализации иных частей решения.

Python