Team Lead Data Engineer (Big Data)

З/п не указана
Опыт работы: От 3 до 6 лет
График работы: Удаленная работа
Занятость: Полная занятость
Компания: Платформа ОФД

«Платформа ОФД» - аккредитованная IT-компания, крупнейший в России оператор фискальных данных.

Мы создаем полезные и удобные сервисы для предпринимателей.

Делаем рыночную аналитику на основе данных из магазинных чеков.

Компания резидент Сколково, входит в Экосистему Сбера.
Приглашаем на работу Team Lead Data Engineer

Что у нас есть:
  • Можно работать удалено, но при необходимости (1-2 раза в месяц) приезжать офис.
  • Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе
  • Развитая инфраструктура: есть несколько кластеров Hadoop, мощные машины, GPU
  • Команда Big Data: продакты, аналитики, ресечеры, DS и DE
  • 80% кода мы пишем на Scala
  • Железо и лицензии от компании
  • Оформление по ТК РФ, белая зп
  • Отсрочка от мобилизации, согласно условиям Минцифры
  • ДМС (поликлиника, стоматология, госпитализация, скорая)
  • Скидки в фитнес-клубы, мерч, подарки детям к праздникам
  • Офис в 50 метрах от м. Спортивная/ МЦК Лужники.
  • Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
  • Открытая рабочая атмосфера: ежемесячные статус-митинги с топами
  • Пицца-пати за счет компании и корпоративные праздники
Наш стек:

Hadoop, Spark, Hive, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset

GitLab, Docker, Jira, Confluence

Чем предстоит заниматься:
  • Управлять командой, состоящей из 4 Data Engineer`s
  • Оптимизировать инфраструктуру и внутренние сервисы по обработке больших данных
  • Участвовать в проектировании архитектуры DWH и витрин данных
  • Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
  • Сотрудничать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы
Откликайся, если ты:
  • От 3-х лет решаешь задачи в области сбора, хранения и анализа данных
  • Имеешь опыт работы на позиции Team Lead от года
  • Пишешь на Scala, Python/Java, SQL
  • Используешь инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
Хочу откликнуться
<
>