Архив метки: BigData

SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

sd-podcast-logo А вот знаете ли вы, дорогие слушатели, как выстроить архитектуру, которая будет выдерживать десятки миллиардов запросов в день, ворочить петабайты данных, и при это быть быстрой и отзывчивой? Ответы на эти и не только вопросы вы можете услышать в свежем выпуске SDCast’а! У меня в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе.

В этом выпуске Виктор подробно рассказывает про архитектуру и внутреннее устройство Яндекс.Метрики, о том, из каких программных компонентов она состоит, как происходит обработка поступающих событий, как они обрабатываются и складываются в базу данных ClickHouse, каким способом достигается масштабируемость и отказоустойчивость всей системы.

Отдельно ведем разговор про аналитическую базу данных ClickHouse, которую компания Яндекс недавно выложила в opensource. Виктор рассказал про историю зарождения проекта, который появился в следствие эксперимента и попытки написать БД, которая будет быстро работать с сырыми, не агрегированными данными. Рассказал про внутреннюю архитектуру проекта: как устроено хранение данных, обработка запросов и взаимодействие с внешним миром. Не обошли мы стороной и тему публикации проекта в открытый доступ. Виктор рассказал о том, есть ли интерес у сообщества к проекту, чего ещё нужно сделать, чтобы проектом было легко и удобно начать пользоваться, есть ли запросы на новые фичи и пулл-реквесты. Так же Виктор поделился мнением о том, когда следует использовать ClickHouse и для какого рода задач она подходит наилучшим образом. В завершении выпуска обсудили планы по развитию проекта на ближайшее будущее.

Читать далее SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

Скачать (mp3, 39 MB) Скачать (ogg, 43 MB)

Software Development podCAST #10

sd-podcast-logo
Ну что ж, друзья! Встречайте долгожданный 10-й, можно сказать юбилейный, выпуск SDCast’а! На этот раз речь пойдет о хранилищах данных и BigData. У меня в гостях, Алексей Константинов, архитектор в компании EasyData в настоящее время, и один из ведущих архитекторов хранилища данных в компании Yota в прошлом. В этом выпуске освещаются интереснейшие вопросы устройства, внутренней архитектуры и проблемы построения хранилищ данных в общем и хранилищ на базе HP Vertica в частности.

Затрагиваются такие темы как:

  • Источники данных, вопросы их сбора и агрегации
  • Проектирование хранилищ данных
  • Проблемы масштабирования и способы их решения
  • Отказоустойчивость
  • Кластеризация и шардинг
  • История возникновения и развития HP Vertica
  • ETL процесс
  • и многое другое!

Читать далее Software Development podCAST #10

Скачать (mp3, 37 MB)