Архив метки: PostgreSQL

SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

sd-podcast-logo Рад представить вам 48-й выпуск SDCast’а! У меня в гостях Михаил Тюрин, главный системный архитектор AVITO.ru. В этом выпуске речь идет об архитектуре AVITO в целом, как оно работает изнутри и на каких технологиях базируется.

Миша работает в AVITO с основания, поэтому кому, как не ему знать как там все устроено. Мы не углублялись далеко в технические подробности, но обсуждали архитектуру системы в целом, затрагивая различные ключевые вопросы и компоненты. Миша рассказал про стек используемых технологий, как с точки зрения разработки, так и про используемые сервисы, серверы приложений, баз данных и т. д.

Мы довольно подробно разобрали, как система обрабатывает запрос, начиная от нажатия кнопки «Submit» в браузере, что происходит с данными запроса в бэкенде, какие сервисы участвуют в обработке, в какие очереди раскладываются задачи и заканчивая тем, каким образом обновляются данные во всей системе для других пользователей.

Не обошли мы стороной и вопросы отказоустойчивости, масштабирования и безопасности системы в целом, и некоторых ключевых компонентов в частности.

Так же довольно подробно пообщались про базы данных и PostgreSQL в частности. Затронули вопросы взаимодействия клиентского кода приложений с БД, обновления и миграции данных.

Миша является активным участником сообщества #PostgreSQLRussia, он сам активно выступает на разных конференциях и встречах, равно как и ребята из его команды, так что мы пообщались и на эту тему тоже.

Читать далее SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

Скачать (mp3, 49 MB) Скачать (ogg, 52 MB)

SDCast #43: в гостях Николай Сивко, сооснователь проекта OKMeter.io

sd-podcast-logo Встречайте 43-й выпуск подкаста! На этот раз речь пойдет о devops, эксплуатации и мониторинге. У меня в гостях Николай Сивко, сооснователь проекта OKMeter.io.

В этом выпуске мы говорим про мониторинг в целом, каким он бывает, когда стоит задумываться о мониторинге своих сервисов, как внедрять мониторинг в уже работающие решения. Обсудили какие метрики надо собирать, какие есть способы сбора метрик в принципе и какие есть уже готовые инструменты для этого.

Так же обсудили с Николаем как получить наглядное представление о наблюдаемой системе, какие средства визуализации хороши, и какие способы представления информации дают наилучшее понимание о текущем состоянии системы.

Далее Николай рассказал о том, как устроен сам сервис OKMeter.io, какова его архитектура, из каких компонентов он состоит и какие инструменты используются «под капотом». Рассказал, как и какие метрики собираются, обрабатываются, хранятся и в дальнейшем используются для построения графиков и гистограм. Отдельно обсудили тему отказоустойчивости и масштабирования решения по мониторингу.

Читать далее SDCast #43: в гостях Николай Сивко, сооснователь проекта OKMeter.io

Скачать (mp3, 29 MB) Скачать (ogg, 32 MB)

SDCast #36: в гостях Дмитрий Павлов, администратор хранилищ данных банка Тинькофф

sd-podcast-logo Рад представить вам первый выпуск 2016 года, за номером 36. У меня в гостях Дмитрий Павлов, администратор хранилищ данных банка Тинькофф. В этом выпуске речь идет про хранилища данных, чем они отличаются от просто баз данных, какими отличительными возможностями они обладают, для какой нагрузки они предназначены по сравнению с RDBMS.

Дмитрий рассказал про архитектуру хранилища данных, построенную в банке Тинькофф, на чем она построена, из каких компонент состоит, как происходит загрузка данных из online-систем, как устроен ETL-процесс, что используется для расчетов, какие есть интеграции с внешними системами и как они устроены. Не обошли мы стороной и вопрос мониторинга всей системы. Дмитрий рассказал, какие метрики для хранилищ данных важны, что имеет значение, как их собирать и как за ними следить, и какие инстументы мониторинга они используют у себя.

Хранилище данных базируется на БД GreenPlum, которая, в свою очередь, базируется на PostgreSQL, из которых построено несколько кластеров, так же GreenPlum интегрирован с Hadoop и Informatica BDE, в которых производятся расчеты, а мониторится это все с помощью Graphite/Grafana/Cabot.
Читать далее SDCast #36: в гостях Дмитрий Павлов, администратор хранилищ данных банка Тинькофф

Скачать (mp3, 25 MB) Скачать (ogg, 29 MB)

SDCast #33: в гостях Николай Самохвалов, сооснователь сообщества PostgreSQL в России.

sd-podcast-logo Рад представить вам 33-й выпуск SDCast’а. В этот раз у меня в гостях Николай Самохвалов, сооснователь и активист сообщества PostgreSQL в России. В этом выпуске мы обсуждаем базы данных в целом, говорим про RDBMS и noSQL решения, архитектуру построения приложений с использованием баз данных, обсуждаем разные технические возможности взаимодействия и использования баз данных.

Много говорим о базе данных PostgreSQL, её возможностях, смежных проектах, сообществе разработчиков вокруг нее. Николай рассказал про разные интересные Open source инструменты для работы с Postgres, настройке и расширении штатного функционала.

Николай является организатором встреч сообщества PostgreSQLRussia, которые проходят регулярно и всегда собирают большое количество участников. Мы так же не обошли эту тему стороной. Николай рассказал немного про то, когда и как все начиналось, что происходит в сообществе сейчас, а так же поделился планами на ближайшее будущее.

В свете последних событий и общей геополитической обстановки, обсудили мы и тему «импортозамещения». Кстати, эта очень актуальная тема и на встречах PostgreSQL сообщества регулярно появляются доклады про опыт перехода на Postgres c каких-либо других СУБД.

Читать далее SDCast #33: в гостях Николай Самохвалов, сооснователь сообщества PostgreSQL в России.

Скачать (mp3, 29 MB) Скачать (ogg, 38 MB)