Архив метки: DB

SDCast #60: в гостях Иван Круглов, програмист Booking.com

sd-podcast-logoРад представить вам 60-й выпуск SDCast’а! У меня в гостях Иван Круглов, програмист Booking.com. Некоторое время Иван занимался разработкой подсистемы поиска отелей, именно об этом и пойдёт речь в этом выпуске.

Офис разработки Booking.com расположен в Амстердаме и в начале Иван рассказал как он туда попал. Поделился опытом прохождения интервью, подготовкой к собеседованиям в различных российских, европейских и американских компаниях.

Обсудили архитектуру поиска отелей: как в целом оно работает, из каких компонентов и сервисов состоит, на каких языках/платформах написано. Иван рассказал как эволюционировала система в целом, как она была устроена в начале, какие появлялись узкие места и как они в дальнейшем разрешались.

Иван рассказал про то, как они ушли от баз данных MySQL к встраиваемому решению, а именно RocksDB. Рассказал про материализацию данных для поиска, шардирование данных и эффективную обработку запросов.

Так же Иван немного рассказал про то, как у них происходит выкладка изменений в продакшн, мониторинг и обслуживание системы. Читать далее SDCast #60: в гостях Иван Круглов, програмист Booking.com

Скачать (mp3, 36 MB) Скачать (ogg, 28 MB)

SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

sd-podcast-logo Рад представить вам 48-й выпуск SDCast’а! У меня в гостях Михаил Тюрин, главный системный архитектор AVITO.ru. В этом выпуске речь идет об архитектуре AVITO в целом, как оно работает изнутри и на каких технологиях базируется.

Миша работает в AVITO с основания, поэтому кому, как не ему знать как там все устроено. Мы не углублялись далеко в технические подробности, но обсуждали архитектуру системы в целом, затрагивая различные ключевые вопросы и компоненты. Миша рассказал про стек используемых технологий, как с точки зрения разработки, так и про используемые сервисы, серверы приложений, баз данных и т. д.

Мы довольно подробно разобрали, как система обрабатывает запрос, начиная от нажатия кнопки «Submit» в браузере, что происходит с данными запроса в бэкенде, какие сервисы участвуют в обработке, в какие очереди раскладываются задачи и заканчивая тем, каким образом обновляются данные во всей системе для других пользователей.

Не обошли мы стороной и вопросы отказоустойчивости, масштабирования и безопасности системы в целом, и некоторых ключевых компонентов в частности.

Так же довольно подробно пообщались про базы данных и PostgreSQL в частности. Затронули вопросы взаимодействия клиентского кода приложений с БД, обновления и миграции данных.

Миша является активным участником сообщества #PostgreSQLRussia, он сам активно выступает на разных конференциях и встречах, равно как и ребята из его команды, так что мы пообщались и на эту тему тоже.

Читать далее SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

Скачать (mp3, 49 MB) Скачать (ogg, 52 MB)

SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

sd-podcast-logo А вот знаете ли вы, дорогие слушатели, как выстроить архитектуру, которая будет выдерживать десятки миллиардов запросов в день, ворочить петабайты данных, и при это быть быстрой и отзывчивой? Ответы на эти и не только вопросы вы можете услышать в свежем выпуске SDCast’а! У меня в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе.

В этом выпуске Виктор подробно рассказывает про архитектуру и внутреннее устройство Яндекс.Метрики, о том, из каких программных компонентов она состоит, как происходит обработка поступающих событий, как они обрабатываются и складываются в базу данных ClickHouse, каким способом достигается масштабируемость и отказоустойчивость всей системы.

Отдельно ведем разговор про аналитическую базу данных ClickHouse, которую компания Яндекс недавно выложила в opensource. Виктор рассказал про историю зарождения проекта, который появился в следствие эксперимента и попытки написать БД, которая будет быстро работать с сырыми, не агрегированными данными. Рассказал про внутреннюю архитектуру проекта: как устроено хранение данных, обработка запросов и взаимодействие с внешним миром. Не обошли мы стороной и тему публикации проекта в открытый доступ. Виктор рассказал о том, есть ли интерес у сообщества к проекту, чего ещё нужно сделать, чтобы проектом было легко и удобно начать пользоваться, есть ли запросы на новые фичи и пулл-реквесты. Так же Виктор поделился мнением о том, когда следует использовать ClickHouse и для какого рода задач она подходит наилучшим образом. В завершении выпуска обсудили планы по развитию проекта на ближайшее будущее.

Читать далее SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

Скачать (mp3, 39 MB) Скачать (ogg, 43 MB)

SDCast #33: в гостях Николай Самохвалов, сооснователь сообщества PostgreSQL в России.

sd-podcast-logo Рад представить вам 33-й выпуск SDCast’а. В этот раз у меня в гостях Николай Самохвалов, сооснователь и активист сообщества PostgreSQL в России. В этом выпуске мы обсуждаем базы данных в целом, говорим про RDBMS и noSQL решения, архитектуру построения приложений с использованием баз данных, обсуждаем разные технические возможности взаимодействия и использования баз данных.

Много говорим о базе данных PostgreSQL, её возможностях, смежных проектах, сообществе разработчиков вокруг нее. Николай рассказал про разные интересные Open source инструменты для работы с Postgres, настройке и расширении штатного функционала.

Николай является организатором встреч сообщества PostgreSQLRussia, которые проходят регулярно и всегда собирают большое количество участников. Мы так же не обошли эту тему стороной. Николай рассказал немного про то, когда и как все начиналось, что происходит в сообществе сейчас, а так же поделился планами на ближайшее будущее.

В свете последних событий и общей геополитической обстановки, обсудили мы и тему «импортозамещения». Кстати, эта очень актуальная тема и на встречах PostgreSQL сообщества регулярно появляются доклады про опыт перехода на Postgres c каких-либо других СУБД.

Читать далее SDCast #33: в гостях Николай Самохвалов, сооснователь сообщества PostgreSQL в России.

Скачать (mp3, 29 MB) Скачать (ogg, 38 MB)

SDCast #20: Миниюбилей. В гостях Константин Осипов и Алексей Рыбак

sd-podcast-logo Рад представить вашему вниманию новый выпуск. У SDCast’а небольшой юбилей – 20 выпусков. И в этот раз у меня в гостях не один, а целых два гостя! Это Константин Осипов, разработчик noSQL базы данных Tarantool из компании Mail.ru, и Алексей Рыбак, глава разработки в компании Badoo.

Выпуск получился продолжительнее обычного, но исключительно по причине интересных и жарких дискуссий на разные темы. Костя рассказал про эволюцию тех процесса разработки MySQL от истоков до покупки Oracle’ом компании Sun Microsystems, под крылом которой долгое время развивался MySQL Server. Алексей, в свою очередь, поведал о том, как становилась и развивалась компания Badoo в технологическом плане: как увеличивалось число разработчиков и как они разделялись на команды, как формировались отделы фронтенда и бэкенд-отделы, как выстраивался процесс Continious Integration. Так же мы затронули тему внедрения новых процессов и инструментов разработки в существующие команды и многие другие аспекты разработки.

Читать далее SDCast #20: Миниюбилей. В гостях Константин Осипов и Алексей Рыбак

Скачать (mp3, 52 MB)