DB – Software Development podCAST

SDCast #94 HL Edition: Алексей Лесовский и Виктор Егоров из Data Egret

Друзья, рад представить вам интервью с Алексеем Лесовским и Виктором Егоровым из компании Data Egret, записанное на прошедшей конференции Highload++ 2018.

В этом выпуске мы говорим конечно же про Postgres. Не так давно у меня в гостях был Илья Космодемьянский, но мы больше говорили на общие темы баз данных, их роль в ИТ системах, образовании и прочем. В этот раз мы сконцентрировались больше на технических и практических аспектах работы с PostgreSQL.

Мы обсудили типичные ошибки при проектировании база данных, которые допускают разработчики систем, обсудили типичные ошибки администраторов баз данных, углубились в различные технические аспекты работы PostgreSQL, такие как взаимодействие с дисками, Direct I/O и прочее.

Подискутировали на тему кластеров, отказоустойчивости и безопасности систем, вспомнили различные вспомогательные инструменты для работы с PostgreSQL, такие как прокси-серверы, инструменты бэкап/рестора.

В завершении выпуска обсудили последние нововведения в 11-й версии PostgreSQL и что может появится нового и интересного в 12-й версии базы данных.

SDCast #92: в гостях Илья Космодемьянский, один из основателей и директор компании Data Egret

Встречайте 92-й выпуск SDCast’а! У меня в гостях Илья Космодемьянский, один из основателей и директор компании Data Egret. Илья является активным участником сообщества PostgreSQL, он регулярно выступает на различных конференциях как с довольно сложными техническими докладами о внутренностях PostgreSQL, так и с докладами про soft skills, получение опыта и знаний в области баз данных.

В этом выпуске мы обсуждаем в целом роль баз данных в ИТ системах, как поменялась разработка софта и требования к базам данных в связи с возросшей нагрузкой и увеличением мощностей вычислительных ресурсов, с развитием процессов разработки, появлением различных архитектур, таких как микросервисы и прочие.

Подискутировали о том, какое влияние на классические RDBMS оказали такие новые (и уже не очень) веяния, как noSQL и newSQL. Обсудили, как различные БД и PostgreSQL в частности адаптируются под новые требования к надёжности, масштабируемости, отказоустойчивости.

Посмотрели в ретроспективе на развитие PostgreSQL, вспомнили что с ним было 10−15 лет назад, когда MySQL был на коне, и какое место PostgreSQL занимает сейчас, как изменился процесс разработки и что происходит в проекте сейчас.

Отдельно обсудили тему знаний и как стать экспертом в области баз данных, какие для этого нужные базовые знания, как и где набираться опыта. Илья рассказал про свой путь в IT, поделился своими практическими советами и рекомендациями.

SDCast #60: в гостях Иван Круглов, програмист Booking.com

sd-podcast-logo Рад представить вам 60-й выпуск SDCast’а! У меня в гостях Иван Круглов, програмист Booking.com. Некоторое время Иван занимался разработкой подсистемы поиска отелей, именно об этом и пойдёт речь в этом выпуске.

Офис разработки Booking.com расположен в Амстердаме и в начале Иван рассказал как он туда попал. Поделился опытом прохождения интервью, подготовкой к собеседованиям в различных российских, европейских и американских компаниях.

Обсудили архитектуру поиска отелей: как в целом оно работает, из каких компонентов и сервисов состоит, на каких языках/платформах написано. Иван рассказал как эволюционировала система в целом, как она была устроена в начале, какие появлялись узкие места и как они в дальнейшем разрешались.

Иван рассказал про то, как они ушли от баз данных MySQL к встраиваемому решению, а именно RocksDB. Рассказал про материализацию данных для поиска, шардирование данных и эффективную обработку запросов.

Так же Иван немного рассказал про то, как у них происходит выкладка изменений в продакшн, мониторинг и обслуживание системы.

SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

sd-podcast-logo Рад представить вам 48-й выпуск SDCast’а! У меня в гостях Михаил Тюрин, главный системный архитектор AVITO.ru. В этом выпуске речь идет об архитектуре AVITO в целом, как оно работает изнутри и на каких технологиях базируется.

Миша работает в AVITO с основания, поэтому кому, как не ему знать как там все устроено. Мы не углублялись далеко в технические подробности, но обсуждали архитектуру системы в целом, затрагивая различные ключевые вопросы и компоненты. Миша рассказал про стек используемых технологий, как с точки зрения разработки, так и про используемые сервисы, серверы приложений, баз данных и т. д.

Мы довольно подробно разобрали, как система обрабатывает запрос, начиная от нажатия кнопки «Submit» в браузере, что происходит с данными запроса в бэкенде, какие сервисы участвуют в обработке, в какие очереди раскладываются задачи и заканчивая тем, каким образом обновляются данные во всей системе для других пользователей.

Не обошли мы стороной и вопросы отказоустойчивости, масштабирования и безопасности системы в целом, и некоторых ключевых компонентов в частности.

Так же довольно подробно пообщались про базы данных и PostgreSQL в частности. Затронули вопросы взаимодействия клиентского кода приложений с БД, обновления и миграции данных.

Миша является активным участником сообщества #PostgreSQLRussia, он сам активно выступает на разных конференциях и встречах, равно как и ребята из его команды, так что мы пообщались и на эту тему тоже.

SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

sd-podcast-logo А вот знаете ли вы, дорогие слушатели, как выстроить архитектуру, которая будет выдерживать десятки миллиардов запросов в день, ворочить петабайты данных, и при это быть быстрой и отзывчивой? Ответы на эти и не только вопросы вы можете услышать в свежем выпуске SDCast’а! У меня в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе.

В этом выпуске Виктор подробно рассказывает про архитектуру и внутреннее устройство Яндекс.Метрики, о том, из каких программных компонентов она состоит, как происходит обработка поступающих событий, как они обрабатываются и складываются в базу данных ClickHouse, каким способом достигается масштабируемость и отказоустойчивость всей системы.

Отдельно ведем разговор про аналитическую базу данных ClickHouse, которую компания Яндекс недавно выложила в opensource. Виктор рассказал про историю зарождения проекта, который появился в следствие эксперимента и попытки написать БД, которая будет быстро работать с сырыми, не агрегированными данными. Рассказал про внутреннюю архитектуру проекта: как устроено хранение данных, обработка запросов и взаимодействие с внешним миром. Не обошли мы стороной и тему публикации проекта в открытый доступ. Виктор рассказал о том, есть ли интерес у сообщества к проекту, чего ещё нужно сделать, чтобы проектом было легко и удобно начать пользоваться, есть ли запросы на новые фичи и пулл-реквесты. Так же Виктор поделился мнением о том, когда следует использовать ClickHouse и для какого рода задач она подходит наилучшим образом. В завершении выпуска обсудили планы по развитию проекта на ближайшее будущее.

SDCast #33: в гостях Николай Самохвалов, сооснователь сообщества PostgreSQL в России.

sd-podcast-logo Рад представить вам 33-й выпуск SDCast’а. В этот раз у меня в гостях Николай Самохвалов, сооснователь и активист сообщества PostgreSQL в России. В этом выпуске мы обсуждаем базы данных в целом, говорим про RDBMS и noSQL решения, архитектуру построения приложений с использованием баз данных, обсуждаем разные технические возможности взаимодействия и использования баз данных.

Много говорим о базе данных PostgreSQL, её возможностях, смежных проектах, сообществе разработчиков вокруг нее. Николай рассказал про разные интересные Open source инструменты для работы с Postgres, настройке и расширении штатного функционала.

Николай является организатором встреч сообщества PostgreSQLRussia, которые проходят регулярно и всегда собирают большое количество участников. Мы так же не обошли эту тему стороной. Николай рассказал немного про то, когда и как все начиналось, что происходит в сообществе сейчас, а так же поделился планами на ближайшее будущее.

В свете последних событий и общей геополитической обстановки, обсудили мы и тему «импортозамещения». Кстати, эта очень актуальная тема и на встречах PostgreSQL сообщества регулярно появляются доклады про опыт перехода на Postgres c каких-либо других СУБД.

SDCast #20: Миниюбилей. В гостях Константин Осипов и Алексей Рыбак

sd-podcast-logo Рад представить вашему вниманию новый выпуск. У SDCast’а небольшой юбилей – 20 выпусков. И в этот раз у меня в гостях не один, а целых два гостя! Это Константин Осипов, разработчик noSQL базы данных Tarantool из компании Mail.ru, и Алексей Рыбак, глава разработки в компании Badoo.

Выпуск получился продолжительнее обычного, но исключительно по причине интересных и жарких дискуссий на разные темы. Костя рассказал про эволюцию тех процесса разработки MySQL от истоков до покупки Oracle’ом компании Sun Microsystems, под крылом которой долгое время развивался MySQL Server. Алексей, в свою очередь, поведал о том, как становилась и развивалась компания Badoo в технологическом плане: как увеличивалось число разработчиков и как они разделялись на команды, как формировались отделы фронтенда и бэкенд-отделы, как выстраивался процесс Continious Integration. Так же мы затронули тему внедрения новых процессов и инструментов разработки в существующие команды и многие другие аспекты разработки.