Архив метки: Highload

SDCast #49: в гостях Александр Махомет, PHP Product Architect в компании Upwork

sd-podcast-logoВстречайте 49-й выпуск подкаста! На этот раз речь пойдет про распределенные команды разработки. У меня в гостях Александр Махомет, PHP Product Architect в компании Upwork и один из создателей проекта Frameworks days.

В компании Upwork работает порядка 350 инженеров и разработчиков, 270 из которых работают удаленно из 40 стран со всего мира. Александр рассказал как в компании в целом устроены процессы разработки, как формируются распределенные команды, на каких принципах построено взаимодействие между разработчиками и командами в целом.

Конечно же мы поговорили и про архитектуру проекта в целом. Саша рассказал из каких компонент состоит система в целом и что используется «под капотом». Рассказал так же про постепенную миграцию от монолитной архитектуры к микросервисной, как это происходило, какие были сложности и что в итоге это дало на выходе. В Upwork используется PHP как middleware между фронтендом и различными сервисами и Саша рассказал про миграцию с Zend Framework на Symfony, а так же про миграцию на PHP7.

Александр является одним из создателей проекта Framework days, и вообще активным участником различных сообществ разработчиков, так что не обошли мы стороной и эту область. Обсудили тему конференций и встреч, зачем и кому это нужно, как они устроены и организовываются, что дают всем участникам. Поговорили про различие конференций в постсоветском пространстве и Европе, возможность проведения конференций на английском языке и прочие смежные вопросы. Читать далее SDCast #49: в гостях Александр Махомет, PHP Product Architect в компании Upwork

Скачать (mp3, 27 MB) Скачать (ogg, 30 MB)

SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

sd-podcast-logo Рад представить вам 48-й выпуск SDCast’а! У меня в гостях Михаил Тюрин, главный системный архитектор AVITO.ru. В этом выпуске речь идет об архитектуре AVITO в целом, как оно работает изнутри и на каких технологиях базируется.

Миша работает в AVITO с основания, поэтому кому, как не ему знать как там все устроено. Мы не углублялись далеко в технические подробности, но обсуждали архитектуру системы в целом, затрагивая различные ключевые вопросы и компоненты. Миша рассказал про стек используемых технологий, как с точки зрения разработки, так и про используемые сервисы, серверы приложений, баз данных и т. д.

Мы довольно подробно разобрали, как система обрабатывает запрос, начиная от нажатия кнопки «Submit» в браузере, что происходит с данными запроса в бэкенде, какие сервисы участвуют в обработке, в какие очереди раскладываются задачи и заканчивая тем, каким образом обновляются данные во всей системе для других пользователей.

Не обошли мы стороной и вопросы отказоустойчивости, масштабирования и безопасности системы в целом, и некоторых ключевых компонентов в частности.

Так же довольно подробно пообщались про базы данных и PostgreSQL в частности. Затронули вопросы взаимодействия клиентского кода приложений с БД, обновления и миграции данных.

Миша является активным участником сообщества #PostgreSQLRussia, он сам активно выступает на разных конференциях и встречах, равно как и ребята из его команды, так что мы пообщались и на эту тему тоже.

Читать далее SDCast #48: в гостях Михаил Тюрин, главный системный архитектор AVITO.ru

Скачать (mp3, 49 MB) Скачать (ogg, 52 MB)

SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

sd-podcast-logo А вот знаете ли вы, дорогие слушатели, как выстроить архитектуру, которая будет выдерживать десятки миллиардов запросов в день, ворочить петабайты данных, и при это быть быстрой и отзывчивой? Ответы на эти и не только вопросы вы можете услышать в свежем выпуске SDCast’а! У меня в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе.

В этом выпуске Виктор подробно рассказывает про архитектуру и внутреннее устройство Яндекс.Метрики, о том, из каких программных компонентов она состоит, как происходит обработка поступающих событий, как они обрабатываются и складываются в базу данных ClickHouse, каким способом достигается масштабируемость и отказоустойчивость всей системы.

Отдельно ведем разговор про аналитическую базу данных ClickHouse, которую компания Яндекс недавно выложила в opensource. Виктор рассказал про историю зарождения проекта, который появился в следствие эксперимента и попытки написать БД, которая будет быстро работать с сырыми, не агрегированными данными. Рассказал про внутреннюю архитектуру проекта: как устроено хранение данных, обработка запросов и взаимодействие с внешним миром. Не обошли мы стороной и тему публикации проекта в открытый доступ. Виктор рассказал о том, есть ли интерес у сообщества к проекту, чего ещё нужно сделать, чтобы проектом было легко и удобно начать пользоваться, есть ли запросы на новые фичи и пулл-реквесты. Так же Виктор поделился мнением о том, когда следует использовать ClickHouse и для какого рода задач она подходит наилучшим образом. В завершении выпуска обсудили планы по развитию проекта на ближайшее будущее.

Читать далее SDCast #45: в гостях Виктор Тарнавский, руководитель разработки аналитических продуктов в Яндексе

Скачать (mp3, 39 MB) Скачать (ogg, 43 MB)

SDCast #43: в гостях Николай Сивко, сооснователь проекта OKMeter.io

sd-podcast-logo Встречайте 43-й выпуск подкаста! На этот раз речь пойдет о devops, эксплуатации и мониторинге. У меня в гостях Николай Сивко, сооснователь проекта OKMeter.io.

В этом выпуске мы говорим про мониторинг в целом, каким он бывает, когда стоит задумываться о мониторинге своих сервисов, как внедрять мониторинг в уже работающие решения. Обсудили какие метрики надо собирать, какие есть способы сбора метрик в принципе и какие есть уже готовые инструменты для этого.

Так же обсудили с Николаем как получить наглядное представление о наблюдаемой системе, какие средства визуализации хороши, и какие способы представления информации дают наилучшее понимание о текущем состоянии системы.

Далее Николай рассказал о том, как устроен сам сервис OKMeter.io, какова его архитектура, из каких компонентов он состоит и какие инструменты используются «под капотом». Рассказал, как и какие метрики собираются, обрабатываются, хранятся и в дальнейшем используются для построения графиков и гистограм. Отдельно обсудили тему отказоустойчивости и масштабирования решения по мониторингу.

Читать далее SDCast #43: в гостях Николай Сивко, сооснователь проекта OKMeter.io

Скачать (mp3, 29 MB) Скачать (ogg, 32 MB)

SDCast #14: в гостях Стас Кондратьев

sd-podcast-logo Какая связь у Microsoft Azure и open source, Knockout.js и Олимпийских игр Сочи 2014? Ответы на эти и многие другие вопросы в 14-м выпуске SDCast’а!

У меня в гостях Стас Кондратьев, архитектор приложений в компании Microsoft, а так же ведущий архитектор веб проекта Сочи 2014.

В это выпуске мы обсуждаем следующие темы:

  • Платформа Microsoft Azure: какие компоненты она включает, как устроена и что позволяет строить.
  • Проект портала «Сочи 2014». Очень подробный рассказ о проекте, о том, на каких технологиях он построен, какова его архитектура, какие были интесные моменты и сложности во время разработки, как проводилось тестирование, а так же вопросы балансировки, масштабирования и отказоустойчивости сайта, который в пике выдерживал 90000 запросов в секунду.
  • Microsoft и opensource: немного рассуждаем на тему поддержки Microsoft’ом разных opensource решений, в частности поддержка PHP/Node.js/Mysql и прочих в облачном сервисе Azure.

Читать далее SDCast #14: в гостях Стас Кондратьев

Скачать (mp3, 26 MB)

Software Development podCAST #12

sd-podcast-logo Highload и API, архитектура и мониторинг, Python и Go: все это, а так же многое другое в новом выпуске SDCast’а за номером 12. У меня в гостях Андрей Смирнов, разработчик aptly, архитектор, докладчик на многих конференциях, ведущий мастер-класса по высоким нагрузкам и надежности. В этом выпуске мы обсуждаем разные аспекты построения высоконагруженных проектов, говорим о балансировке и распределении нагрузки, обсуждаем вопросы построения API для использования как внутри проекта, так и сторонними клиентами.
Андрей рассказывает про свой open-source проект «aptly», который является инструментом для обслуживания debian репозиториев, как появилась идея, каков статус проекта сейчас и что планируется сделать в будущем, почему в качестве языка был выбран Go, и как aptly попал в main-репозиторий debian.
Помимо этого, мы немного пообщались на тему мастер-классов, которые проводит Андрей.
Читать далее Software Development podCAST #12

Скачать (mp3, 31 MB)