Database Scaling Concepts: Partitioning, Sharding & Replication - Full Breakdown & Transcript

[00:02] хранить миллиарды фотографий или Google индексировать триллионы веб-страниц? В этом видео мы рассмотрим важнейшие концепции управления данными и масштабируемости, лежащие в основе современных распределенных систем. Эти шаблоны

[00:15] позволяют высокомасштабным системам эффективно обрабатывать огромные объемы данных. Давайте посмотрим. Разделение данных на сегменты позволяет разбить набор данных на более мелкие и удобные для управления части, оптимизируя производительность и масштабируемость. Существует два основных

[00:30] подхода к разделению данных. Вертикальное секционирование разделяет таблицу по столбцам на основе шаблонов доступа и характеристик данных. Такой подход позволяет хранить часто используемые данные отдельно от редко используемых

[00:44] кодовых данных. Большие текстовые поля и бинарные объекты можно отделить от структурированных данных для оптимизации шаблонов ввода-вывода при хранении . Например, в таблице профиля пользователя основная информация может храниться в одном разделе, а подробный биографический текст — в

[01:00] другом. Горизонтальное секционирование разделяет таблицы по строкам, обычно используя ключ секционирования для определения того, какие строки относятся к какой секции. Этот подход хорошо работает, когда данные можно четко разделить на основе определенного атрибута,

[01:16] такого как ценовые диапазоны или географические регионы. Например, таблица транзакций может быть разделена по месяцам, что позволит запросам за определенные периоды времени обращаться только к соответствующим разделам. Правильно реализованное

[01:30] разделение данных может уменьшить количество операций ввода-вывода для смешанных рабочих нагрузок за счет согласования размещения данных с шаблонами доступа. Повышение производительности достигается за счет более эффективного использования памяти и сокращения объема сканирования данных во время выполнения запросов.

[01:46] Шардинг базы данных расширяет возможности горизонтального разделения данных, позволяя распределять их между несколькими независимыми экземплярами базы данных или серверами. В то время как разделение данных на разделы обычно происходит внутри одной базы данных, сегментирование охватывает несколько баз данных, часто расположенных

[02:01] на отдельных физических машинах. Шардинг распределяет данные с использованием ключей разделов и стратегий шардинга. Хэш- шардинг применяет хэш-функцию к короткому ключу, равномерно распределяя данные, но делая запросы к диапазону неэффективными.

[02:16] Сегментирование на основе диапазонов назначает строки сегментам на основе диапазонов ключей, что оптимизирует запросы к диапазонам, но может создавать «горячие точки». При сегментировании на основе каталогов используется служба поиска для сопоставления ключей с сегментами. Это обеспечивает большую

[02:31] гибкость за счет дополнительной сложности. Влияние сегментирования на производительность существенно. Основные платформы используют сегментирование данных для обработки огромных объемов данных и нагрузок на запись, которые могли бы перегрузить

[02:43] отдельный экземпляр базы данных. Они могут достичь почти линейной масштабируемости, распределяя данные по сотням физических серверов посредством логического сегментирования. Одной из существенных проблем при сегментировании является обработка операций,

[02:57] охватывающих несколько коротких сегментов. Перекрестные запросы и транзакции усложняют процесс, поскольку требуют координации между отдельными экземплярами базы данных. Это может повлиять на производительность и усложнить

[03:13] вспомогательные структуры данных, которые оптимизируют шаблоны запросов за счет увеличения объема памяти и накладных расходов на запись. Современные базы данных реализуют различные типы индексов. B-дерево индексов представляет собой сбалансированное дерево, поддерживающее отсортированные данные для

[03:27] запросов диапазона и точечного поиска. Хэш-индексы обеспечивают прямой поиск по ключу и местоположению, но не поддерживают запросы по диапазону. Битовые индексы эффективны для столбцов с низкой кардальностью, таких как логические флаги или коды состояния. Инвертированные индексы сопоставляют содержимое с

[03:44] записями. Они предоставляют возможности полнотекстового поиска . Правильно расположенный индекс может превратить полное сканирование таблицы, занимающее минуты, в обход таблицы B3, завершающийся за миллисекунды. Однако каждый дополнительный индекс влечет за собой определенные

[03:58] накладные расходы, поскольку база данных должна поддерживать эти структуры во время операций вставки и обновления. Это представляет собой прямой компромисс в проектировании баз данных, который инженеры должны учитывать. Репликация обеспечивает наличие копий данных на нескольких узлах для повышения

[04:14] масштабируемости и отказоустойчивости. Давайте поговорим о том, как работает репликация на практике. Существует три основных подхода. При репликации с одним лидером все права принадлежат одному лидеру . После того как ведущий узел обработает

[04:26] данные и сохранит их, он принудительно внесет эти изменения во все узлы-реплики. Это обеспечивает четкую и последовательную последовательность действий. Многократная репликация позволяет подтвердить права доступа нескольким ведущим узлам. Каждый лидер сообщает о своих

[04:41] изменениях другим лидерам. Это повышает доступность прав, но создает проблему обработки конфликтующих обновлений, что требует сложных механизмов разрешения конфликтов для систем без лидера.

[04:54] Для обеспечения согласованности несколько узлов могут принимать права доступа . В этих системах реализованы кворумы, при которых операции завершаются успешно, если их подтверждают минимальное количество узлов, а также механизмы восстановления данных, которые исправляют устаревшие данные во время

[05:08] операций чтения. Когда данные записываются на ведущую реплику, но еще не достигли всех реплик, это называется задержкой репликации. В асинхронных системах эта задержка обычно составляет от миллисекунд до секунд в зависимости от состояния сети.

[05:23] Во многих производственных системах используется компромиссный вариант, называемый полусинхронной репликацией. Запись считается успешной, если хотя бы одна реплика подтверждает получение. Такой подход позволяет достичь баланса между производительностью и надежностью данных.

[05:38] Кэшируемые хранилища часто обращаются к данным на уровнях быстрого доступа, чтобы уменьшить задержку и нагрузку на бэкэнд. Разница в производительности между доступом к кэшу e-memory и данным доступом остается существенной. Современные системы реализуют

[05:52] несколько ключевых стратегий кэширования. Помимо кэширования, также называемого отложенной загрузкой, приложение сначала проверяет наличие кэша. Если данные не найдены, они извлекаются из базы данных и заполняют кэш для будущих запросов. Кэширование с непрерывной записью

[06:07] синхронно обновляет как кэш, так и базу данных при изменении данных. Это обеспечивает согласованность между кэшем и хранилищем, но увеличивает задержку справа, поскольку каждая операция должна завершиться в обеих системах. Сразу после кэширования или обратной записи

[06:22] кэш обновляется немедленно, но изменения в базе данных записываются асинхронно. Это повышает производительность, но создает риск потери данных при сбоях до их сохранения. Сети доставки контента (

[06:37] CDN) доставляют контент с серверов, расположенных в непосредственной близости от конечных пользователей, чтобы минимизировать задержку в сети. Основной принцип работы CDN — географическое распределение с интеллектуальной маршрутизацией. Когда пользователь запрашивает контент, CDN

[06:52] перенаправляет его на оптимальный S-сервер одним из нескольких способов. Anycast, одним из нескольких способов. Anycast, перенаправление DNS-пространства или HTTP-перенаправления. Разница в производительности существенная. Современные CDN обеспечивают

[07:05] время отклика для содержимого кэша от 30 до 50 миллисекунд по сравнению с 200–500 миллисекундами для всех запросов к регионам. Масштабируемость измеряет, как изменяется производительность системы при добавлении новых ресурсов. Линейное масштабирование — это идеальный

[07:21] сценарий. Удвоение ресурсов удваивает производительность. На практике это случается редко . В большинстве систем наблюдается сублинейное масштабирование из-за двух факторов. Штрафы за разногласия и за несогласованность. Конфликты возникают, когда компоненты

[07:36] конкурируют за совместно используемые ресурсы, такие как блокировки или сетевые соединения. Проблемы с согласованностью данных возникают из-за накладных расходов на поддержание согласованности данных в нескольких местах. Обсужденные нами методы управления данными помогают свести к минимуму эти

[07:50] ограничения. При внедрении этих концепций управления данными и масштабируемости следует учитывать следующие инженерные принципы. Начните с самого простого варианта реализации, отвечающего текущим потребностям. Тщательно изучите инструментарий, чтобы

[08:04] выявить реальные узкие места, прежде чем усложнять систему. Принимайте во внимание как эксплуатационные издержки, так и преимущества в производительности, а также оценивайте влияние каждого проектного решения на согласованность, доступность и задержку .

[08:19] Если вам нравятся наши видео, вам может понравиться и наша рассылка по системному проектированию. Издание освещает темы и тенденции в проектировании крупномасштабных систем и пользуется доверием миллиона system design, trusted by 1 million readers. Subscribe at blog.biteby.com.