Ускорение входящей миграции

011 012

Введение

013 014

В этом файле прописаны некоторые советы по ускорению 015 миграции.

016 017

Предварительные требования

018 019

Перед началом работы необходимо удостовериться что POD-ы Кафки и 020 Java настроены корректно ресурсы.

021 022

Java Удостоверьтесь, что в yaml файле mybpm-api, правильно 023 настроен environment JAVA_TOOL_OPTIONS.

024 025

Значение в "-Xms" и "-Xmx" должны быть одинаковы и составлять не 026 более 75% от общей памяти выделенной на сам под. 50% самый 027 безопасный и оптимальный вариант.

028 029

Пример. Если на POD выделено 10Gb, то этому параметру можно 030 выделить не более 7680M или 7Gb (75%). Но лучше поставить 5120M 031 (50%)

032 033

{ name: JAVA_TOOL_OPTIONS, value: "-Xms7680M -Xmx7680M" } 035 036
```
037                       or 
038  
039  
```
040
{ name: JAVA_TOOL_OPTIONS, value: "-Xms5120M -Xmx5120M" }

044 045

Kafka Удостоверьтесь, что в yaml файле kafka, правильно настроен 046 environment KAFKA_HEAP_OPTS.

047 048

Правила такие же как для Java, но лимит 50% от памяти POD-а

049 050

Пример. Если на POD выделено 10Gb. То этому параметру нужно 051 выделить 5120M или 5Gb (50%).

052 053

{ name: JAVA_TOOL_OPTIONS, value: "-Xms5120M -Xmx5120M" }

056 057

Основная часть

058 059

Самый простой способ увеличить скорость миграции - увеличить 060 количество консьмеров (consumers), потребляющие сообщения из топика 061 IN_MIGRATION

062 063

Кол-во консьюмеров насраивается в зукипере (ZooKeeper) в 064 директории consumers. Чтобы найти эту директорию:

065 066

Перейдите в ZooNavigator (адрес, на котором он разворачивается, 068 смотрите в docker-compose файле для локалки это - http://localhost:10010)
Перейдите в директорию mybpm
Далее перейдите в директорию consumers
Здесь лежат конфигурации всех коньсьюмеров mybpm-а, кол-во 076 консьюмеров для миграции можно изменить в файле 077 InMigration.workerCount

079 080

Адрес файла в zoonavigator-е 081 "/mybpm/consumers/InMigration.workerCount"

082 083

Правила по установке консьюмеров

084 085

Кол-во консьюмеров никогда не должно превышать количество 087 партиций (partitions) топика (в данном случае топика 088 IN_MIGRATION)
Кол-во консьюмеров должно быть делителем числа партиции топика. 091 Например, если в топике IN_MIGRATION 48 партиции, то возможное 092 значение для консьюмеров: 1, 2, 4, 6, 8, 12, 24, 48.
Обратите внимание кол-во консьюмеров напрямую зависит от 095 выделенных ресурсов системе. Если памяти недостаточно кафке или 096 Java, то даже увеличив кол-во консьюмеров, вы не ускорите 097 миграцию.
Лучший выбор постепенно увеличивать количество по следющему 100 алгоритму: 101 102
- По дефолту стоит 1 консьюмер, нужно увеличить до 2. Проверить 104 нагрузку на сервер во время миграции.
- Если нагрузка в рамках допустимого и миграции стала быстрее, то 107 можно увеличить кол-во консьюмеров еще раз, учитывая 108 вышеприведенные правила (при 48 партициях, следующие значения 109 будут: 4, 6, 8, 12, 24, 48)
- Повторять до тех пор, пока не найдете оптимальное значение 112 (скорость перестала увеличиваться или нагрузка слишком 113 большая)
115

117 118

Дополнительные способы

119 120

Увеличить скорость миграции можно также отключив трэкинг времени 121 исполнения методов. Сделать это можно в конфиге в зукипере. Для 122 этого нужно найти InMigrationConfig.

123 124

Адрес конфига в zoonavigator-е 125 "/mybpm/configs/InMigrationConfig.txt"

126 127

В этом конфиге для параметра "trackTimings" нужно поставить 128 значение false. Это даст небольшой прирост скорости.

129 130

Дополнительная информация

131 132

Чтобы посмотреть среднюю скорость миграцию, нужно выполнить 133 SQL-команду:

134 135

SELECT (SUM(inserted_data_counter) / extract(epoch from 136 MAX(finished_at) - MIN(started_at))) as avg_speed FROM 137 in_migration.from_kafka_to_mongo_tracking WHERE started_at >= 138 <время начало миграции>;

139 140

Этот запрос вернет кол-во записей в секунду.

141