Распространенные проблемы

Вводная часть

Здесь описаны часто встречающиеся ошибки связанные с Кафкой и некоторые способы их решения. Более специфические кейсы описаны в следующих статьях.

1. Перестали уходить лаги у consumer-group (группа консьюмеров)

a. Убедитесь, что этой группе были выделены Consumer-ы. Сделать это можно перейдя в ZooNavigator. mybpm -> consumers -> файл нужной вам группы. Например Consumer-ы группы "boi__to__elastic" можно посмотреть в файле по пути: "mybpm -> consumers -> BoiToElastic.workerCount".

b. Если Consumer-ы есть, а лаги не уходят. То наиболее вероятный сценарий - проблемная запись в топике, которую невозможно обработать (постоянно выкидывается exception). Одним из способов решения данной проблемы, это изменить конфигурацию в ZooNavigator-е. Для этого нужно перейти по следующему пути.

                            mybpm -> configs -> IgnoreKafkaExceptionConfig. 

В этом файле нужно найти параметр вашей consumer-group. Как правило, оно соответствует названию группы. Этому параметру нужно присвоить значение "true" и сохранить. Как только вы сохраните изменения, проблемная запись пройдет свою очередь ("пропушится") и лаги должны нормализоваться.

Вместе с этим в логах сервера отобразится ошибка, вызвавшая затор в топике. Рекомендуется зафиксировать эту ошибку и отправить команде разработки ядра myBpm. Как только все проблемные записи "пропушатся" (все лаги уйдут) нужно вернуть значение в конфиге IgnoreKafkaExceptionConfig обратно на "false".

Если в конфиге нет нужной вам группы - сообщите команде разработки myBpm.

Если же в конфиге был нужный параметр, но проблема не ушла - сообщите команде разработки myBpm.