010
*статья в стадии разработки
011
012
Kafka-топики
013
014
Вводная часть
015
016
В этой статье описаны топики Кафка в mybpm. Общее описание,
017 consumer-groups, рекомендации по retention-policy и т.д.
018
019
Топик PERSON
020
021
Общее описание
022
023
В PERSON отправляются сообщения типа KafkaPerson при создании
024 новых, изменении, архивации или удаления существующих
025 Пользователей.
026
027
Consumer-groups
028
029
030 - boi__to__elastic__{version}
031
032 - person__ou_record_index_{version} - old
033
034 - business_instance__to__boi_event_{version}
035
036 - kanban__to__kanbanObserver
037
038 - out_migration_{version}
039
040 - operative_report_migration_{version}
041
042 - toPostgres__orgNode__{version}
043
044 - toPostgres__boi_author__{version}
045
046 - populate__total__search_{version}
047
048
049
Retention-policy
050
051
052 - Ставить запрещено
053
054
055
056
057
058
Топик COMPANY
059
060
Общее описание
061
062
В COMPANY отправляются сообщения при CRUD-операциях над
063 следующими БО:
064
065
066 - "Департамент" (KafkaDepartment),
067
068 - "Рабочая группа" (KafkaPersonGroup),
069
070 - "Аккаунт" (KafkaCompany),
071
072 - "Рабочее время" (KafkaWorkingTime)
073
074
075
Consumer-groups
076
077
078 - boi__to__elastic__{version}
079
080 - departmentOrPersonGroup__ou_record_index - old (только для
081 KafkaDepartment и KafkaPersonGroup)
082
083 - business_instance__to__boi_event_{version}
084
085 - from_company__sendAdminInvitationLetters (только для
086 KafkaCompany)
087
088 - kanban__to__kanbanObserver (игнорируется KafkaWorkingTime)
089
090 - out_migration_{version} - только KafkaDepartment
091
092 - operative_report_migration_{version}
093
094 - toPostgres__orgNode - только KafkaDepartment
095
096 - toPostgres__personGroup - только KafkaPersonGroup
097
098
099
Retention-policy
100
101
102 - Ставить запрещено
103
104
105
106
107
108
Топик BO
109
110
Общее описание
111
112
В БО попадают объекты типа KafkaBo, KafkaBoProcess,
113 KafkaBoScriptVersions, KafkaBoScripts, KafkaAccessGroup.
114
115
116 - KafkaBo отправляется в topic при создании новых или обновлении
117 существующих БО (именно БО, его структура, не инстанции).
118
119 - KafkaBoProcess отправляется в topic при создании новых или
120 обновлении существующих БП (при изменении непосредственно самого
121 процесса, не БО-владельца)
122
123 - KafkaBoScriptVersions отправляется в topic при первой обращении
124 к скриптам (создание), при изменении комментария, при
125 публикации/копировании/удалении версии скрипта
126
127 - KafkaBoScripts отправляется в topic при первом обращении к
128 скриптам (создание), а также при изменении параметров запуска
129
130 - KafkaAccessGroup отправляется в topic при создании/изменении
131 прав доступа БО
132
133
134
Consumer-groups
135
136
137 - kanban__to__kanbanObserver - только KafkaBo
138
139 - refresh_refs
140
141 - operative_report_bo_{version} - только KafkaBo
142
143 - report_mat_view_co_{version} - только KafkaBo
144
145
146
Retention-policy
147
148
149 - Ставить запрещено
150
151
152
153
154
155
Топик BO_GROUP
156
157
Общее описание
158
159
Consumer-groups
160
161
Retention-policy
162
163
164 - Ставить запрещено
165
166
167
168
169
170
Топик BOI
171
172
Общее описание
173
174
Consumer-groups
175
176
Retention-policy
177
178
179 - Ставить запрещено
180
181
182
183
184
185
Топик BOI_PROCESS
186
187
Общее описание
188
189
Consumer-groups
190
191
Retention-policy
192
193
194 - Ставить запрещено
195
196
197
198
199
200
Топик RUN
201
202
Общее описание
203
204
Consumer-groups
205
206
Retention-policy
207
208
209 - Необходимо
210 - 2-е суток (172800000 ms)
211
212
213
214
215
216
Топик RUN_PROCESS
217
218
Общее описание
219
220
Consumer-groups
221
222
Retention-policy
223
224
225 - Необходимо
226 - 2-е суток (172800000 ms)
227
228
229
230
231
232
Топик
233 RUN_PROCESS_MANUAL_SAVE
234
235
Общее описание
236
237
Consumer-groups
238
239
Retention-policy
240
241
242 - Необходимо
243 - 2-е суток (172800000 ms)
244
245
246
247
248
249
Топик MANUAL_REFRESH
250
251
Общее описание
252
253
Consumer-groups
254
255
Retention-policy
256
257
258 - На свое усмотрение
259
260
261
262
263
264
Топик CHAT
265
266
Общее описание
267
268
Consumer-groups
269
270
Retention-policy
271
272
273 - Запрещено
274
275
276
277
278
279
Топик MAIN_MENU
280
281
Общее описание
282
283
Consumer-groups
284
285
Retention-policy
286
287
288 - Запрещено
289
290
291
292
293
294
Топик BO_ITEM_FILTER
295
296
Общее описание
297
298
Consumer-groups
299
300
Retention-policy
301
302
303 - Запрещено
304
305
306
307
308
309
Топик BOI_EVENT_PROCESS
310
311
Общее описание
312
313
Consumer-groups
314
315
Retention-policy
316
317
318 - Не рекомендуется (только в случае переполнения памяти, конкретно этим топиком)
319
320
321
322
323
324
Топик BOI_EVENT
325
326
Общее описание
327
328
Consumer-groups
329
330
Retention-policy
331
332
333 - Не рекомендуется (только в случае переполнения памяти, конкретно этим топиком)
334
335
336
337
338
339
Топик SEARCH_HINT
340
341
342 Не реализовано
343
344
345
346
347
348
Топик BOI_OPEN_COUNT
349
350
Общее описание
351
352
Consumer-groups
353
354
Retention-policy
355
356
357 - На свое усмотрение
358
359
360
361
362
363
Топик IN_MIGRATION
364
365
Общее описание
366
367
Consumer-groups
368
369
Retention-policy
370
371
372 - Крайне рекомендуется
373 - 7 дней (604800000 ms)
374
375
376
377
378
379
Топик BRACKET_FILTER
380
381
Общее описание
382
383
Consumer-groups
384
385
Retention-policy
386
387
388 - Запрещено
389
390
391
392
393
394
Топик BRACKET_PERSON_FILTER
395
396
Общее описание
397
398
Consumer-groups
399
400
Retention-policy
401
402
403 - Запрещено
404
405
406
407
408
409
Топик REPORT
410
411
Общее описание
412
413
Consumer-groups
414
415
Retention-policy
416
417
418 - Необходимо
419 - 2-е суток (172800000 ms)
420
421
422
423
424
425
Топик REPORT_GROUP
426
427
Общее описание
428
429
Consumer-groups
430
431
Retention-policy
432
433
434 - Необходимо
435 - 2-е суток (172800000 ms)
436
437
438
439
440
441
Топик
442 IN_MIGRATION_RUN_PROCESS
443
444
Общее описание
445
446
Consumer-groups
447
448
Retention-policy
449
450
451 - Крайне рекомендуется
452 - 2-е суток (172800000 ms)
453
454
455
456
457
458
Топик BOI_DELETE
459
460
Общее описание
461
462
Consumer-groups
463
464
Retention-policy
465
466
467 - Не рекомендуется
468
469
470
471
472
473
at kz.greetgo.md_reader.util.MdUtil.xmlTextToDoc(MdUtil.java:80)
at kz.greetgo.md_reader.core.MdConverter.prepareHtmlFileFrom(MdConverter.java:136)
at kz.greetgo.md_reader.core.MdConverter.convert(MdConverter.java:208)
at kz.greetgo.md_reader.controller.RenderController.downloadToc(RenderController.java:360)
at kz.greetgo.md_reader.controller.RenderController.request(RenderController.java:108)
at jdk.internal.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.base/java.lang.reflect.Method.invoke(Method.java:568)
at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:207)
at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:152)
at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:118)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:884)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:797)
at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87)
at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1081)
at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:974)
at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1011)
at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:903)
at jakarta.servlet.http.HttpServlet.service(HttpServlet.java:564)
at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:885)
at jakarta.servlet.http.HttpServlet.service(HttpServlet.java:658)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:205)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:149)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:51)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:174)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:149)
at kz.greetgo.md_reader.interceptors.TextReplaceFilter.doFilter(TextReplaceFilter.java:36)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:174)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:149)
at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:201)
at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:116)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:174)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:149)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:166)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:90)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:482)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:115)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:93)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:74)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:341)
at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:390)
at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:63)
at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:894)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1741)
at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:52)
at org.apache.tomcat.util.threads.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1191)
at org.apache.tomcat.util.threads.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:659)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: java.io.IOException: Server returned HTTP response code: 429 for URL: http://www.w3.org/TR/xhtml1/DTD/xhtml-lat1.ent
at java.base/sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:2000)
at java.base/sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1589)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:677)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLEntityManager.startEntity(XMLEntityManager.java:1397)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLEntityManager.startEntity(XMLEntityManager.java:1333)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDTDScannerImpl.startPE(XMLDTDScannerImpl.java:732)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDTDScannerImpl.skipSeparator(XMLDTDScannerImpl.java:2101)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDTDScannerImpl.scanDecls(XMLDTDScannerImpl.java:2064)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDTDScannerImpl.scanDTDExternalSubset(XMLDTDScannerImpl.java:299)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl$DTDDriver.dispatch(XMLDocumentScannerImpl.java:1165)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl$DTDDriver.next(XMLDocumentScannerImpl.java:1040)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl$PrologDriver.next(XMLDocumentScannerImpl.java:943)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(XMLDocumentScannerImpl.java:605)
at java.xml/com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(XMLDocumentFragmentScannerImpl.java:542)
at java.xml/com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:889)
at java.xml/com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:825)
at java.xml/com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:141)
at java.xml/com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:247)
at java.xml/com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:342)
at java.xml/javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:122)
at kz.greetgo.md_reader.util.MdUtil.xmlTextToDoc(MdUtil.java:71)
... 48 more