kernel: postmaster general protection in pg_pathman.so[7f554051f000+31000]

[NikitinNikolay]

Здравствуйте!

Извините, за баг с малым количеством инфы.
Конфигурация Red hat 6 + postgres 9.6.6 обычный + pg_pathman 1.4.9
Несколько десятков тестовых и уже десяток боевых серверов, на каждом каждую ночь создаётся по 3 партиции на 15 таблиц.
За полгода ошибка вылезла всего два раза, в messages появляется такая запись
May 4 00:00:11 tm-VMware-4224334ca kernel: postmaster[4561] general protection ip:7f5540531c66 sp:7fff05119e20 error:0 in pg_pathman.so[7f554051f000+31000]
или такая
Aug 22 00:01:25 iwtm kernel: postmaster[11377] general protection ip:7f5fbdb14c66 sp:7ffffd3facf0 error:0 in pg_pathman.so[7f5fbdb02000+31000]

в логе постгреса при этом такая ошибка
< 2018-05-04 00:00:11.779 MSK > LOG: server process (PID 4561) was terminated by signal 11: Segmentation fault
< 2018-05-04 00:00:11.779 MSK > DETAIL: Failed process was running: DEALLOCATE pdo_stmt_00059b49
или такая
< 2018-08-22 00:02:50.511 MSK > LOG: server process (PID 11377) was terminated by signal 11: Segmentation fault

< 2018-08-22 00:02:50.511 MSK > DETAIL: Failed process was running: SELECT 1

Ошибка похоже возникает не в сессии, которая добавляет партиции, а в другой, но после добавления партиций.
Но падает весь постгрес, к сожалению.
Партиции добавляются с помощью кода
execute format('ALTER TABLE %s ADD CONSTRAINT %s CHECK (%s)',
a_dummy_table,
public.build_check_constraint_name(v_dummy_oid),
public.build_range_condition(v_dummy_oid, 'tbs_id', a_tbs_id, a_tbs_id + 1));
Потом дёргается обновление списка партиций в кэше с помощью
public.set_enable_parent(v_table.oid, false);
Скорее всего после этого, либо после коммита этой сессии возникает ошибка.

Вопросы:

1. Может быть эта ошибка уже исправлена Вами в ходе:
   Fixed incorrect usage of memcpy() in start_bgworker(); ?
   Мы, к сожалению, не тестировали версию 1.4.11 и выше и не можем сказать исправлена она там или нет.
2. Если это не поправлено, то достаточно ли Вам предоствленной информации? Или нужны более подробные дампы?
   Как их собрать, возможно ли это без ущерба производительности? Баг очень редкий и его вопроизвести в тестовой среде не получится.

С уважением, Николай.

[funbringer]

Добрый день,

Ошибка похоже возникает не в сессии, которая добавляет партиции, а в другой, но после добавления партиций. Но падает весь постгрес, к сожалению.

К сожалению, это нормально в подобной ситуации.

Может быть эта ошибка уже исправлена Вами в ходе: Fixed incorrect usage of memcpy() in start_bgworker();

Маловероятно, но полностью исключить этот вариант нельзя.

Если это не поправлено, то достаточно ли Вам предоствленной информации? Или нужны более подробные дампы?

Для анализа нам необходим backtrace, чтобы хотя бы примерно знать, чем вызвано падение. Попытайтесь получить core dump на проде (чтобы он был не слишком большим, вы можете настроить маску /proc/<PID>/coredump_filter и исключить shared memory).

[NikitinNikolay]

Оказывается в последний раз смогли снять дамп упавшей сессии посгреса. 38 гигов, в архиве почти 15. Как Вам его проще всего передать? Через яндекс диск подойдёт? Если да, тогда я его на выходных постараюсь закачать.

[funbringer]

Давайте пока только на стек вызовов посмотрим. Если можно, закиньте его сюда в текстовом виде.

[NikitinNikolay]

Здравствуйте!

Пакеты с debuginfo не нашёл, ни от postgres, ни от pathman.
Пока вот такой стек есть:

Thread 1 (Thread 0x7f5fc7ce97c0 (LWP 11377)):
#0 0x00007f5fbdb14c66 in finish_delayed_invalidation () from /usr/pgsql-9.6/lib/pg_pathman.so
No symbol table info available.
#1 0x00007f5fbdb22b65 in pathman_post_parse_analysis_hook () from /usr/pgsql-9.6/lib/pg_pathman.so
No symbol table info available.
#2 0x000000000052098c in parse_analyze ()
No symbol table info available.
#3 0x00000000006e02a3 in pg_analyze_and_rewrite ()
No symbol table info available.
#4 0x00000000007c799b in ?? ()
No symbol table info available.
#5 0x00000000007c7ea4 in GetCachedPlan ()
No symbol table info available.
#6 0x00000000006df5cf in ?? ()
No symbol table info available.
#7 0x00000000006e183b in PostgresMain ()
No symbol table info available.
#8 0x0000000000681b15 in PostmasterMain ()
No symbol table info available.
#9 0x0000000000609a38 in main ()
No symbol table info available.

[funbringer]

Конечно, это лучше, чем совсем ничего, но я ожидал увидеть номера строк. Вы сами собираете pg_pathman, верно? А PostgreSQL?

[NikitinNikolay]

Нет, уже не сами. Эту версию взяли из официальной поставки постгрес.
Постгрес тоже из официальных rpm.
Нашёл rpm c отладочной инфой в инете, но что-то сомнения берут, правильная ли она
В двух видах стек запостил, не смог сделать чтобы он нормально показывался.

Thread 1 (Thread 0x7f5fc7ce97c0 (LWP 11377)):
#0 finish_delayed_invalidation () at src/relation_info.c:1071
vague_rel =
parents = 0x11aa630
parents_count = 25
parents_fetched = 1 '\001'
lc = 0x101010101010001
func = "finish_delayed_invalidation"
#1 0x00007f5fbdb22b65 in pathman_post_parse_analysis_hook (pstate=, query=0x11a9c00) at src/hooks.c:724
func = "pathman_post_parse_analysis_hook"
#2 0x000000000052098c in parse_analyze ()
No symbol table info available.
#3 0x00000000006e02a3 in pg_analyze_and_rewrite ()
No symbol table info available.
#4 0x00000000007c799b in ?? ()
No symbol table info available.
#5 0x00000000007c7ea4 in GetCachedPlan ()
No symbol table info available.
#6 0x00000000006df5cf in ?? ()
No symbol table info available.
#7 0x00000000006e183b in PostgresMain ()
No symbol table info available.
#8 0x0000000000681b15 in PostmasterMain ()
No symbol table info available.
#9 0x0000000000609a38 in main ()
No symbol table info available.

Thread 1 (Thread 0x7f5fc7ce97c0 (LWP 11377)): #0 finish_delayed_invalidation () at src/relation_info.c:1071 vague_rel = <value optimized out> parents = 0x11aa630 parents_count = 25 parents_fetched = 1 '\001' lc = 0x101010101010001 __func__ = "finish_delayed_invalidation" #1 0x00007f5fbdb22b65 in pathman_post_parse_analysis_hook (pstate=<value optimized out>, query=0x11a9c00) at src/hooks.c:724 __func__ = "pathman_post_parse_analysis_hook" #2 0x000000000052098c in parse_analyze () No symbol table info available. #3 0x00000000006e02a3 in pg_analyze_and_rewrite () No symbol table info available. #4 0x00000000007c799b in ?? () No symbol table info available. #5 0x00000000007c7ea4 in GetCachedPlan () No symbol table info available. #6 0x00000000006df5cf in ?? () No symbol table info available. #7 0x00000000006e183b in PostgresMain () No symbol table info available. #8 0x0000000000681b15 in PostmasterMain () No symbol table info available. #9 0x0000000000609a38 in main () No symbol table info available.

[funbringer]

Спасибо, будем думать.

[ildus]

В следующем релизе будет фикс

[NikitinNikolay]

Здравствуйте! Спасибо!
Подскажите, пожалуйста, когда примерно намечен следующий релиз, и будет ли он для 9.6 версии?

[ildus]

@NikitinNikolay мы выпустили релиз 1.4.14 который частично должен исправить вашу проблему

[NikitinNikolay]

Спасибо большое. Тут на одном из серверов баг начал раз в несколько дней вылезать. Мы попробуем проверить исправилась ли проблема в новой версии библиотеки.

[zbyte]

который частично должен исправить вашу проблему

@ildus означает ли это, что проблема исправлена не полностью?

[ildus]

@zbyte скорее есть общие проблемы кэша в 1.4 и иногда мы на них наталкиваемся как в этом issue и решаем, в следующем релизе мы полностью мы переписали кэш в pg_pathman. Про конкретные проблемы лучше знает @funbringer.

[zbyte]

Прошу прощения за назойливость, но я решил посмотреть roadmap, чтобы выяснить когда будет следующая версия, и обнаружил там ссылку:
#148
Судя по которой, следующей версии не будет.
То есть, получается, переписанного кэша мы уже не увидим?