pg_filedump 17.2

* Mask output more wide in tests (@df7cb)
* Fix length computation in numeric type (@ GetsuDer)
* Support PG18 (@df7cb)
* Show GIN block details (@manaldush)
* Read toast chunks in ascending order (@df7cb)

Read toast chunks in ascending order, looping if required

Toast chunks might be stored out-of-order in the table. We previously
ignored that and hoped for the best, but our toast.sql test actually
exhibits the problem on pre-14 servers where the 5th chunk of the last
test is small enough to fit into the first disk block.

Fix by looping over the table until all chunks have been read. A smarter
solution would require either toast index lookups or caching the chunks.

Close #20.

Author: Christoph Berg <[email protected]>
Debugging-By: Svetlana Derevyanko <[email protected]>

Print toast message only for matching toast chunks

When dumping toasted values in verbose mode, show "Read TOAST chunk"
message only for toast chunks that matched the Oid we are looking for.

Show GIN block details

Close #35.

Fix a typo in comment

Declare fp static

It's only used in pg_filedump.c.

Use PRIu64 to format integers

PG18 gets rid of INT64_MODIFIER, move to standard C version.

Fixed bug with number of digits for numeric being calculated wrong, which led to outputting junk data.

Close #32.

Mask all digits of value and toast relation ids

This was not noticed before because I was always running the tests in a
fresh instance.

Close #33.

Author: Svetlana Derevyanko <[email protected]>

Mask full LSN and checksum in tests

The old LSN masking didn't consider LSNs with a log id with two or more
digits. Checksums were hard-coded to 0000 so far, but the server might
actually write them.

To not clutter the test files with ever-longer sed commands, move the
command to a new sed.sh file.

Test files updated to follow this change, but there are pre-existing
problems on older PG majors and 32-bit that are still open.

Close #37.

Reported-By: Maksim Melnikov <[email protected]>

Bump version to 17.1

While at it, bump copyright year as well.

Makefile: Drop outdated "dist" target

Disable fast failing of GitHub actions

Set timezone to UTC

Make us independent from changes to pg_regress' hard-coded Pacific time
zone.

Add 17 and 18 to versions to test

Add/fix expected toast output files for PG13- and 32-bit

pg_filedump 17.0

Explicitly link against libpgcommon and libpgport

libpq_pgport used to pull these in, but does no longer in PG17.

Move "number of chunks" to TOAST message

No reason to waste two separate lines on this.

Remove stray newline printed after toast message

This would print an ever increasing number of newlines between toast
messages.

Add regression test for toast

Print type of toast when not decoding it

Allow finding the toast table in current directory

get_parent_directory() returns "" when there is no directory part;
replace that by ".".

Add .editorconfig

File copied verbatim from PostgreSQL.

Replace static buffers with malloc

Since we learned to decode TOASTed values these buffers were too small.

Drop test specific to btree-deduplication on PG12

Vanilla PG got that feature in PG13 and it's on by default, so the
normal test covers it as well.

Run build and test as postgres user

GH actions run as root by default which initdb doesn't like.

Find pg_filedump at test time in PATH

Close #21.

Improve Makefile: set PG_CONFIG only if it is not already set

Fixes for running tap tests: library for perl tests and option for running as non-priviliged user.

Added TAP tests and parsing specific contents of GIN data pages.

Close #28.

Fixed unaligned use of struct NumericData, which could cause problems on some systems.

Close #29.

Add a README.md symlink

GitHub doesn't show README.pg_filedump.md by itself.

Bump version to 16.0

While at it, bump copyright years as well.

Drop Makefile.contrib before it gets outdated even more

Convert README file to Markdown format

Decode oid/xid >= 2^31 correctly

Spotted by alexandervpotapov.

Close #18.

Fix expected float output file on 64-bit PG12+

Support testing against servers compiled without --with-libxml support

See #9.

Support testing float with PG 11 and earlier

See #9.

Support testing numeric with PG 13 and 14

Close #9.

Add PG 16 to GitHub action

Add support for PostgreSQL v16

Add missing flags

Fix comparison of hasho_flag field and LH_UNUSED_PAGE

Bugfix: make sure fclose is called with a legal argument

fclose(NULL) is an UB

Bugfix: free dynamically allocated memory

Bump copyright year

Add a non-trivial timetz offset test case

Decode timestamptz

We unconditionally use +00 on output.

Decode date and timestamp infinity values

Fix alignment handling of int64-based types, and of name

Values were generally aligned to sizeof(type), but that is wrong, the
correct handling is __alignof(type). The problem manifests in practice
for int64, where sizeof(int64) is 8, but __alignof(int64) is 4 on 32-bit
platforms.

Independently, "name" was aligned to int32, but it's actually
char-aligned.

Fix "char" testsuite

Bump version to 14.1

Add GitHub workflow

Only test PostgreSQL 14 and 15 since older versions do not support all
datatype values.

Update testsuite to exercise all datatypes with -D

Adding numeric type support

Added numeric type support.
Move data decompression, detoasting and aligning into separated function
to avoid redundancy.

Remove .travis.yml.

Bump version to 14.0

Renamed decompressed_size into compressed_size according to actual meaning.

Add support for PostgreSQL v14

Add conditional compilation for changed structure members and macro.
Add lz4 compression support.

Add support for decoding pg_filenode.map

Bump version to 13.1

pg_filedump is compatible with everything from PG 8.x up, say so in the
version string.

decode.c: Fix int64 format strings for 32 bit architectures

Refactor testsuite to generate test file at runtime

64 bit output files are *.out, 32 bit in *_3.out

Support PG14: nextFullXid got renamed to nextXidEpoch

PostgreSQL fea10a643.

Fix compilation on PG13

travis: Add PG13 and 14, and run on focal

Add testsuite

Add a testsuite exercising pg_filedump on a table shipped in the test
directory. For simplicity, we use the pgxs regress system, even if no
actual SQL commands are executed.

Ignore more build artifacts

Strip trailing spaces from output

Remove non-deterministic bits from output

Get rid of the parts in the output that change over time, so we can
compare the output better in the testsuite.

Bump copyright years to 2019

Bump version to 12.0

Add support for PostgreSQL v12

Drop our pg_lzcompress copy

The local pg_lzcompress copy was never used in the Makefiles, and is
only necessary on 9.4 or earlier which is EOL very soon anyway.

Add .travis.yml

GetBlockSize: Fall back to using BLCKSZ if block size determined was zero

If the first block of the file read is zeroed out, GetBlockSize would
return 0, and make DumpFileContents die with a non-helpful "Premature
end of file encountered" because fread() read only 0 bytes.

Releasing pg_filedump 11.0

Use sizeof(PageHeaderData) in place of pageHeaderSize

With -Werror=vla, gcc complains about the localCache declaration.
Instead of the pageHeaderSize variable, use sizeof(PageHeaderData)
directly like elsewhere in this file.

pg_filedump.c:648:2: error: ISO C90 forbids array ‘localCache’ whose
size can’t be evaluated [-Werror=vla]

Fix parsing of charN and varcharN types

The type names are always converted to lower case. Fix the type lookup
table by using "charn" and "varcharn".

Report-By: coredumped on GitHub

PG 11 removed prevCheckPoint from the control file

PG 11 no longer tracks the previous checkpoint location, so remove it
here. Unfortunately, this change means our pg_control parsing is not
cross-major compatible anymore, so in contrast to what we did in
3829a9b66c0, add #ifs to support older PG versions.

pg_filedump 10.1

Copyright bump for 2018

Use pg_config in Makefile as well

Modify Makefile to use pg_config just like Makefile.contrib does.

In passing, set LIBS to $(libpq_pgport) to avoid linking pg_filedump
against all libs the server links to, we just need pgport.

pg_filedump can dump toasted values (-t flag)

Alexey Chernyshov <[email protected]>

Fix reading of TOASTed length

Alexey Chernyshov <[email protected]>

Omit deleted tuple if flag -o is presented. Deleted tuples are
detected by Xmax != 0. Seems, nothing better without commit log.

Alexey Chernyshov <[email protected]> with editorization by me

pg_indent run

Alexey Chernyshov <[email protected]>

Fix list of object files in Makefile.contrib

Alexey Chernyshov <[email protected]>

Add list of types supported by -D to help output

Also fix a few typos, and fix indentation of help text.

Bump copyright year to 2017

Bump pg_filedump version to 10.0

The control file does not contain enableIntTimes anymore

PG10 gets rid of controlData->enableIntTimes, remove it in pg_filedump
as well. We could add try adding #ifs to still show it for older major
versions, but given that pg_filedump is cross-version compatible for
dumping the recent major's control files except for this change, it
seems more prudent to simply remove it. We don't show other fields like
float4ByVal either, and pg_controldata is a better tool for control file
inspection anyway, so keep the logic in pg_filedump simple.

Support decoding of catalog tables.

Support decoding of 'name' and 'char' types. Also introduce '~'
pseudo-type which just ignores all data left in current tuple during
decoding. These two types allow easily to decode catalog tables and
restore schema of a database even if it's corrupted and PostgreSQL
instance is not starting.

For instance, pg_attribute can be decoded like this:

pg_filedump -D oid,name,oid,int,smallint,~ path/to/segment/1249

Aleksander Alekseev

Partial data recovery (-D flag).

This feature allows to partially recover data from a given segment file
in format suitable for using in COPY FROM statement. List of supported
data types is currently not full and TOAST is not yet supported, but
it's better than nothing. Hopefully data recovery will be improved in
the future.

Implemented by Aleksander Alekseev, reviewed by Dmitry Ivanov, tested
by Dmitry Ivanov and Grigoriy Smolkin.

Get cflags/ldflags/bindir from pg_config and add install rule

Don't set CC in the Makefile

Reported by Aleksander Alekseev

After 8023b582 there is no more SizeOfIptrData macro

Aleksander Alekseev

Bump version to 9.6.0