Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : * relation.c
3 : : * PostgreSQL logical replication relation mapping cache
4 : : *
5 : : * Copyright (c) 2016-2025, PostgreSQL Global Development Group
6 : : *
7 : : * IDENTIFICATION
8 : : * src/backend/replication/logical/relation.c
9 : : *
10 : : * NOTES
11 : : * Routines in this file mainly have to do with mapping the properties
12 : : * of local replication target relations to the properties of their
13 : : * remote counterpart.
14 : : *
15 : : *-------------------------------------------------------------------------
16 : : */
17 : :
18 : : #include "postgres.h"
19 : :
20 : : #include "access/amapi.h"
21 : : #include "access/genam.h"
22 : : #include "access/table.h"
23 : : #include "catalog/namespace.h"
24 : : #include "catalog/pg_subscription_rel.h"
25 : : #include "executor/executor.h"
26 : : #include "nodes/makefuncs.h"
27 : : #include "replication/logicalrelation.h"
28 : : #include "replication/worker_internal.h"
29 : : #include "utils/inval.h"
30 : : #include "utils/lsyscache.h"
31 : : #include "utils/syscache.h"
32 : :
33 : :
34 : : static MemoryContext LogicalRepRelMapContext = NULL;
35 : :
36 : : static HTAB *LogicalRepRelMap = NULL;
37 : :
38 : : /*
39 : : * Partition map (LogicalRepPartMap)
40 : : *
41 : : * When a partitioned table is used as replication target, replicated
42 : : * operations are actually performed on its leaf partitions, which requires
43 : : * the partitions to also be mapped to the remote relation. Parent's entry
44 : : * (LogicalRepRelMapEntry) cannot be used as-is for all partitions, because
45 : : * individual partitions may have different attribute numbers, which means
46 : : * attribute mappings to remote relation's attributes must be maintained
47 : : * separately for each partition.
48 : : */
49 : : static MemoryContext LogicalRepPartMapContext = NULL;
50 : : static HTAB *LogicalRepPartMap = NULL;
51 : : typedef struct LogicalRepPartMapEntry
52 : : {
53 : : Oid partoid; /* LogicalRepPartMap's key */
54 : : LogicalRepRelMapEntry relmapentry;
55 : : } LogicalRepPartMapEntry;
56 : :
57 : : static Oid FindLogicalRepLocalIndex(Relation localrel, LogicalRepRelation *remoterel,
58 : : AttrMap *attrMap);
59 : :
60 : : /*
61 : : * Relcache invalidation callback for our relation map cache.
62 : : */
63 : : static void
3152 peter_e@gmx.net 64 :GIC 729 : logicalrep_relmap_invalidate_cb(Datum arg, Oid reloid)
65 : : {
66 : : LogicalRepRelMapEntry *entry;
67 : :
68 : : /* Just to be sure. */
69 [ - + ]: 729 : if (LogicalRepRelMap == NULL)
3152 peter_e@gmx.net 70 :UIC 0 : return;
71 : :
3152 peter_e@gmx.net 72 [ + - ]:GIC 729 : if (reloid != InvalidOid)
73 : : {
74 : : HASH_SEQ_STATUS status;
75 : :
76 : 729 : hash_seq_init(&status, LogicalRepRelMap);
77 : :
78 : : /* TODO, use inverse lookup hashtable? */
79 [ + + ]: 3151 : while ((entry = (LogicalRepRelMapEntry *) hash_seq_search(&status)) != NULL)
80 : : {
81 [ + + ]: 2551 : if (entry->localreloid == reloid)
82 : : {
1816 tgl@sss.pgh.pa.us 83 : 129 : entry->localrelvalid = false;
3152 peter_e@gmx.net 84 : 129 : hash_seq_term(&status);
85 : 129 : break;
86 : : }
87 : : }
88 : : }
89 : : else
90 : : {
91 : : /* invalidate all cache entries */
92 : : HASH_SEQ_STATUS status;
93 : :
3152 peter_e@gmx.net 94 :UIC 0 : hash_seq_init(&status, LogicalRepRelMap);
95 : :
96 [ # # ]: 0 : while ((entry = (LogicalRepRelMapEntry *) hash_seq_search(&status)) != NULL)
1816 tgl@sss.pgh.pa.us 97 : 0 : entry->localrelvalid = false;
98 : : }
99 : : }
100 : :
101 : : /*
102 : : * Initialize the relation map cache.
103 : : */
104 : : static void
3058 andres@anarazel.de 105 :GIC 371 : logicalrep_relmap_init(void)
106 : : {
107 : : HASHCTL ctl;
108 : :
3152 peter_e@gmx.net 109 [ + - ]: 371 : if (!LogicalRepRelMapContext)
110 : 371 : LogicalRepRelMapContext =
111 : 371 : AllocSetContextCreate(CacheMemoryContext,
112 : : "LogicalRepRelMapContext",
113 : : ALLOCSET_DEFAULT_SIZES);
114 : :
115 : : /* Initialize the relation hash table. */
116 : 371 : ctl.keysize = sizeof(LogicalRepRelId);
117 : 371 : ctl.entrysize = sizeof(LogicalRepRelMapEntry);
118 : 371 : ctl.hcxt = LogicalRepRelMapContext;
119 : :
120 : 371 : LogicalRepRelMap = hash_create("logicalrep relation map cache", 128, &ctl,
121 : : HASH_ELEM | HASH_BLOBS | HASH_CONTEXT);
122 : :
123 : : /* Watch for invalidation events. */
124 : 371 : CacheRegisterRelcacheCallback(logicalrep_relmap_invalidate_cb,
125 : : (Datum) 0);
126 : 371 : }
127 : :
128 : : /*
129 : : * Free the entry of a relation map cache.
130 : : */
131 : : static void
132 : 140 : logicalrep_relmap_free_entry(LogicalRepRelMapEntry *entry)
133 : : {
134 : : LogicalRepRelation *remoterel;
135 : :
136 : 140 : remoterel = &entry->remoterel;
137 : :
138 : 140 : pfree(remoterel->nspname);
139 : 140 : pfree(remoterel->relname);
140 : :
141 [ + - ]: 140 : if (remoterel->natts > 0)
142 : : {
143 : : int i;
144 : :
145 [ + + ]: 423 : for (i = 0; i < remoterel->natts; i++)
146 : 283 : pfree(remoterel->attnames[i]);
147 : :
148 : 140 : pfree(remoterel->attnames);
149 : 140 : pfree(remoterel->atttyps);
150 : : }
151 : 140 : bms_free(remoterel->attkeys);
152 : :
153 [ + + ]: 140 : if (entry->attrmap)
1171 akapila@postgresql.o 154 : 118 : free_attrmap(entry->attrmap);
3152 peter_e@gmx.net 155 : 140 : }
156 : :
157 : : /*
158 : : * Add new entry or update existing entry in the relation map cache.
159 : : *
160 : : * Called when new relation mapping is sent by the publisher to update
161 : : * our expected view of incoming data from said publisher.
162 : : */
163 : : void
164 : 620 : logicalrep_relmap_update(LogicalRepRelation *remoterel)
165 : : {
166 : : MemoryContext oldctx;
167 : : LogicalRepRelMapEntry *entry;
168 : : bool found;
169 : : int i;
170 : :
171 [ + + ]: 620 : if (LogicalRepRelMap == NULL)
172 : 371 : logicalrep_relmap_init();
173 : :
174 : : /*
175 : : * HASH_ENTER returns the existing entry if present or creates a new one.
176 : : */
943 peter@eisentraut.org 177 : 620 : entry = hash_search(LogicalRepRelMap, &remoterel->remoteid,
178 : : HASH_ENTER, &found);
179 : :
3152 peter_e@gmx.net 180 [ + + ]: 620 : if (found)
181 : 132 : logicalrep_relmap_free_entry(entry);
182 : :
3058 andres@anarazel.de 183 : 620 : memset(entry, 0, sizeof(LogicalRepRelMapEntry));
184 : :
185 : : /* Make cached copy of the data */
3152 peter_e@gmx.net 186 : 620 : oldctx = MemoryContextSwitchTo(LogicalRepRelMapContext);
187 : 620 : entry->remoterel.remoteid = remoterel->remoteid;
188 : 620 : entry->remoterel.nspname = pstrdup(remoterel->nspname);
189 : 620 : entry->remoterel.relname = pstrdup(remoterel->relname);
190 : 620 : entry->remoterel.natts = remoterel->natts;
191 : 620 : entry->remoterel.attnames = palloc(remoterel->natts * sizeof(char *));
192 : 620 : entry->remoterel.atttyps = palloc(remoterel->natts * sizeof(Oid));
193 [ + + ]: 1748 : for (i = 0; i < remoterel->natts; i++)
194 : : {
195 : 1128 : entry->remoterel.attnames[i] = pstrdup(remoterel->attnames[i]);
196 : 1128 : entry->remoterel.atttyps[i] = remoterel->atttyps[i];
197 : : }
198 : 620 : entry->remoterel.replident = remoterel->replident;
199 : 620 : entry->remoterel.attkeys = bms_copy(remoterel->attkeys);
200 : 620 : MemoryContextSwitchTo(oldctx);
201 : 620 : }
202 : :
203 : : /*
204 : : * Find attribute index in TupleDesc struct by attribute name.
205 : : *
206 : : * Returns -1 if not found.
207 : : */
208 : : static int
209 : 1286 : logicalrep_rel_att_by_name(LogicalRepRelation *remoterel, const char *attname)
210 : : {
211 : : int i;
212 : :
213 [ + + ]: 2442 : for (i = 0; i < remoterel->natts; i++)
214 : : {
215 [ + + ]: 2165 : if (strcmp(remoterel->attnames[i], attname) == 0)
216 : 1009 : return i;
217 : : }
218 : :
219 : 277 : return -1;
220 : : }
221 : :
222 : : /*
223 : : * Returns a comma-separated string of attribute names based on the provided
224 : : * relation and bitmap indicating which attributes to include.
225 : : */
226 : : static char *
283 akapila@postgresql.o 227 : 2 : logicalrep_get_attrs_str(LogicalRepRelation *remoterel, Bitmapset *atts)
228 : : {
229 : : StringInfoData attsbuf;
230 : 2 : int attcnt = 0;
231 : 2 : int i = -1;
232 : :
233 [ - + ]: 2 : Assert(!bms_is_empty(atts));
234 : :
235 : 2 : initStringInfo(&attsbuf);
236 : :
237 [ + + ]: 6 : while ((i = bms_next_member(atts, i)) >= 0)
238 : : {
239 : 4 : attcnt++;
240 [ + + ]: 4 : if (attcnt > 1)
148 drowley@postgresql.o 241 : 2 : appendStringInfoString(&attsbuf, _(", "));
242 : :
283 akapila@postgresql.o 243 : 4 : appendStringInfo(&attsbuf, _("\"%s\""), remoterel->attnames[i]);
244 : : }
245 : :
246 : 2 : return attsbuf.data;
247 : : }
248 : :
249 : : /*
250 : : * If attempting to replicate missing or generated columns, report an error.
251 : : * Prioritize 'missing' errors if both occur though the prioritization is
252 : : * arbitrary.
253 : : */
254 : : static void
255 : 556 : logicalrep_report_missing_or_gen_attrs(LogicalRepRelation *remoterel,
256 : : Bitmapset *missingatts,
257 : : Bitmapset *generatedatts)
258 : : {
259 [ + + ]: 556 : if (!bms_is_empty(missingatts))
1795 260 [ + - ]: 1 : ereport(ERROR,
261 : : errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
262 : : errmsg_plural("logical replication target relation \"%s.%s\" is missing replicated column: %s",
263 : : "logical replication target relation \"%s.%s\" is missing replicated columns: %s",
264 : : bms_num_members(missingatts),
265 : : remoterel->nspname,
266 : : remoterel->relname,
267 : : logicalrep_get_attrs_str(remoterel,
268 : : missingatts)));
269 : :
283 270 [ + + ]: 555 : if (!bms_is_empty(generatedatts))
271 [ + - ]: 1 : ereport(ERROR,
272 : : errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
273 : : errmsg_plural("logical replication target relation \"%s.%s\" has incompatible generated column: %s",
274 : : "logical replication target relation \"%s.%s\" has incompatible generated columns: %s",
275 : : bms_num_members(generatedatts),
276 : : remoterel->nspname,
277 : : remoterel->relname,
278 : : logicalrep_get_attrs_str(remoterel,
279 : : generatedatts)));
1795 280 : 554 : }
281 : :
282 : : /*
283 : : * Check if replica identity matches and mark the updatable flag.
284 : : *
285 : : * We allow for stricter replica identity (fewer columns) on subscriber as
286 : : * that will not stop us from finding unique tuple. IE, if publisher has
287 : : * identity (id,timestamp) and subscriber just (id) this will not be a
288 : : * problem, but in the opposite scenario it will.
289 : : *
290 : : * We just mark the relation entry as not updatable here if the local
291 : : * replica identity is found to be insufficient for applying
292 : : * updates/deletes (inserts don't care!) and leave it to
293 : : * check_relation_updatable() to throw the actual error if needed.
294 : : */
295 : : static void
1173 296 : 569 : logicalrep_rel_mark_updatable(LogicalRepRelMapEntry *entry)
297 : : {
298 : : Bitmapset *idkey;
299 : 569 : LogicalRepRelation *remoterel = &entry->remoterel;
300 : : int i;
301 : :
302 : 569 : entry->updatable = true;
303 : :
304 : 569 : idkey = RelationGetIndexAttrBitmap(entry->localrel,
305 : : INDEX_ATTR_BITMAP_IDENTITY_KEY);
306 : : /* fallback to PK if no replica identity */
307 [ + + ]: 569 : if (idkey == NULL)
308 : : {
309 : 204 : idkey = RelationGetIndexAttrBitmap(entry->localrel,
310 : : INDEX_ATTR_BITMAP_PRIMARY_KEY);
311 : :
312 : : /*
313 : : * If no replica identity index and no PK, the published table must
314 : : * have replica identity FULL.
315 : : */
316 [ + + + + ]: 204 : if (idkey == NULL && remoterel->replident != REPLICA_IDENTITY_FULL)
317 : 130 : entry->updatable = false;
318 : : }
319 : :
320 : 569 : i = -1;
321 [ + + ]: 936 : while ((i = bms_next_member(idkey, i)) >= 0)
322 : : {
323 : 381 : int attnum = i + FirstLowInvalidHeapAttributeNumber;
324 : :
325 [ - + ]: 381 : if (!AttrNumberIsForUserDefinedAttr(attnum))
1173 akapila@postgresql.o 326 [ # # ]:UIC 0 : ereport(ERROR,
327 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
328 : : errmsg("logical replication target relation \"%s.%s\" uses "
329 : : "system columns in REPLICA IDENTITY index",
330 : : remoterel->nspname, remoterel->relname)));
331 : :
1173 akapila@postgresql.o 332 [ - + ]:GIC 381 : attnum = AttrNumberGetAttrOffset(attnum);
333 : :
334 [ + + ]: 381 : if (entry->attrmap->attnums[attnum] < 0 ||
335 [ + + ]: 380 : !bms_is_member(entry->attrmap->attnums[attnum], remoterel->attkeys))
336 : : {
337 : 14 : entry->updatable = false;
338 : 14 : break;
339 : : }
340 : : }
341 : 569 : }
342 : :
343 : : /*
344 : : * Open the local relation associated with the remote one.
345 : : *
346 : : * Rebuilds the Relcache mapping if it was invalidated by local DDL.
347 : : */
348 : : LogicalRepRelMapEntry *
3152 peter_e@gmx.net 349 : 148371 : logicalrep_rel_open(LogicalRepRelId remoteid, LOCKMODE lockmode)
350 : : {
351 : : LogicalRepRelMapEntry *entry;
352 : : bool found;
353 : : LogicalRepRelation *remoterel;
354 : :
355 [ - + ]: 148371 : if (LogicalRepRelMap == NULL)
3152 peter_e@gmx.net 356 :UIC 0 : logicalrep_relmap_init();
357 : :
358 : : /* Search for existing entry. */
943 peter@eisentraut.org 359 :GIC 148371 : entry = hash_search(LogicalRepRelMap, &remoteid,
360 : : HASH_FIND, &found);
361 : :
3152 peter_e@gmx.net 362 [ - + ]: 148371 : if (!found)
3152 peter_e@gmx.net 363 [ # # ]:UIC 0 : elog(ERROR, "no relation map entry for remote relation ID %u",
364 : : remoteid);
365 : :
2091 akapila@postgresql.o 366 :GIC 148371 : remoterel = &entry->remoterel;
367 : :
368 : : /* Ensure we don't leak a relcache refcount. */
1816 tgl@sss.pgh.pa.us 369 [ - + ]: 148371 : if (entry->localrel)
1816 tgl@sss.pgh.pa.us 370 [ # # ]:UIC 0 : elog(ERROR, "remote relation ID %u is already open", remoteid);
371 : :
372 : : /*
373 : : * When opening and locking a relation, pending invalidation messages are
374 : : * processed which can invalidate the relation. Hence, if the entry is
375 : : * currently considered valid, try to open the local relation by OID and
376 : : * see if invalidation ensues.
377 : : */
1816 tgl@sss.pgh.pa.us 378 [ + + ]:GIC 148371 : if (entry->localrelvalid)
379 : : {
380 : 147806 : entry->localrel = try_table_open(entry->localreloid, lockmode);
381 [ - + ]: 147806 : if (!entry->localrel)
382 : : {
383 : : /* Table was renamed or dropped. */
1816 tgl@sss.pgh.pa.us 384 :UIC 0 : entry->localrelvalid = false;
385 : : }
1816 tgl@sss.pgh.pa.us 386 [ - + ]:GIC 147806 : else if (!entry->localrelvalid)
387 : : {
388 : : /* Note we release the no-longer-useful lock here. */
1816 tgl@sss.pgh.pa.us 389 :UIC 0 : table_close(entry->localrel, lockmode);
390 : 0 : entry->localrel = NULL;
391 : : }
392 : : }
393 : :
394 : : /*
395 : : * If the entry has been marked invalid since we last had lock on it,
396 : : * re-open the local relation by name and rebuild all derived data.
397 : : */
1816 tgl@sss.pgh.pa.us 398 [ + + ]:GIC 148371 : if (!entry->localrelvalid)
399 : : {
400 : : Oid relid;
401 : : TupleDesc desc;
402 : : MemoryContext oldctx;
403 : : int i;
404 : : Bitmapset *missingatts;
283 akapila@postgresql.o 405 : 565 : Bitmapset *generatedattrs = NULL;
406 : :
407 : : /* Release the no-longer-useful attrmap, if any. */
1171 408 [ + + ]: 565 : if (entry->attrmap)
409 : : {
410 : 12 : free_attrmap(entry->attrmap);
411 : 12 : entry->attrmap = NULL;
412 : : }
413 : :
414 : : /* Try to find and lock the relation by name. */
3152 peter_e@gmx.net 415 : 565 : relid = RangeVarGetRelid(makeRangeVar(remoterel->nspname,
416 : : remoterel->relname, -1),
417 : : lockmode, true);
418 [ + + ]: 565 : if (!OidIsValid(relid))
419 [ + - ]: 9 : ereport(ERROR,
420 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
421 : : errmsg("logical replication target relation \"%s.%s\" does not exist",
422 : : remoterel->nspname, remoterel->relname)));
2420 andres@anarazel.de 423 : 556 : entry->localrel = table_open(relid, NoLock);
1816 tgl@sss.pgh.pa.us 424 : 556 : entry->localreloid = relid;
425 : :
426 : : /* Check for supported relkind. */
3035 peter_e@gmx.net 427 : 556 : CheckSubscriptionRelkind(entry->localrel->rd_rel->relkind,
428 : 556 : remoterel->nspname, remoterel->relname);
429 : :
430 : : /*
431 : : * Build the mapping of local attribute numbers to remote attribute
432 : : * numbers and validate that we don't miss any replicated columns as
433 : : * that would result in potentially unwanted data loss.
434 : : */
3152 435 : 556 : desc = RelationGetDescr(entry->localrel);
436 : 556 : oldctx = MemoryContextSwitchTo(LogicalRepRelMapContext);
2089 michael@paquier.xyz 437 : 556 : entry->attrmap = make_attrmap(desc->natts);
3152 peter_e@gmx.net 438 : 556 : MemoryContextSwitchTo(oldctx);
439 : :
440 : : /* check and report missing attrs, if any */
1795 akapila@postgresql.o 441 : 556 : missingatts = bms_add_range(NULL, 0, remoterel->natts - 1);
3152 peter_e@gmx.net 442 [ + + ]: 1844 : for (i = 0; i < desc->natts; i++)
443 : : {
444 : : int attnum;
2939 andres@anarazel.de 445 : 1288 : Form_pg_attribute attr = TupleDescAttr(desc, i);
446 : :
283 akapila@postgresql.o 447 [ + + ]: 1288 : if (attr->attisdropped)
448 : : {
2089 michael@paquier.xyz 449 : 2 : entry->attrmap->attnums[i] = -1;
3033 peter_e@gmx.net 450 : 2 : continue;
451 : : }
452 : :
453 : 1286 : attnum = logicalrep_rel_att_by_name(remoterel,
2939 andres@anarazel.de 454 : 1286 : NameStr(attr->attname));
455 : :
2089 michael@paquier.xyz 456 : 1286 : entry->attrmap->attnums[i] = attnum;
3152 peter_e@gmx.net 457 [ + + ]: 1286 : if (attnum >= 0)
458 : : {
459 : : /* Remember which subscriber columns are generated. */
283 akapila@postgresql.o 460 [ + + ]: 1009 : if (attr->attgenerated)
461 : 2 : generatedattrs = bms_add_member(generatedattrs, attnum);
462 : :
1795 463 : 1009 : missingatts = bms_del_member(missingatts, attnum);
464 : : }
465 : : }
466 : :
283 467 : 556 : logicalrep_report_missing_or_gen_attrs(remoterel, missingatts,
468 : : generatedattrs);
469 : :
470 : : /* be tidy */
471 : 554 : bms_free(generatedattrs);
1795 472 : 554 : bms_free(missingatts);
473 : :
474 : : /*
475 : : * Set if the table's replica identity is enough to apply
476 : : * update/delete.
477 : : */
1173 478 : 554 : logicalrep_rel_mark_updatable(entry);
479 : :
480 : : /*
481 : : * Finding a usable index is an infrequent task. It occurs when an
482 : : * operation is first performed on the relation, or after invalidation
483 : : * of the relation cache entry (such as ANALYZE or CREATE/DROP index
484 : : * on the relation).
485 : : */
906 486 : 554 : entry->localindexoid = FindLogicalRepLocalIndex(entry->localrel, remoterel,
487 : : entry->attrmap);
488 : :
1816 tgl@sss.pgh.pa.us 489 : 554 : entry->localrelvalid = true;
490 : : }
491 : :
3089 peter_e@gmx.net 492 [ + + ]: 148360 : if (entry->state != SUBREL_STATE_READY)
493 : 588 : entry->state = GetSubscriptionRelState(MySubscription->oid,
494 : : entry->localreloid,
495 : : &entry->statelsn);
496 : :
3152 497 : 148360 : return entry;
498 : : }
499 : :
500 : : /*
501 : : * Close the previously opened logical relation.
502 : : */
503 : : void
504 : 148312 : logicalrep_rel_close(LogicalRepRelMapEntry *rel, LOCKMODE lockmode)
505 : : {
2420 andres@anarazel.de 506 : 148312 : table_close(rel->localrel, lockmode);
3152 peter_e@gmx.net 507 : 148312 : rel->localrel = NULL;
508 : 148312 : }
509 : :
510 : : /*
511 : : * Partition cache: look up partition LogicalRepRelMapEntry's
512 : : *
513 : : * Unlike relation map cache, this is keyed by partition OID, not remote
514 : : * relation OID, because we only have to use this cache in the case where
515 : : * partitions are not directly mapped to any remote relation, such as when
516 : : * replication is occurring with one of their ancestors as target.
517 : : */
518 : :
519 : : /*
520 : : * Relcache invalidation callback
521 : : */
522 : : static void
1979 peter@eisentraut.org 523 : 288 : logicalrep_partmap_invalidate_cb(Datum arg, Oid reloid)
524 : : {
525 : : LogicalRepPartMapEntry *entry;
526 : :
527 : : /* Just to be sure. */
528 [ - + ]: 288 : if (LogicalRepPartMap == NULL)
1979 peter@eisentraut.org 529 :UIC 0 : return;
530 : :
1979 peter@eisentraut.org 531 [ + - ]:GIC 288 : if (reloid != InvalidOid)
532 : : {
533 : : HASH_SEQ_STATUS status;
534 : :
535 : 288 : hash_seq_init(&status, LogicalRepPartMap);
536 : :
537 : : /* TODO, use inverse lookup hashtable? */
1179 akapila@postgresql.o 538 [ + + ]: 822 : while ((entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
539 : : {
540 [ + + ]: 540 : if (entry->relmapentry.localreloid == reloid)
541 : : {
542 : 6 : entry->relmapentry.localrelvalid = false;
1979 peter@eisentraut.org 543 : 6 : hash_seq_term(&status);
544 : 6 : break;
545 : : }
546 : : }
547 : : }
548 : : else
549 : : {
550 : : /* invalidate all cache entries */
551 : : HASH_SEQ_STATUS status;
552 : :
1979 peter@eisentraut.org 553 :UIC 0 : hash_seq_init(&status, LogicalRepPartMap);
554 : :
1179 akapila@postgresql.o 555 [ # # ]: 0 : while ((entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
556 : 0 : entry->relmapentry.localrelvalid = false;
557 : : }
558 : : }
559 : :
560 : : /*
561 : : * Reset the entries in the partition map that refer to remoterel.
562 : : *
563 : : * Called when new relation mapping is sent by the publisher to update our
564 : : * expected view of incoming data from said publisher.
565 : : *
566 : : * Note that we don't update the remoterel information in the entry here,
567 : : * we will update the information in logicalrep_partition_open to avoid
568 : : * unnecessary work.
569 : : */
570 : : void
1178 akapila@postgresql.o 571 :GIC 426 : logicalrep_partmap_reset_relmap(LogicalRepRelation *remoterel)
572 : : {
573 : : HASH_SEQ_STATUS status;
574 : : LogicalRepPartMapEntry *part_entry;
575 : : LogicalRepRelMapEntry *entry;
576 : :
577 [ + + ]: 426 : if (LogicalRepPartMap == NULL)
578 : 392 : return;
579 : :
580 : 34 : hash_seq_init(&status, LogicalRepPartMap);
581 [ + + ]: 87 : while ((part_entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
582 : : {
583 : 53 : entry = &part_entry->relmapentry;
584 : :
585 [ + + ]: 53 : if (entry->remoterel.remoteid != remoterel->remoteid)
586 : 45 : continue;
587 : :
588 : 8 : logicalrep_relmap_free_entry(entry);
589 : :
590 : 8 : memset(entry, 0, sizeof(LogicalRepRelMapEntry));
591 : : }
592 : : }
593 : :
594 : : /*
595 : : * Initialize the partition map cache.
596 : : */
597 : : static void
1979 peter@eisentraut.org 598 : 6 : logicalrep_partmap_init(void)
599 : : {
600 : : HASHCTL ctl;
601 : :
602 [ + - ]: 6 : if (!LogicalRepPartMapContext)
603 : 6 : LogicalRepPartMapContext =
604 : 6 : AllocSetContextCreate(CacheMemoryContext,
605 : : "LogicalRepPartMapContext",
606 : : ALLOCSET_DEFAULT_SIZES);
607 : :
608 : : /* Initialize the relation hash table. */
609 : 6 : ctl.keysize = sizeof(Oid); /* partition OID */
610 : 6 : ctl.entrysize = sizeof(LogicalRepPartMapEntry);
611 : 6 : ctl.hcxt = LogicalRepPartMapContext;
612 : :
613 : 6 : LogicalRepPartMap = hash_create("logicalrep partition map cache", 64, &ctl,
614 : : HASH_ELEM | HASH_BLOBS | HASH_CONTEXT);
615 : :
616 : : /* Watch for invalidation events. */
617 : 6 : CacheRegisterRelcacheCallback(logicalrep_partmap_invalidate_cb,
618 : : (Datum) 0);
619 : 6 : }
620 : :
621 : : /*
622 : : * logicalrep_partition_open
623 : : *
624 : : * Returned entry reuses most of the values of the root table's entry, save
625 : : * the attribute map, which can be different for the partition. However,
626 : : * we must physically copy all the data, in case the root table's entry
627 : : * gets freed/rebuilt.
628 : : *
629 : : * Note there's no logicalrep_partition_close, because the caller closes the
630 : : * component relation.
631 : : */
632 : : LogicalRepRelMapEntry *
633 : 30 : logicalrep_partition_open(LogicalRepRelMapEntry *root,
634 : : Relation partrel, AttrMap *map)
635 : : {
636 : : LogicalRepRelMapEntry *entry;
637 : : LogicalRepPartMapEntry *part_entry;
638 : 30 : LogicalRepRelation *remoterel = &root->remoterel;
639 : 30 : Oid partOid = RelationGetRelid(partrel);
640 : 30 : AttrMap *attrmap = root->attrmap;
641 : : bool found;
642 : : MemoryContext oldctx;
643 : :
644 [ + + ]: 30 : if (LogicalRepPartMap == NULL)
645 : 6 : logicalrep_partmap_init();
646 : :
647 : : /* Search for existing entry. */
648 : 30 : part_entry = (LogicalRepPartMapEntry *) hash_search(LogicalRepPartMap,
649 : : &partOid,
650 : : HASH_ENTER, &found);
651 : :
1179 akapila@postgresql.o 652 : 30 : entry = &part_entry->relmapentry;
653 : :
654 : : /*
655 : : * We must always overwrite entry->localrel with the latest partition
656 : : * Relation pointer, because the Relation pointed to by the old value may
657 : : * have been cleared after the caller would have closed the partition
658 : : * relation after the last use of this entry. Note that localrelvalid is
659 : : * only updated by the relcache invalidation callback, so it may still be
660 : : * true irrespective of whether the Relation pointed to by localrel has
661 : : * been cleared or not.
662 : : */
663 [ + + + + ]: 30 : if (found && entry->localrelvalid)
664 : : {
1173 665 : 15 : entry->localrel = partrel;
1179 666 : 15 : return entry;
667 : : }
668 : :
669 : : /* Switch to longer-lived context. */
1979 peter@eisentraut.org 670 : 15 : oldctx = MemoryContextSwitchTo(LogicalRepPartMapContext);
671 : :
1179 akapila@postgresql.o 672 [ + + ]: 15 : if (!found)
673 : : {
674 : 9 : memset(part_entry, 0, sizeof(LogicalRepPartMapEntry));
675 : 9 : part_entry->partoid = partOid;
676 : : }
677 : :
678 : : /* Release the no-longer-useful attrmap, if any. */
1171 679 [ + + ]: 15 : if (entry->attrmap)
680 : : {
681 : 1 : free_attrmap(entry->attrmap);
682 : 1 : entry->attrmap = NULL;
683 : : }
684 : :
1179 685 [ + + ]: 15 : if (!entry->remoterel.remoteid)
686 : : {
687 : : int i;
688 : :
689 : : /* Remote relation is copied as-is from the root entry. */
690 : 14 : entry->remoterel.remoteid = remoterel->remoteid;
691 : 14 : entry->remoterel.nspname = pstrdup(remoterel->nspname);
692 : 14 : entry->remoterel.relname = pstrdup(remoterel->relname);
693 : 14 : entry->remoterel.natts = remoterel->natts;
694 : 14 : entry->remoterel.attnames = palloc(remoterel->natts * sizeof(char *));
695 : 14 : entry->remoterel.atttyps = palloc(remoterel->natts * sizeof(Oid));
696 [ + + ]: 44 : for (i = 0; i < remoterel->natts; i++)
697 : : {
698 : 30 : entry->remoterel.attnames[i] = pstrdup(remoterel->attnames[i]);
699 : 30 : entry->remoterel.atttyps[i] = remoterel->atttyps[i];
700 : : }
701 : 14 : entry->remoterel.replident = remoterel->replident;
702 : 14 : entry->remoterel.attkeys = bms_copy(remoterel->attkeys);
703 : : }
704 : :
1979 peter@eisentraut.org 705 : 15 : entry->localrel = partrel;
706 : 15 : entry->localreloid = partOid;
707 : :
708 : : /*
709 : : * If the partition's attributes don't match the root relation's, we'll
710 : : * need to make a new attrmap which maps partition attribute numbers to
711 : : * remoterel's, instead of the original which maps root relation's
712 : : * attribute numbers to remoterel's.
713 : : *
714 : : * Note that 'map' which comes from the tuple routing data structure
715 : : * contains 1-based attribute numbers (of the parent relation). However,
716 : : * the map in 'entry', a logical replication data structure, contains
717 : : * 0-based attribute numbers (of the remote relation).
718 : : */
719 [ + + ]: 15 : if (map)
720 : : {
721 : : AttrNumber attno;
722 : :
723 : 8 : entry->attrmap = make_attrmap(map->maplen);
724 [ + + ]: 34 : for (attno = 0; attno < entry->attrmap->maplen; attno++)
725 : : {
726 : 26 : AttrNumber root_attno = map->attnums[attno];
727 : :
728 : : /* 0 means it's a dropped attribute. See comments atop AttrMap. */
1179 akapila@postgresql.o 729 [ + + ]: 26 : if (root_attno == 0)
730 : 2 : entry->attrmap->attnums[attno] = -1;
731 : : else
732 : 24 : entry->attrmap->attnums[attno] = attrmap->attnums[root_attno - 1];
733 : : }
734 : : }
735 : : else
736 : : {
737 : : /* Lacking copy_attmap, do this the hard way. */
1548 tgl@sss.pgh.pa.us 738 : 7 : entry->attrmap = make_attrmap(attrmap->maplen);
739 : 7 : memcpy(entry->attrmap->attnums, attrmap->attnums,
740 : 7 : attrmap->maplen * sizeof(AttrNumber));
741 : : }
742 : :
743 : : /* Set if the table's replica identity is enough to apply update/delete. */
1173 akapila@postgresql.o 744 : 15 : logicalrep_rel_mark_updatable(entry);
745 : :
746 : : /* state and statelsn are left set to 0. */
1979 peter@eisentraut.org 747 : 15 : MemoryContextSwitchTo(oldctx);
748 : :
749 : : /*
750 : : * Finding a usable index is an infrequent task. It occurs when an
751 : : * operation is first performed on the relation, or after invalidation of
752 : : * the relation cache entry (such as ANALYZE or CREATE/DROP index on the
753 : : * relation).
754 : : *
755 : : * We also prefer to run this code on the oldctx so that we do not leak
756 : : * anything in the LogicalRepPartMapContext (hence CacheMemoryContext).
757 : : */
906 akapila@postgresql.o 758 : 15 : entry->localindexoid = FindLogicalRepLocalIndex(partrel, remoterel,
759 : : entry->attrmap);
760 : :
761 : 15 : entry->localrelvalid = true;
762 : :
1979 peter@eisentraut.org 763 : 15 : return entry;
764 : : }
765 : :
766 : : /*
767 : : * Returns the oid of an index that can be used by the apply worker to scan
768 : : * the relation.
769 : : *
770 : : * We expect to call this function when REPLICA IDENTITY FULL is defined for
771 : : * the remote relation.
772 : : *
773 : : * If no suitable index is found, returns InvalidOid.
774 : : */
775 : : static Oid
906 akapila@postgresql.o 776 : 63 : FindUsableIndexForReplicaIdentityFull(Relation localrel, AttrMap *attrmap)
777 : : {
778 : 63 : List *idxlist = RelationGetIndexList(localrel);
779 : :
611 nathan@postgresql.or 780 [ + + + + : 114 : foreach_oid(idxoid, idxlist)
+ + ]
781 : : {
782 : : bool isUsableIdx;
783 : : Relation idxRel;
784 : :
906 akapila@postgresql.o 785 : 20 : idxRel = index_open(idxoid, AccessShareLock);
276 peter@eisentraut.org 786 : 20 : isUsableIdx = IsIndexUsableForReplicaIdentityFull(idxRel, attrmap);
906 akapila@postgresql.o 787 : 20 : index_close(idxRel, AccessShareLock);
788 : :
789 : : /* Return the first eligible index found */
774 msawada@postgresql.o 790 [ + + ]: 20 : if (isUsableIdx)
906 akapila@postgresql.o 791 : 16 : return idxoid;
792 : : }
793 : :
794 : 47 : return InvalidOid;
795 : : }
796 : :
797 : : /*
798 : : * Returns true if the index is usable for replica identity full.
799 : : *
800 : : * The index must have an equal strategy for each key column, be non-partial,
801 : : * and the leftmost field must be a column (not an expression) that references
802 : : * the remote relation column. These limitations help to keep the index scan
803 : : * similar to PK/RI index scans.
804 : : *
805 : : * attrmap is a map of local attributes to remote ones. We can consult this
806 : : * map to check whether the local index attribute has a corresponding remote
807 : : * attribute.
808 : : *
809 : : * Note that the limitations of index scans for replica identity full only
810 : : * adheres to a subset of the limitations of PK/RI. For example, we support
811 : : * columns that are marked as [NULL] or we are not interested in the [NOT
812 : : * DEFERRABLE] aspect of constraints here. It works for us because we always
813 : : * compare the tuples for non-PK/RI index scans. See
814 : : * RelationFindReplTupleByIndex().
815 : : *
816 : : * XXX: To support partial indexes, the required changes are likely to be larger.
817 : : * If none of the tuples satisfy the expression for the index scan, we fall-back
818 : : * to sequential execution, which might not be a good idea in some cases.
819 : : */
820 : : bool
276 peter@eisentraut.org 821 : 37 : IsIndexUsableForReplicaIdentityFull(Relation idxrel, AttrMap *attrmap)
822 : : {
823 : : AttrNumber keycol;
824 : : oidvector *indclass;
825 : :
826 : : /* The index must not be a partial index */
827 [ + + ]: 37 : if (!heap_attisnull(idxrel->rd_indextuple, Anum_pg_index_indpred, NULL))
785 akapila@postgresql.o 828 : 2 : return false;
829 : :
276 peter@eisentraut.org 830 [ - + ]: 35 : Assert(idxrel->rd_index->indnatts >= 1);
831 : :
270 832 : 35 : indclass = (oidvector *) DatumGetPointer(SysCacheGetAttrNotNull(INDEXRELID,
833 : 35 : idxrel->rd_indextuple,
834 : : Anum_pg_index_indclass));
835 : :
836 : : /* Ensure that the index has a valid equal strategy for each key column */
837 [ + + ]: 101 : for (int i = 0; i < idxrel->rd_index->indnkeyatts; i++)
838 : : {
839 : : Oid opfamily;
840 : :
197 841 : 66 : opfamily = get_opclass_family(indclass->values[i]);
842 [ - + ]: 66 : if (IndexAmTranslateCompareType(COMPARE_EQ, idxrel->rd_rel->relam, opfamily, true) == InvalidStrategy)
270 peter@eisentraut.org 843 :UIC 0 : return false;
844 : : }
845 : :
846 : : /*
847 : : * For indexes other than PK and REPLICA IDENTITY, we need to match the
848 : : * local and remote tuples. The equality routine tuples_equal() cannot
849 : : * accept a data type where the type cache cannot provide an equality
850 : : * operator.
851 : : */
270 peter@eisentraut.org 852 [ + + ]:GIC 101 : for (int i = 0; i < idxrel->rd_att->natts; i++)
853 : : {
854 : : TypeCacheEntry *typentry;
855 : :
856 : 66 : typentry = lookup_type_cache(TupleDescAttr(idxrel->rd_att, i)->atttypid, TYPECACHE_EQ_OPR_FINFO);
857 [ - + ]: 66 : if (!OidIsValid(typentry->eq_opr_finfo.fn_oid))
270 peter@eisentraut.org 858 :UIC 0 : return false;
859 : : }
860 : :
861 : : /* The leftmost index field must not be an expression */
276 peter@eisentraut.org 862 :GIC 35 : keycol = idxrel->rd_index->indkey.values[0];
774 msawada@postgresql.o 863 [ + + ]: 35 : if (!AttributeNumberIsValid(keycol))
864 : 2 : return false;
865 : :
866 : : /*
867 : : * And the leftmost index field must reference the remote relation column.
868 : : * This is because if it doesn't, the sequential scan is favorable over
869 : : * index scan in most cases.
870 : : */
871 [ - + + - ]: 33 : if (attrmap->maplen <= AttrNumberGetAttrOffset(keycol) ||
872 [ - + - + ]: 33 : attrmap->attnums[AttrNumberGetAttrOffset(keycol)] < 0)
785 akapila@postgresql.o 873 :UIC 0 : return false;
874 : :
875 : : /*
876 : : * The given index access method must implement "amgettuple", which will
877 : : * be used later to fetch the tuples. See RelationFindReplTupleByIndex().
878 : : */
270 peter@eisentraut.org 879 [ - + ]:GIC 33 : if (GetIndexAmRoutineByAmId(idxrel->rd_rel->relam, false)->amgettuple == NULL)
270 peter@eisentraut.org 880 :UIC 0 : return false;
881 : :
785 akapila@postgresql.o 882 :GIC 33 : return true;
883 : : }
884 : :
885 : : /*
886 : : * Return the OID of the replica identity index if one is defined;
887 : : * the OID of the PK if one exists and is not deferrable;
888 : : * otherwise, InvalidOid.
889 : : */
890 : : Oid
906 891 : 144746 : GetRelationIdentityOrPK(Relation rel)
892 : : {
893 : : Oid idxoid;
894 : :
895 : 144746 : idxoid = RelationGetReplicaIndex(rel);
896 : :
897 [ + + ]: 144746 : if (!OidIsValid(idxoid))
302 alvherre@alvh.no-ip. 898 : 238 : idxoid = RelationGetPrimaryKeyIndex(rel, false);
899 : :
906 akapila@postgresql.o 900 : 144746 : return idxoid;
901 : : }
902 : :
903 : : /*
904 : : * Returns the index oid if we can use an index for subscriber. Otherwise,
905 : : * returns InvalidOid.
906 : : */
907 : : static Oid
908 : 569 : FindLogicalRepLocalIndex(Relation localrel, LogicalRepRelation *remoterel,
909 : : AttrMap *attrMap)
910 : : {
911 : : Oid idxoid;
912 : :
913 : : /*
914 : : * We never need index oid for partitioned tables, always rely on leaf
915 : : * partition's index.
916 : : */
917 [ + + ]: 569 : if (localrel->rd_rel->relkind == RELKIND_PARTITIONED_TABLE)
918 : 65 : return InvalidOid;
919 : :
920 : : /*
921 : : * Simple case, we already have a primary key or a replica identity index.
922 : : */
923 : 504 : idxoid = GetRelationIdentityOrPK(localrel);
924 [ + + ]: 504 : if (OidIsValid(idxoid))
925 : 325 : return idxoid;
926 : :
927 [ + + ]: 179 : if (remoterel->replident == REPLICA_IDENTITY_FULL)
928 : : {
929 : : /*
930 : : * We are looking for one more opportunity for using an index. If
931 : : * there are any indexes defined on the local relation, try to pick a
932 : : * suitable index.
933 : : *
934 : : * The index selection safely assumes that all the columns are going
935 : : * to be available for the index scan given that remote relation has
936 : : * replica identity full.
937 : : *
938 : : * Note that we are not using the planner to find the cheapest method
939 : : * to scan the relation as that would require us to either use lower
940 : : * level planner functions which would be a maintenance burden in the
941 : : * long run or use the full-fledged planner which could cause
942 : : * overhead.
943 : : */
944 : 63 : return FindUsableIndexForReplicaIdentityFull(localrel, attrMap);
945 : : }
946 : :
947 : 116 : return InvalidOid;
948 : : }
|
