Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * gistbuildbuffers.c
4 : : * node buffer management functions for GiST buffering build algorithm.
5 : : *
6 : : *
7 : : * Portions Copyright (c) 1996-2025, PostgreSQL Global Development Group
8 : : * Portions Copyright (c) 1994, Regents of the University of California
9 : : *
10 : : * IDENTIFICATION
11 : : * src/backend/access/gist/gistbuildbuffers.c
12 : : *
13 : : *-------------------------------------------------------------------------
14 : : */
15 : : #include "postgres.h"
16 : :
17 : : #include "access/gist_private.h"
18 : : #include "storage/buffile.h"
19 : : #include "storage/bufmgr.h"
20 : : #include "utils/rel.h"
21 : :
22 : : static GISTNodeBufferPage *gistAllocateNewPageBuffer(GISTBuildBuffers *gfbb);
23 : : static void gistAddLoadedBuffer(GISTBuildBuffers *gfbb,
24 : : GISTNodeBuffer *nodeBuffer);
25 : : static void gistLoadNodeBuffer(GISTBuildBuffers *gfbb,
26 : : GISTNodeBuffer *nodeBuffer);
27 : : static void gistUnloadNodeBuffer(GISTBuildBuffers *gfbb,
28 : : GISTNodeBuffer *nodeBuffer);
29 : : static void gistPlaceItupToPage(GISTNodeBufferPage *pageBuffer,
30 : : IndexTuple itup);
31 : : static void gistGetItupFromPage(GISTNodeBufferPage *pageBuffer,
32 : : IndexTuple *itup);
33 : : static long gistBuffersGetFreeBlock(GISTBuildBuffers *gfbb);
34 : : static void gistBuffersReleaseBlock(GISTBuildBuffers *gfbb, long blocknum);
35 : :
36 : : static void ReadTempFileBlock(BufFile *file, long blknum, void *ptr);
37 : : static void WriteTempFileBlock(BufFile *file, long blknum, const void *ptr);
38 : :
39 : :
40 : : /*
41 : : * Initialize GiST build buffers.
42 : : */
43 : : GISTBuildBuffers *
5213 heikki.linnakangas@i 44 :CBC 3 : gistInitBuildBuffers(int pagesPerBuffer, int levelStep, int maxLevel)
45 : : {
46 : : GISTBuildBuffers *gfbb;
47 : : HASHCTL hashCtl;
48 : :
6 michael@paquier.xyz 49 :GNC 3 : gfbb = palloc_object(GISTBuildBuffers);
5213 heikki.linnakangas@i 50 :CBC 3 : gfbb->pagesPerBuffer = pagesPerBuffer;
51 : 3 : gfbb->levelStep = levelStep;
52 : :
53 : : /*
54 : : * Create a temporary file to hold buffer pages that are swapped out of
55 : : * memory.
56 : : */
4948 57 : 3 : gfbb->pfile = BufFileCreateTemp(false);
5213 58 : 3 : gfbb->nFileBlocks = 0;
59 : :
60 : : /* Initialize free page management. */
61 : 3 : gfbb->nFreeBlocks = 0;
62 : 3 : gfbb->freeBlocksLen = 32;
6 michael@paquier.xyz 63 :GNC 3 : gfbb->freeBlocks = palloc_array(long, gfbb->freeBlocksLen);
64 : :
65 : : /*
66 : : * Current memory context will be used for all in-memory data structures
67 : : * of buffers which are persistent during buffering build.
68 : : */
5213 heikki.linnakangas@i 69 :CBC 3 : gfbb->context = CurrentMemoryContext;
70 : :
71 : : /*
72 : : * nodeBuffersTab hash is association between index blocks and it's
73 : : * buffers.
74 : : */
75 : 3 : hashCtl.keysize = sizeof(BlockNumber);
76 : 3 : hashCtl.entrysize = sizeof(GISTNodeBuffer);
77 : 3 : hashCtl.hcxt = CurrentMemoryContext;
78 : 3 : gfbb->nodeBuffersTab = hash_create("gistbuildbuffers",
79 : : 1024,
80 : : &hashCtl,
81 : : HASH_ELEM | HASH_BLOBS | HASH_CONTEXT);
82 : :
83 : 3 : gfbb->bufferEmptyingQueue = NIL;
84 : :
85 : : /*
86 : : * Per-level node buffers lists for final buffers emptying process. Node
87 : : * buffers are inserted here when they are created.
88 : : */
89 : 3 : gfbb->buffersOnLevelsLen = 1;
6 michael@paquier.xyz 90 :GNC 3 : gfbb->buffersOnLevels = palloc_array(List *, gfbb->buffersOnLevelsLen);
5213 heikki.linnakangas@i 91 :CBC 3 : gfbb->buffersOnLevels[0] = NIL;
92 : :
93 : : /*
94 : : * Block numbers of node buffers which last pages are currently loaded
95 : : * into main memory.
96 : : */
97 : 3 : gfbb->loadedBuffersLen = 32;
6 michael@paquier.xyz 98 :GNC 3 : gfbb->loadedBuffers = palloc_array(GISTNodeBuffer *, gfbb->loadedBuffersLen);
5213 heikki.linnakangas@i 99 :CBC 3 : gfbb->loadedBuffersCount = 0;
100 : :
4948 101 : 3 : gfbb->rootlevel = maxLevel;
102 : :
5213 103 : 3 : return gfbb;
104 : : }
105 : :
106 : : /*
107 : : * Returns a node buffer for given block. The buffer is created if it
108 : : * doesn't exist yet.
109 : : */
110 : : GISTNodeBuffer *
111 : 17178 : gistGetNodeBuffer(GISTBuildBuffers *gfbb, GISTSTATE *giststate,
112 : : BlockNumber nodeBlocknum, int level)
113 : : {
114 : : GISTNodeBuffer *nodeBuffer;
115 : : bool found;
116 : :
117 : : /* Find node buffer in hash table */
118 : 17178 : nodeBuffer = (GISTNodeBuffer *) hash_search(gfbb->nodeBuffersTab,
119 : : &nodeBlocknum,
120 : : HASH_ENTER,
121 : : &found);
122 [ + + ]: 17178 : if (!found)
123 : : {
124 : : /*
125 : : * Node buffer wasn't found. Initialize the new buffer as empty.
126 : : */
127 : 9 : MemoryContext oldcxt = MemoryContextSwitchTo(gfbb->context);
128 : :
129 : : /* nodeBuffer->nodeBlocknum is the hash key and was filled in already */
130 : 9 : nodeBuffer->blocksCount = 0;
4960 131 : 9 : nodeBuffer->pageBlocknum = InvalidBlockNumber;
132 : 9 : nodeBuffer->pageBuffer = NULL;
5213 133 : 9 : nodeBuffer->queuedForEmptying = false;
2351 michael@paquier.xyz 134 : 9 : nodeBuffer->isTemp = false;
4948 heikki.linnakangas@i 135 : 9 : nodeBuffer->level = level;
136 : :
137 : : /*
138 : : * Add this buffer to the list of buffers on this level. Enlarge
139 : : * buffersOnLevels array if needed.
140 : : */
5213 141 [ + + ]: 9 : if (level >= gfbb->buffersOnLevelsLen)
142 : : {
143 : : int i;
144 : :
145 : 3 : gfbb->buffersOnLevels =
146 : 3 : (List **) repalloc(gfbb->buffersOnLevels,
147 : 3 : (level + 1) * sizeof(List *));
148 : :
149 : : /* initialize the enlarged portion */
150 [ + + ]: 6 : for (i = gfbb->buffersOnLevelsLen; i <= level; i++)
151 : 3 : gfbb->buffersOnLevels[i] = NIL;
152 : 3 : gfbb->buffersOnLevelsLen = level + 1;
153 : : }
154 : :
155 : : /*
156 : : * Prepend the new buffer to the list of buffers on this level. It's
157 : : * not arbitrary that the new buffer is put to the beginning of the
158 : : * list: in the final emptying phase we loop through all buffers at
159 : : * each level, and flush them. If a page is split during the emptying,
160 : : * it's more efficient to flush the new split pages first, before
161 : : * moving on to pre-existing pages on the level. The buffers just
162 : : * created during the page split are likely still in cache, so
163 : : * flushing them immediately is more efficient than putting them to
164 : : * the end of the queue.
165 : : */
166 : 18 : gfbb->buffersOnLevels[level] = lcons(nodeBuffer,
167 : 9 : gfbb->buffersOnLevels[level]);
168 : :
169 : 9 : MemoryContextSwitchTo(oldcxt);
170 : : }
171 : :
172 : 17178 : return nodeBuffer;
173 : : }
174 : :
175 : : /*
176 : : * Allocate memory for a buffer page.
177 : : */
178 : : static GISTNodeBufferPage *
179 : 24 : gistAllocateNewPageBuffer(GISTBuildBuffers *gfbb)
180 : : {
181 : : GISTNodeBufferPage *pageBuffer;
182 : :
2351 michael@paquier.xyz 183 : 24 : pageBuffer = (GISTNodeBufferPage *) MemoryContextAllocZero(gfbb->context,
184 : : BLCKSZ);
5213 heikki.linnakangas@i 185 : 24 : pageBuffer->prev = InvalidBlockNumber;
186 : :
187 : : /* Set page free space */
188 : 24 : PAGE_FREE_SPACE(pageBuffer) = BLCKSZ - BUFFER_PAGE_DATA_OFFSET;
189 : 24 : return pageBuffer;
190 : : }
191 : :
192 : : /*
193 : : * Add specified buffer into loadedBuffers array.
194 : : */
195 : : static void
196 : 24 : gistAddLoadedBuffer(GISTBuildBuffers *gfbb, GISTNodeBuffer *nodeBuffer)
197 : : {
198 : : /* Never add a temporary buffer to the array */
4960 199 [ - + ]: 24 : if (nodeBuffer->isTemp)
4960 heikki.linnakangas@i 200 :UBC 0 : return;
201 : :
202 : : /* Enlarge the array if needed */
5213 heikki.linnakangas@i 203 [ - + ]:CBC 24 : if (gfbb->loadedBuffersCount >= gfbb->loadedBuffersLen)
204 : : {
5213 heikki.linnakangas@i 205 :UBC 0 : gfbb->loadedBuffersLen *= 2;
206 : 0 : gfbb->loadedBuffers = (GISTNodeBuffer **)
207 : 0 : repalloc(gfbb->loadedBuffers,
208 : 0 : gfbb->loadedBuffersLen * sizeof(GISTNodeBuffer *));
209 : : }
210 : :
5213 heikki.linnakangas@i 211 :CBC 24 : gfbb->loadedBuffers[gfbb->loadedBuffersCount] = nodeBuffer;
212 : 24 : gfbb->loadedBuffersCount++;
213 : : }
214 : :
215 : : /*
216 : : * Load last page of node buffer into main memory.
217 : : */
218 : : static void
219 : 9 : gistLoadNodeBuffer(GISTBuildBuffers *gfbb, GISTNodeBuffer *nodeBuffer)
220 : : {
221 : : /* Check if we really should load something */
222 [ + - + - ]: 9 : if (!nodeBuffer->pageBuffer && nodeBuffer->blocksCount > 0)
223 : : {
224 : : /* Allocate memory for page */
225 : 9 : nodeBuffer->pageBuffer = gistAllocateNewPageBuffer(gfbb);
226 : :
227 : : /* Read block from temporary file */
228 : 9 : ReadTempFileBlock(gfbb->pfile, nodeBuffer->pageBlocknum,
229 : 9 : nodeBuffer->pageBuffer);
230 : :
231 : : /* Mark file block as free */
232 : 9 : gistBuffersReleaseBlock(gfbb, nodeBuffer->pageBlocknum);
233 : :
234 : : /* Mark node buffer as loaded */
235 : 9 : gistAddLoadedBuffer(gfbb, nodeBuffer);
236 : 9 : nodeBuffer->pageBlocknum = InvalidBlockNumber;
237 : : }
238 : 9 : }
239 : :
240 : : /*
241 : : * Write last page of node buffer to the disk.
242 : : */
243 : : static void
244 : 21 : gistUnloadNodeBuffer(GISTBuildBuffers *gfbb, GISTNodeBuffer *nodeBuffer)
245 : : {
246 : : /* Check if we have something to write */
247 [ + + ]: 21 : if (nodeBuffer->pageBuffer)
248 : : {
249 : : BlockNumber blkno;
250 : :
251 : : /* Get free file block */
252 : 9 : blkno = gistBuffersGetFreeBlock(gfbb);
253 : :
254 : : /* Write block to the temporary file */
255 : 9 : WriteTempFileBlock(gfbb->pfile, blkno, nodeBuffer->pageBuffer);
256 : :
257 : : /* Free memory of that page */
258 : 9 : pfree(nodeBuffer->pageBuffer);
259 : 9 : nodeBuffer->pageBuffer = NULL;
260 : :
261 : : /* Save block number */
262 : 9 : nodeBuffer->pageBlocknum = blkno;
263 : : }
264 : 21 : }
265 : :
266 : : /*
267 : : * Write last pages of all node buffers to the disk.
268 : : */
269 : : void
270 : 9 : gistUnloadNodeBuffers(GISTBuildBuffers *gfbb)
271 : : {
272 : : int i;
273 : :
274 : : /* Unload all the buffers that have a page loaded in memory. */
275 [ + + ]: 30 : for (i = 0; i < gfbb->loadedBuffersCount; i++)
276 : 21 : gistUnloadNodeBuffer(gfbb, gfbb->loadedBuffers[i]);
277 : :
278 : : /* Now there are no node buffers with loaded last page */
279 : 9 : gfbb->loadedBuffersCount = 0;
280 : 9 : }
281 : :
282 : : /*
283 : : * Add index tuple to buffer page.
284 : : */
285 : : static void
286 : 32037 : gistPlaceItupToPage(GISTNodeBufferPage *pageBuffer, IndexTuple itup)
287 : : {
288 : 32037 : Size itupsz = IndexTupleSize(itup);
289 : : char *ptr;
290 : :
291 : : /* There should be enough of space. */
292 [ - + ]: 32037 : Assert(PAGE_FREE_SPACE(pageBuffer) >= MAXALIGN(itupsz));
293 : :
294 : : /* Reduce free space value of page to reserve a spot for the tuple. */
295 : 32037 : PAGE_FREE_SPACE(pageBuffer) -= MAXALIGN(itupsz);
296 : :
297 : : /* Get pointer to the spot we reserved (ie. end of free space). */
298 : 32037 : ptr = (char *) pageBuffer + BUFFER_PAGE_DATA_OFFSET
299 : 32037 : + PAGE_FREE_SPACE(pageBuffer);
300 : :
301 : : /* Copy the index tuple there. */
302 : 32037 : memcpy(ptr, itup, itupsz);
303 : 32037 : }
304 : :
305 : : /*
306 : : * Get last item from buffer page and remove it from page.
307 : : */
308 : : static void
309 : 32037 : gistGetItupFromPage(GISTNodeBufferPage *pageBuffer, IndexTuple *itup)
310 : : {
311 : : IndexTuple ptr;
312 : : Size itupsz;
313 : :
314 [ - + ]: 32037 : Assert(!PAGE_IS_EMPTY(pageBuffer)); /* Page shouldn't be empty */
315 : :
316 : : /* Get pointer to last index tuple */
317 : 32037 : ptr = (IndexTuple) ((char *) pageBuffer
318 : : + BUFFER_PAGE_DATA_OFFSET
319 : 32037 : + PAGE_FREE_SPACE(pageBuffer));
320 : 32037 : itupsz = IndexTupleSize(ptr);
321 : :
322 : : /* Make a copy of the tuple */
323 : 32037 : *itup = (IndexTuple) palloc(itupsz);
324 : 32037 : memcpy(*itup, ptr, itupsz);
325 : :
326 : : /* Mark the space used by the tuple as free */
327 : 32037 : PAGE_FREE_SPACE(pageBuffer) += MAXALIGN(itupsz);
328 : 32037 : }
329 : :
330 : : /*
331 : : * Push an index tuple to node buffer.
332 : : */
333 : : void
334 : 32037 : gistPushItupToNodeBuffer(GISTBuildBuffers *gfbb, GISTNodeBuffer *nodeBuffer,
335 : : IndexTuple itup)
336 : : {
337 : : /*
338 : : * Most part of memory operations will be in buffering build persistent
339 : : * context. So, let's switch to it.
340 : : */
341 : 32037 : MemoryContext oldcxt = MemoryContextSwitchTo(gfbb->context);
342 : :
343 : : /*
344 : : * If the buffer is currently empty, create the first page.
345 : : */
346 [ + + ]: 32037 : if (nodeBuffer->blocksCount == 0)
347 : : {
348 : 15 : nodeBuffer->pageBuffer = gistAllocateNewPageBuffer(gfbb);
349 : 15 : nodeBuffer->blocksCount = 1;
350 : 15 : gistAddLoadedBuffer(gfbb, nodeBuffer);
351 : : }
352 : :
353 : : /* Load last page of node buffer if it wasn't in memory already */
354 [ - + ]: 32037 : if (!nodeBuffer->pageBuffer)
5213 heikki.linnakangas@i 355 :UBC 0 : gistLoadNodeBuffer(gfbb, nodeBuffer);
356 : :
357 : : /*
358 : : * Check if there is enough space on the last page for the tuple.
359 : : */
5213 heikki.linnakangas@i 360 [ + + ]:CBC 32037 : if (PAGE_NO_SPACE(nodeBuffer->pageBuffer, itup))
361 : : {
362 : : /*
363 : : * Nope. Swap previous block to disk and allocate a new one.
364 : : */
365 : : BlockNumber blkno;
366 : :
367 : : /* Write filled page to the disk */
368 : 153 : blkno = gistBuffersGetFreeBlock(gfbb);
369 : 153 : WriteTempFileBlock(gfbb->pfile, blkno, nodeBuffer->pageBuffer);
370 : :
371 : : /*
372 : : * Reset the in-memory page as empty, and link the previous block to
373 : : * the new page by storing its block number in the prev-link.
374 : : */
375 : 153 : PAGE_FREE_SPACE(nodeBuffer->pageBuffer) =
376 : : BLCKSZ - MAXALIGN(offsetof(GISTNodeBufferPage, tupledata));
377 : 153 : nodeBuffer->pageBuffer->prev = blkno;
378 : :
379 : : /* We've just added one more page */
380 : 153 : nodeBuffer->blocksCount++;
381 : : }
382 : :
383 : 32037 : gistPlaceItupToPage(nodeBuffer->pageBuffer, itup);
384 : :
385 : : /*
386 : : * If the buffer just overflowed, add it to the emptying queue.
387 : : */
388 [ - + - - ]: 32037 : if (BUFFER_HALF_FILLED(nodeBuffer, gfbb) && !nodeBuffer->queuedForEmptying)
389 : : {
5213 heikki.linnakangas@i 390 :UBC 0 : gfbb->bufferEmptyingQueue = lcons(nodeBuffer,
391 : : gfbb->bufferEmptyingQueue);
392 : 0 : nodeBuffer->queuedForEmptying = true;
393 : : }
394 : :
395 : : /* Restore memory context */
5213 heikki.linnakangas@i 396 :CBC 32037 : MemoryContextSwitchTo(oldcxt);
397 : 32037 : }
398 : :
399 : : /*
400 : : * Removes one index tuple from node buffer. Returns true if success and false
401 : : * if node buffer is empty.
402 : : */
403 : : bool
404 : 32052 : gistPopItupFromNodeBuffer(GISTBuildBuffers *gfbb, GISTNodeBuffer *nodeBuffer,
405 : : IndexTuple *itup)
406 : : {
407 : : /*
408 : : * If node buffer is empty then return false.
409 : : */
410 [ + + ]: 32052 : if (nodeBuffer->blocksCount <= 0)
411 : 15 : return false;
412 : :
413 : : /* Load last page of node buffer if needed */
414 [ + + ]: 32037 : if (!nodeBuffer->pageBuffer)
415 : 9 : gistLoadNodeBuffer(gfbb, nodeBuffer);
416 : :
417 : : /*
418 : : * Get index tuple from last non-empty page.
419 : : */
420 : 32037 : gistGetItupFromPage(nodeBuffer->pageBuffer, itup);
421 : :
422 : : /*
423 : : * If we just removed the last tuple from the page, fetch previous page on
424 : : * this node buffer (if any).
425 : : */
426 [ + + ]: 32037 : if (PAGE_IS_EMPTY(nodeBuffer->pageBuffer))
427 : : {
428 : : BlockNumber prevblkno;
429 : :
430 : : /*
431 : : * blocksCount includes the page in pageBuffer, so decrease it now.
432 : : */
433 : 168 : nodeBuffer->blocksCount--;
434 : :
435 : : /*
436 : : * If there's more pages, fetch previous one.
437 : : */
438 : 168 : prevblkno = nodeBuffer->pageBuffer->prev;
439 [ + + ]: 168 : if (prevblkno != InvalidBlockNumber)
440 : : {
441 : : /* There is a previous page. Fetch it. */
442 [ - + ]: 153 : Assert(nodeBuffer->blocksCount > 0);
443 : 153 : ReadTempFileBlock(gfbb->pfile, prevblkno, nodeBuffer->pageBuffer);
444 : :
445 : : /*
446 : : * Now that we've read the block in memory, we can release its
447 : : * on-disk block for reuse.
448 : : */
449 : 153 : gistBuffersReleaseBlock(gfbb, prevblkno);
450 : : }
451 : : else
452 : : {
453 : : /* No more pages. Free memory. */
454 [ - + ]: 15 : Assert(nodeBuffer->blocksCount == 0);
455 : 15 : pfree(nodeBuffer->pageBuffer);
456 : 15 : nodeBuffer->pageBuffer = NULL;
457 : : }
458 : : }
459 : 32037 : return true;
460 : : }
461 : :
462 : : /*
463 : : * Select a currently unused block for writing to.
464 : : */
465 : : static long
466 : 162 : gistBuffersGetFreeBlock(GISTBuildBuffers *gfbb)
467 : : {
468 : : /*
469 : : * If there are multiple free blocks, we select the one appearing last in
470 : : * freeBlocks[]. If there are none, assign the next block at the end of
471 : : * the file (causing the file to be extended).
472 : : */
473 [ + + ]: 162 : if (gfbb->nFreeBlocks > 0)
474 : 75 : return gfbb->freeBlocks[--gfbb->nFreeBlocks];
475 : : else
476 : 87 : return gfbb->nFileBlocks++;
477 : : }
478 : :
479 : : /*
480 : : * Return a block# to the freelist.
481 : : */
482 : : static void
483 : 162 : gistBuffersReleaseBlock(GISTBuildBuffers *gfbb, long blocknum)
484 : : {
485 : : int ndx;
486 : :
487 : : /* Enlarge freeBlocks array if full. */
488 [ - + ]: 162 : if (gfbb->nFreeBlocks >= gfbb->freeBlocksLen)
489 : : {
5213 heikki.linnakangas@i 490 :UBC 0 : gfbb->freeBlocksLen *= 2;
491 : 0 : gfbb->freeBlocks = (long *) repalloc(gfbb->freeBlocks,
492 : 0 : gfbb->freeBlocksLen *
493 : : sizeof(long));
494 : : }
495 : :
496 : : /* Add blocknum to array */
5213 heikki.linnakangas@i 497 :CBC 162 : ndx = gfbb->nFreeBlocks++;
498 : 162 : gfbb->freeBlocks[ndx] = blocknum;
499 : 162 : }
500 : :
501 : : /*
502 : : * Free buffering build data structure.
503 : : */
504 : : void
505 : 3 : gistFreeBuildBuffers(GISTBuildBuffers *gfbb)
506 : : {
507 : : /* Close buffers file. */
508 : 3 : BufFileClose(gfbb->pfile);
509 : :
510 : : /* All other things will be freed on memory context release */
511 : 3 : }
512 : :
513 : : /*
514 : : * Data structure representing information about node buffer for index tuples
515 : : * relocation from split node buffer.
516 : : */
517 : : typedef struct
518 : : {
519 : : GISTENTRY entry[INDEX_MAX_KEYS];
520 : : bool isnull[INDEX_MAX_KEYS];
521 : : GISTPageSplitInfo *splitinfo;
522 : : GISTNodeBuffer *nodeBuffer;
523 : : } RelocationBufferInfo;
524 : :
525 : : /*
526 : : * At page split, distribute tuples from the buffer of the split page to
527 : : * new buffers for the created page halves. This also adjusts the downlinks
528 : : * in 'splitinfo' to include the tuples in the buffers.
529 : : */
530 : : void
531 : 384 : gistRelocateBuildBuffersOnSplit(GISTBuildBuffers *gfbb, GISTSTATE *giststate,
532 : : Relation r, int level,
533 : : Buffer buffer, List *splitinfo)
534 : : {
535 : : RelocationBufferInfo *relocationBuffersInfos;
536 : : bool found;
537 : : GISTNodeBuffer *nodeBuffer;
538 : : BlockNumber blocknum;
539 : : IndexTuple itup;
1208 drowley@postgresql.o 540 : 384 : int splitPagesCount = 0;
541 : : GISTENTRY entry[INDEX_MAX_KEYS];
542 : : bool isnull[INDEX_MAX_KEYS];
543 : : GISTNodeBuffer oldBuf;
544 : : ListCell *lc;
545 : :
546 : : /* If the split page doesn't have buffers, we have nothing to do. */
4948 heikki.linnakangas@i 547 [ + + + - : 384 : if (!LEVEL_HAS_BUFFERS(level, gfbb))
- + ]
5213 548 : 378 : return;
549 : :
550 : : /*
551 : : * Get the node buffer of the split page.
552 : : */
553 : 6 : blocknum = BufferGetBlockNumber(buffer);
554 : 6 : nodeBuffer = hash_search(gfbb->nodeBuffersTab, &blocknum,
555 : : HASH_FIND, &found);
556 [ - + ]: 6 : if (!found)
557 : : {
558 : : /* The page has no buffer, so we have nothing to do. */
5037 heikki.linnakangas@i 559 :UBC 0 : return;
560 : : }
561 : :
562 : : /*
563 : : * Make a copy of the old buffer, as we're going reuse it as the buffer
564 : : * for the new left page, which is on the same block as the old page.
565 : : * That's not true for the root page, but that's fine because we never
566 : : * have a buffer on the root page anyway. The original algorithm as
567 : : * described by Arge et al did, but it's of no use, as you might as well
568 : : * read the tuples straight from the heap instead of the root buffer.
569 : : */
5213 heikki.linnakangas@i 570 [ - + ]:CBC 6 : Assert(blocknum != GIST_ROOT_BLKNO);
4960 571 : 6 : memcpy(&oldBuf, nodeBuffer, sizeof(GISTNodeBuffer));
572 : 6 : oldBuf.isTemp = true;
573 : :
574 : : /* Reset the old buffer, used for the new left page from now on */
5213 575 : 6 : nodeBuffer->blocksCount = 0;
576 : 6 : nodeBuffer->pageBuffer = NULL;
577 : 6 : nodeBuffer->pageBlocknum = InvalidBlockNumber;
578 : :
579 : : /*
580 : : * Allocate memory for information about relocation buffers.
581 : : */
582 : 6 : splitPagesCount = list_length(splitinfo);
6 michael@paquier.xyz 583 :GNC 6 : relocationBuffersInfos = palloc_array(RelocationBufferInfo, splitPagesCount);
584 : :
585 : : /*
586 : : * Fill relocation buffers information for node buffers of pages produced
587 : : * by split.
588 : : */
5213 heikki.linnakangas@i 589 [ + - + + :CBC 18 : foreach(lc, splitinfo)
+ + ]
590 : : {
591 : 12 : GISTPageSplitInfo *si = (GISTPageSplitInfo *) lfirst(lc);
592 : : GISTNodeBuffer *newNodeBuffer;
942 tgl@sss.pgh.pa.us 593 : 12 : int i = foreach_current_index(lc);
594 : :
595 : : /* Decompress parent index tuple of node buffer page. */
5213 heikki.linnakangas@i 596 : 12 : gistDeCompressAtt(giststate, r,
597 : : si->downlink, NULL, (OffsetNumber) 0,
598 : 12 : relocationBuffersInfos[i].entry,
599 : 12 : relocationBuffersInfos[i].isnull);
600 : :
601 : : /*
602 : : * Create a node buffer for the page. The leftmost half is on the same
603 : : * block as the old page before split, so for the leftmost half this
604 : : * will return the original buffer. The tuples on the original buffer
605 : : * were relinked to the temporary buffer, so the original one is now
606 : : * empty.
607 : : */
4948 608 : 12 : newNodeBuffer = gistGetNodeBuffer(gfbb, giststate, BufferGetBlockNumber(si->buf), level);
609 : :
5213 610 : 12 : relocationBuffersInfos[i].nodeBuffer = newNodeBuffer;
611 : 12 : relocationBuffersInfos[i].splitinfo = si;
612 : : }
613 : :
614 : : /*
615 : : * Loop through all index tuples in the buffer of the page being split,
616 : : * moving them to buffers for the new pages. We try to move each tuple to
617 : : * the page that will result in the lowest penalty for the leading column
618 : : * or, in the case of a tie, the lowest penalty for the earliest column
619 : : * that is not tied.
620 : : *
621 : : * The page searching logic is very similar to gistchoose().
622 : : */
4960 623 [ + + ]: 14877 : while (gistPopItupFromNodeBuffer(gfbb, &oldBuf, &itup))
624 : : {
625 : : float best_penalty[INDEX_MAX_KEYS];
626 : : int i,
627 : : which;
628 : : IndexTuple newtup;
629 : : RelocationBufferInfo *targetBufferInfo;
630 : :
5213 631 : 14871 : gistDeCompressAtt(giststate, r,
632 : : itup, NULL, (OffsetNumber) 0, entry, isnull);
633 : :
634 : : /* default to using first page (shouldn't matter) */
4856 tgl@sss.pgh.pa.us 635 : 14871 : which = 0;
636 : :
637 : : /*
638 : : * best_penalty[j] is the best penalty we have seen so far for column
639 : : * j, or -1 when we haven't yet examined column j. Array entries to
640 : : * the right of the first -1 are undefined.
641 : : */
642 : 14871 : best_penalty[0] = -1;
643 : :
644 : : /*
645 : : * Loop over possible target pages, looking for one to move this tuple
646 : : * to.
647 : : */
648 [ + + ]: 44607 : for (i = 0; i < splitPagesCount; i++)
649 : : {
5213 heikki.linnakangas@i 650 : 29739 : RelocationBufferInfo *splitPageInfo = &relocationBuffersInfos[i];
651 : : bool zero_penalty;
652 : : int j;
653 : :
4856 tgl@sss.pgh.pa.us 654 : 29739 : zero_penalty = true;
655 : :
656 : : /* Loop over index attributes. */
1891 657 [ + + ]: 55290 : for (j = 0; j < IndexRelationGetNumberOfKeyAttributes(r); j++)
658 : : {
659 : : float usize;
660 : :
661 : : /* Compute penalty for this column. */
5213 heikki.linnakangas@i 662 : 29739 : usize = gistpenalty(giststate, j,
663 : : &splitPageInfo->entry[j],
664 : 29739 : splitPageInfo->isnull[j],
665 : 29739 : &entry[j], isnull[j]);
4856 tgl@sss.pgh.pa.us 666 [ + + ]: 29739 : if (usize > 0)
667 : 29736 : zero_penalty = false;
668 : :
669 [ + + + + ]: 29739 : if (best_penalty[j] < 0 || usize < best_penalty[j])
670 : : {
671 : : /*
672 : : * New best penalty for column. Tentatively select this
673 : : * page as the target, and record the best penalty. Then
674 : : * reset the next column's penalty to "unknown" (and
675 : : * indirectly, the same for all the ones to its right).
676 : : * This will force us to adopt this page's penalty values
677 : : * as the best for all the remaining columns during
678 : : * subsequent loop iterations.
679 : : */
5213 heikki.linnakangas@i 680 : 25551 : which = i;
4856 tgl@sss.pgh.pa.us 681 : 25551 : best_penalty[j] = usize;
682 : :
1891 683 [ - + ]: 25551 : if (j < IndexRelationGetNumberOfKeyAttributes(r) - 1)
4856 tgl@sss.pgh.pa.us 684 :UBC 0 : best_penalty[j + 1] = -1;
685 : : }
4856 tgl@sss.pgh.pa.us 686 [ + - ]:CBC 4188 : else if (best_penalty[j] == usize)
687 : : {
688 : : /*
689 : : * The current page is exactly as good for this column as
690 : : * the best page seen so far. The next iteration of this
691 : : * loop will compare the next column.
692 : : */
693 : : }
694 : : else
695 : : {
696 : : /*
697 : : * The current page is worse for this column than the best
698 : : * page seen so far. Skip the remaining columns and move
699 : : * on to the next page, if any.
700 : : */
3100 701 : 4188 : zero_penalty = false; /* so outer loop won't exit */
5213 heikki.linnakangas@i 702 : 4188 : break;
703 : : }
704 : : }
705 : :
706 : : /*
707 : : * If we find a page with zero penalty for all columns, there's no
708 : : * need to examine remaining pages; just break out of the loop and
709 : : * return it.
710 : : */
4856 tgl@sss.pgh.pa.us 711 [ + + ]: 29739 : if (zero_penalty)
712 : 3 : break;
713 : : }
714 : :
715 : : /* OK, "which" is the page index to push the tuple to */
5213 heikki.linnakangas@i 716 : 14871 : targetBufferInfo = &relocationBuffersInfos[which];
717 : :
718 : : /* Push item to selected node buffer */
719 : 14871 : gistPushItupToNodeBuffer(gfbb, targetBufferInfo->nodeBuffer, itup);
720 : :
721 : : /* Adjust the downlink for this page, if needed. */
722 : 14871 : newtup = gistgetadjusted(r, targetBufferInfo->splitinfo->downlink,
723 : : itup, giststate);
724 [ + + ]: 14871 : if (newtup)
725 : : {
726 : 14868 : gistDeCompressAtt(giststate, r,
727 : : newtup, NULL, (OffsetNumber) 0,
728 : 14868 : targetBufferInfo->entry,
729 : 14868 : targetBufferInfo->isnull);
730 : :
731 : 14868 : targetBufferInfo->splitinfo->downlink = newtup;
732 : : }
733 : : }
734 : :
735 : 6 : pfree(relocationBuffersInfos);
736 : : }
737 : :
738 : :
739 : : /*
740 : : * Wrappers around BufFile operations. The main difference is that these
741 : : * wrappers report errors with ereport(), so that the callers don't need
742 : : * to check the return code.
743 : : */
744 : :
745 : : static void
746 : 162 : ReadTempFileBlock(BufFile *file, long blknum, void *ptr)
747 : : {
748 [ - + ]: 162 : if (BufFileSeekBlock(file, blknum) != 0)
2009 tmunro@postgresql.or 749 [ # # ]:UBC 0 : elog(ERROR, "could not seek to block %ld in temporary file", blknum);
1065 peter@eisentraut.org 750 :CBC 162 : BufFileReadExact(file, ptr, BLCKSZ);
5213 heikki.linnakangas@i 751 : 162 : }
752 : :
753 : : static void
1082 peter@eisentraut.org 754 : 162 : WriteTempFileBlock(BufFile *file, long blknum, const void *ptr)
755 : : {
5213 heikki.linnakangas@i 756 [ - + ]: 162 : if (BufFileSeekBlock(file, blknum) != 0)
2009 tmunro@postgresql.or 757 [ # # ]:UBC 0 : elog(ERROR, "could not seek to block %ld in temporary file", blknum);
2009 tmunro@postgresql.or 758 :CBC 162 : BufFileWrite(file, ptr, BLCKSZ);
5213 heikki.linnakangas@i 759 : 162 : }
|
