Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * ginbulk.c
4 : : * routines for fast build of inverted index
5 : : *
6 : : *
7 : : * Portions Copyright (c) 1996-2025, PostgreSQL Global Development Group
8 : : * Portions Copyright (c) 1994, Regents of the University of California
9 : : *
10 : : * IDENTIFICATION
11 : : * src/backend/access/gin/ginbulk.c
12 : : *-------------------------------------------------------------------------
13 : : */
14 : :
15 : : #include "postgres.h"
16 : :
17 : : #include <limits.h>
18 : :
19 : : #include "access/gin_private.h"
20 : : #include "utils/datum.h"
21 : : #include "utils/memutils.h"
22 : :
23 : :
24 : : #define DEF_NENTRY 2048 /* GinEntryAccumulator allocation quantum */
25 : : #define DEF_NPTR 5 /* ItemPointer initial allocation quantum */
26 : :
27 : :
28 : : /* Combiner function for rbtree.c */
29 : : static void
2496 tgl@sss.pgh.pa.us 30 :CBC 1237093 : ginCombineData(RBTNode *existing, const RBTNode *newdata, void *arg)
31 : : {
5356 32 : 1237093 : GinEntryAccumulator *eo = (GinEntryAccumulator *) existing;
33 : 1237093 : const GinEntryAccumulator *en = (const GinEntryAccumulator *) newdata;
5671 bruce@momjian.us 34 : 1237093 : BuildAccumulator *accum = (BuildAccumulator *) arg;
35 : :
36 : : /*
37 : : * Note this code assumes that newdata contains only one itempointer.
38 : : */
5356 tgl@sss.pgh.pa.us 39 [ + + ]: 1237093 : if (eo->count >= eo->maxcount)
40 : : {
3657 teodor@sigaev.ru 41 [ - + ]: 44026 : if (eo->maxcount > INT_MAX)
3657 teodor@sigaev.ru 42 [ # # ]:UBC 0 : ereport(ERROR,
43 : : (errcode(ERRCODE_PROGRAM_LIMIT_EXCEEDED),
44 : : errmsg("posting list is too long"),
45 : : errhint("Reduce \"maintenance_work_mem\".")));
46 : :
5686 teodor@sigaev.ru 47 :CBC 44026 : accum->allocatedMemory -= GetMemoryChunkSpace(eo->list);
5356 tgl@sss.pgh.pa.us 48 : 44026 : eo->maxcount *= 2;
49 : 44026 : eo->list = (ItemPointerData *)
3657 teodor@sigaev.ru 50 : 44026 : repalloc_huge(eo->list, sizeof(ItemPointerData) * eo->maxcount);
5686 51 : 44026 : accum->allocatedMemory += GetMemoryChunkSpace(eo->list);
52 : : }
53 : :
54 : : /* If item pointers are not ordered, they will need to be sorted later */
2943 peter_e@gmx.net 55 [ + - ]: 1237093 : if (eo->shouldSort == false)
56 : : {
57 : : int res;
58 : :
5356 tgl@sss.pgh.pa.us 59 : 1237093 : res = ginCompareItemPointers(eo->list + eo->count - 1, en->list);
6912 bruce@momjian.us 60 [ - + ]: 1237093 : Assert(res != 0);
61 : :
62 [ - + ]: 1237093 : if (res > 0)
2943 peter_e@gmx.net 63 :UBC 0 : eo->shouldSort = true;
64 : : }
65 : :
5356 tgl@sss.pgh.pa.us 66 :CBC 1237093 : eo->list[eo->count] = en->list[0];
67 : 1237093 : eo->count++;
5686 teodor@sigaev.ru 68 : 1237093 : }
69 : :
70 : : /* Comparator function for rbtree.c */
71 : : static int
2496 tgl@sss.pgh.pa.us 72 : 14442788 : cmpEntryAccumulator(const RBTNode *a, const RBTNode *b, void *arg)
73 : : {
5356 74 : 14442788 : const GinEntryAccumulator *ea = (const GinEntryAccumulator *) a;
75 : 14442788 : const GinEntryAccumulator *eb = (const GinEntryAccumulator *) b;
5671 bruce@momjian.us 76 : 14442788 : BuildAccumulator *accum = (BuildAccumulator *) arg;
77 : :
5356 tgl@sss.pgh.pa.us 78 : 28885576 : return ginCompareAttEntries(accum->ginstate,
79 : 14442788 : ea->attnum, ea->key, ea->category,
80 : 14442788 : eb->attnum, eb->key, eb->category);
81 : : }
82 : :
83 : : /* Allocator function for rbtree.c */
84 : : static RBTNode *
5515 85 : 259386 : ginAllocEntryAccumulator(void *arg)
86 : : {
87 : 259386 : BuildAccumulator *accum = (BuildAccumulator *) arg;
88 : : GinEntryAccumulator *ea;
89 : :
90 : : /*
91 : : * Allocate memory by rather big chunks to decrease overhead. We have no
92 : : * need to reclaim RBTNodes individually, so this costs nothing.
93 : : */
5356 94 [ + + + + ]: 259386 : if (accum->entryallocator == NULL || accum->eas_used >= DEF_NENTRY)
95 : : {
96 : 293 : accum->entryallocator = palloc(sizeof(GinEntryAccumulator) * DEF_NENTRY);
5515 97 : 293 : accum->allocatedMemory += GetMemoryChunkSpace(accum->entryallocator);
5356 98 : 293 : accum->eas_used = 0;
99 : : }
100 : :
101 : : /* Allocate new RBTNode from current chunk */
102 : 259386 : ea = accum->entryallocator + accum->eas_used;
103 : 259386 : accum->eas_used++;
104 : :
2496 105 : 259386 : return (RBTNode *) ea;
106 : : }
107 : :
108 : : void
5686 teodor@sigaev.ru 109 : 221 : ginInitBA(BuildAccumulator *accum)
110 : : {
111 : : /* accum->ginstate is intentionally not set here */
112 : 221 : accum->allocatedMemory = 0;
113 : 221 : accum->entryallocator = NULL;
5356 tgl@sss.pgh.pa.us 114 : 221 : accum->eas_used = 0;
2496 115 : 221 : accum->tree = rbt_create(sizeof(GinEntryAccumulator),
116 : : cmpEntryAccumulator,
117 : : ginCombineData,
118 : : ginAllocEntryAccumulator,
119 : : NULL, /* no freefunc needed */
120 : : accum);
7067 teodor@sigaev.ru 121 : 221 : }
122 : :
123 : : /*
124 : : * This is basically the same as datumCopy(), but extended to count
125 : : * palloc'd space in accum->allocatedMemory.
126 : : */
127 : : static Datum
6266 tgl@sss.pgh.pa.us 128 : 259312 : getDatumCopy(BuildAccumulator *accum, OffsetNumber attnum, Datum value)
129 : : {
130 : : CompactAttribute *att;
131 : : Datum res;
132 : :
260 drowley@postgresql.o 133 : 259312 : att = TupleDescCompactAttr(accum->ginstate->origTupdesc, attnum - 1);
6266 tgl@sss.pgh.pa.us 134 [ + + ]: 259312 : if (att->attbyval)
6992 135 : 249838 : res = value;
136 : : else
137 : : {
6266 138 : 9474 : res = datumCopy(value, false, att->attlen);
6278 139 : 9474 : accum->allocatedMemory += GetMemoryChunkSpace(DatumGetPointer(res));
140 : : }
6992 141 : 259312 : return res;
142 : : }
143 : :
144 : : /*
145 : : * Find/store one entry from indexed value.
146 : : */
147 : : static void
5356 148 : 1496479 : ginInsertBAEntry(BuildAccumulator *accum,
149 : : ItemPointer heapptr, OffsetNumber attnum,
150 : : Datum key, GinNullCategory category)
151 : : {
152 : : GinEntryAccumulator eatmp;
153 : : GinEntryAccumulator *ea;
154 : : bool isNew;
155 : :
156 : : /*
157 : : * For the moment, fill only the fields of eatmp that will be looked at by
158 : : * cmpEntryAccumulator or ginCombineData.
159 : : */
160 : 1496479 : eatmp.attnum = attnum;
161 : 1496479 : eatmp.key = key;
162 : 1496479 : eatmp.category = category;
163 : : /* temporarily set up single-entry itempointer list */
164 : 1496479 : eatmp.list = heapptr;
165 : :
2496 166 : 1496479 : ea = (GinEntryAccumulator *) rbt_insert(accum->tree, (RBTNode *) &eatmp,
167 : : &isNew);
168 : :
5515 169 [ + + ]: 1496479 : if (isNew)
170 : : {
171 : : /*
172 : : * Finish initializing new tree entry, including making permanent
173 : : * copies of the datum (if it's not null) and itempointer.
174 : : */
5356 175 [ + + ]: 259386 : if (category == GIN_CAT_NORM_KEY)
176 : 259312 : ea->key = getDatumCopy(accum, attnum, key);
177 : 259386 : ea->maxcount = DEF_NPTR;
178 : 259386 : ea->count = 1;
2943 peter_e@gmx.net 179 : 259386 : ea->shouldSort = false;
5515 tgl@sss.pgh.pa.us 180 : 259386 : ea->list =
181 : 259386 : (ItemPointerData *) palloc(sizeof(ItemPointerData) * DEF_NPTR);
182 : 259386 : ea->list[0] = *heapptr;
183 : 259386 : accum->allocatedMemory += GetMemoryChunkSpace(ea->list);
184 : : }
185 : : else
186 : : {
187 : : /*
188 : : * ginCombineData did everything needed.
189 : : */
190 : : }
6997 teodor@sigaev.ru 191 : 1496479 : }
192 : :
193 : : /*
194 : : * Insert the entries for one heap pointer.
195 : : *
196 : : * Since the entries are being inserted into a balanced binary tree, you
197 : : * might think that the order of insertion wouldn't be critical, but it turns
198 : : * out that inserting the entries in sorted order results in a lot of
199 : : * rebalancing operations and is slow. To prevent this, we attempt to insert
200 : : * the nodes in an order that will produce a nearly-balanced tree if the input
201 : : * is in fact sorted.
202 : : *
203 : : * We do this as follows. First, we imagine that we have an array whose size
204 : : * is the smallest power of two greater than or equal to the actual array
205 : : * size. Second, we insert the middle entry of our virtual array into the
206 : : * tree; then, we insert the middles of each half of our virtual array, then
207 : : * middles of quarters, etc.
208 : : */
209 : : void
5356 tgl@sss.pgh.pa.us 210 : 661981 : ginInsertBAEntries(BuildAccumulator *accum,
211 : : ItemPointer heapptr, OffsetNumber attnum,
212 : : Datum *entries, GinNullCategory *categories,
213 : : int32 nentries)
214 : : {
215 : 661981 : uint32 step = nentries;
216 : :
217 [ - + ]: 661981 : if (nentries <= 0)
6997 teodor@sigaev.ru 218 :UBC 0 : return;
219 : :
6010 tgl@sss.pgh.pa.us 220 [ + - - + ]:CBC 661981 : Assert(ItemPointerIsValid(heapptr) && attnum >= FirstOffsetNumber);
221 : :
222 : : /*
223 : : * step will contain largest power of 2 and <= nentries
224 : : */
5671 bruce@momjian.us 225 : 661981 : step |= (step >> 1);
226 : 661981 : step |= (step >> 2);
227 : 661981 : step |= (step >> 4);
228 : 661981 : step |= (step >> 8);
5686 teodor@sigaev.ru 229 : 661981 : step |= (step >> 16);
230 : 661981 : step >>= 1;
5671 bruce@momjian.us 231 : 661981 : step++;
232 : :
233 [ + + ]: 1660779 : while (step > 0)
234 : : {
235 : : int i;
236 : :
5356 tgl@sss.pgh.pa.us 237 [ + + + - ]: 2495277 : for (i = step - 1; i < nentries && i >= 0; i += step << 1 /* *2 */ )
238 : 1496479 : ginInsertBAEntry(accum, heapptr, attnum,
239 : 1496479 : entries[i], categories[i]);
240 : :
5671 bruce@momjian.us 241 : 998798 : step >>= 1; /* /2 */
242 : : }
243 : : }
244 : :
245 : : static int
6912 bruce@momjian.us 246 :UBC 0 : qsortCompareItemPointers(const void *a, const void *b)
247 : : {
5438 tgl@sss.pgh.pa.us 248 : 0 : int res = ginCompareItemPointers((ItemPointer) a, (ItemPointer) b);
249 : :
250 : : /* Assert that there are no equal item pointers being sorted */
6912 bruce@momjian.us 251 [ # # ]: 0 : Assert(res != 0);
7067 teodor@sigaev.ru 252 : 0 : return res;
253 : : }
254 : :
255 : : /* Prepare to read out the rbtree contents using ginGetBAEntry */
256 : : void
5515 tgl@sss.pgh.pa.us 257 :CBC 221 : ginBeginBAScan(BuildAccumulator *accum)
258 : : {
2496 259 : 221 : rbt_begin_iterate(accum->tree, LeftRightWalk, &accum->tree_walk);
5515 260 : 221 : }
261 : :
262 : : /*
263 : : * Get the next entry in sequence from the BuildAccumulator's rbtree.
264 : : * This consists of a single key datum and a list (array) of one or more
265 : : * heap TIDs in which that key is found. The list is guaranteed sorted.
266 : : */
267 : : ItemPointerData *
5356 268 : 259607 : ginGetBAEntry(BuildAccumulator *accum,
269 : : OffsetNumber *attnum, Datum *key, GinNullCategory *category,
270 : : uint32 *n)
271 : : {
272 : : GinEntryAccumulator *entry;
273 : : ItemPointerData *list;
274 : :
2496 275 : 259607 : entry = (GinEntryAccumulator *) rbt_iterate(&accum->tree_walk);
276 : :
6912 bruce@momjian.us 277 [ + + ]: 259607 : if (entry == NULL)
5356 tgl@sss.pgh.pa.us 278 : 221 : return NULL; /* no more entries */
279 : :
6266 280 : 259386 : *attnum = entry->attnum;
5356 281 : 259386 : *key = entry->key;
282 : 259386 : *category = entry->category;
6912 bruce@momjian.us 283 : 259386 : list = entry->list;
5356 tgl@sss.pgh.pa.us 284 : 259386 : *n = entry->count;
285 : :
286 [ + - - + ]: 259386 : Assert(list != NULL && entry->count > 0);
287 : :
288 [ - + - - ]: 259386 : if (entry->shouldSort && entry->count > 1)
5356 tgl@sss.pgh.pa.us 289 :UBC 0 : qsort(list, entry->count, sizeof(ItemPointerData),
290 : : qsortCompareItemPointers);
291 : :
7067 teodor@sigaev.ru 292 :CBC 259386 : return list;
293 : : }
|
