Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * copyto.c
4 : : * COPY <table> TO file/program/client
5 : : *
6 : : * Portions Copyright (c) 1996-2025, PostgreSQL Global Development Group
7 : : * Portions Copyright (c) 1994, Regents of the University of California
8 : : *
9 : : *
10 : : * IDENTIFICATION
11 : : * src/backend/commands/copyto.c
12 : : *
13 : : *-------------------------------------------------------------------------
14 : : */
15 : : #include "postgres.h"
16 : :
17 : : #include <ctype.h>
18 : : #include <unistd.h>
19 : : #include <sys/stat.h>
20 : :
21 : : #include "access/table.h"
22 : : #include "access/tableam.h"
23 : : #include "catalog/pg_inherits.h"
24 : : #include "commands/copyapi.h"
25 : : #include "commands/progress.h"
26 : : #include "executor/execdesc.h"
27 : : #include "executor/executor.h"
28 : : #include "executor/tuptable.h"
29 : : #include "libpq/libpq.h"
30 : : #include "libpq/pqformat.h"
31 : : #include "mb/pg_wchar.h"
32 : : #include "miscadmin.h"
33 : : #include "pgstat.h"
34 : : #include "storage/fd.h"
35 : : #include "tcop/tcopprot.h"
36 : : #include "utils/lsyscache.h"
37 : : #include "utils/memutils.h"
38 : : #include "utils/rel.h"
39 : : #include "utils/snapmgr.h"
40 : :
41 : : /*
42 : : * Represents the different dest cases we need to worry about at
43 : : * the bottom level
44 : : */
45 : : typedef enum CopyDest
46 : : {
47 : : COPY_FILE, /* to file (or a piped program) */
48 : : COPY_FRONTEND, /* to frontend */
49 : : COPY_CALLBACK, /* to callback function */
50 : : } CopyDest;
51 : :
52 : : /*
53 : : * This struct contains all the state variables used throughout a COPY TO
54 : : * operation.
55 : : *
56 : : * Multi-byte encodings: all supported client-side encodings encode multi-byte
57 : : * characters by having the first byte's high bit set. Subsequent bytes of the
58 : : * character can have the high bit not set. When scanning data in such an
59 : : * encoding to look for a match to a single-byte (ie ASCII) character, we must
60 : : * use the full pg_encoding_mblen() machinery to skip over multibyte
61 : : * characters, else we might find a false match to a trailing byte. In
62 : : * supported server encodings, there is no possibility of a false match, and
63 : : * it's faster to make useless comparisons to trailing bytes than it is to
64 : : * invoke pg_encoding_mblen() to skip over them. encoding_embeds_ascii is true
65 : : * when we have to do it the hard way.
66 : : */
67 : : typedef struct CopyToStateData
68 : : {
69 : : /* format-specific routines */
70 : : const CopyToRoutine *routine;
71 : :
72 : : /* low-level state data */
73 : : CopyDest copy_dest; /* type of copy source/destination */
74 : : FILE *copy_file; /* used if copy_dest == COPY_FILE */
75 : : StringInfo fe_msgbuf; /* used for all dests during COPY TO */
76 : :
77 : : int file_encoding; /* file or remote side's character encoding */
78 : : bool need_transcoding; /* file encoding diff from server? */
79 : : bool encoding_embeds_ascii; /* ASCII can be non-first byte? */
80 : :
81 : : /* parameters from the COPY command */
82 : : Relation rel; /* relation to copy to */
83 : : QueryDesc *queryDesc; /* executable query to copy from */
84 : : List *attnumlist; /* integer list of attnums to copy */
85 : : char *filename; /* filename, or NULL for STDOUT */
86 : : bool is_program; /* is 'filename' a program to popen? */
87 : : copy_data_dest_cb data_dest_cb; /* function for writing data */
88 : :
89 : : CopyFormatOptions opts;
90 : : Node *whereClause; /* WHERE condition (or NULL) */
91 : : List *partitions; /* OID list of partitions to copy data from */
92 : :
93 : : /*
94 : : * Working state
95 : : */
96 : : MemoryContext copycontext; /* per-copy execution context */
97 : :
98 : : FmgrInfo *out_functions; /* lookup info for output functions */
99 : : MemoryContext rowcontext; /* per-row evaluation context */
100 : : uint64 bytes_processed; /* number of bytes processed so far */
101 : : } CopyToStateData;
102 : :
103 : : /* DestReceiver for COPY (query) TO */
104 : : typedef struct
105 : : {
106 : : DestReceiver pub; /* publicly-known function pointers */
107 : : CopyToState cstate; /* CopyToStateData for the command */
108 : : uint64 processed; /* # of tuples processed */
109 : : } DR_copy;
110 : :
111 : : /* NOTE: there's a copy of this in copyfromparse.c */
112 : : static const char BinarySignature[11] = "PGCOPY\n\377\r\n\0";
113 : :
114 : :
115 : : /* non-export function prototypes */
116 : : static void EndCopy(CopyToState cstate);
117 : : static void ClosePipeToProgram(CopyToState cstate);
118 : : static void CopyOneRowTo(CopyToState cstate, TupleTableSlot *slot);
119 : : static void CopyAttributeOutText(CopyToState cstate, const char *string);
120 : : static void CopyAttributeOutCSV(CopyToState cstate, const char *string,
121 : : bool use_quote);
122 : : static void CopyRelationTo(CopyToState cstate, Relation rel, Relation root_rel,
123 : : uint64 *processed);
124 : :
125 : : /* built-in format-specific routines */
126 : : static void CopyToTextLikeStart(CopyToState cstate, TupleDesc tupDesc);
127 : : static void CopyToTextLikeOutFunc(CopyToState cstate, Oid atttypid, FmgrInfo *finfo);
128 : : static void CopyToTextOneRow(CopyToState cstate, TupleTableSlot *slot);
129 : : static void CopyToCSVOneRow(CopyToState cstate, TupleTableSlot *slot);
130 : : static void CopyToTextLikeOneRow(CopyToState cstate, TupleTableSlot *slot,
131 : : bool is_csv);
132 : : static void CopyToTextLikeEnd(CopyToState cstate);
133 : : static void CopyToBinaryStart(CopyToState cstate, TupleDesc tupDesc);
134 : : static void CopyToBinaryOutFunc(CopyToState cstate, Oid atttypid, FmgrInfo *finfo);
135 : : static void CopyToBinaryOneRow(CopyToState cstate, TupleTableSlot *slot);
136 : : static void CopyToBinaryEnd(CopyToState cstate);
137 : :
138 : : /* Low-level communications functions */
139 : : static void SendCopyBegin(CopyToState cstate);
140 : : static void SendCopyEnd(CopyToState cstate);
141 : : static void CopySendData(CopyToState cstate, const void *databuf, int datasize);
142 : : static void CopySendString(CopyToState cstate, const char *str);
143 : : static void CopySendChar(CopyToState cstate, char c);
144 : : static void CopySendEndOfRow(CopyToState cstate);
145 : : static void CopySendTextLikeEndOfRow(CopyToState cstate);
146 : : static void CopySendInt32(CopyToState cstate, int32 val);
147 : : static void CopySendInt16(CopyToState cstate, int16 val);
148 : :
149 : : /*
150 : : * COPY TO routines for built-in formats.
151 : : *
152 : : * CSV and text formats share the same TextLike routines except for the
153 : : * one-row callback.
154 : : */
155 : :
156 : : /* text format */
157 : : static const CopyToRoutine CopyToRoutineText = {
158 : : .CopyToStart = CopyToTextLikeStart,
159 : : .CopyToOutFunc = CopyToTextLikeOutFunc,
160 : : .CopyToOneRow = CopyToTextOneRow,
161 : : .CopyToEnd = CopyToTextLikeEnd,
162 : : };
163 : :
164 : : /* CSV format */
165 : : static const CopyToRoutine CopyToRoutineCSV = {
166 : : .CopyToStart = CopyToTextLikeStart,
167 : : .CopyToOutFunc = CopyToTextLikeOutFunc,
168 : : .CopyToOneRow = CopyToCSVOneRow,
169 : : .CopyToEnd = CopyToTextLikeEnd,
170 : : };
171 : :
172 : : /* binary format */
173 : : static const CopyToRoutine CopyToRoutineBinary = {
174 : : .CopyToStart = CopyToBinaryStart,
175 : : .CopyToOutFunc = CopyToBinaryOutFunc,
176 : : .CopyToOneRow = CopyToBinaryOneRow,
177 : : .CopyToEnd = CopyToBinaryEnd,
178 : : };
179 : :
180 : : /* Return a COPY TO routine for the given options */
181 : : static const CopyToRoutine *
237 msawada@postgresql.o 182 :CBC 4638 : CopyToGetRoutine(const CopyFormatOptions *opts)
183 : : {
184 [ + + ]: 4638 : if (opts->csv_mode)
242 185 : 63 : return &CopyToRoutineCSV;
237 186 [ + + ]: 4575 : else if (opts->binary)
242 187 : 8 : return &CopyToRoutineBinary;
188 : :
189 : : /* default is text */
190 : 4567 : return &CopyToRoutineText;
191 : : }
192 : :
193 : : /* Implementation of the start callback for text and CSV formats */
194 : : static void
195 : 4563 : CopyToTextLikeStart(CopyToState cstate, TupleDesc tupDesc)
196 : : {
197 : : /*
198 : : * For non-binary copy, we need to convert null_print to file encoding,
199 : : * because it will be sent directly with CopySendString.
200 : : */
201 [ + + ]: 4563 : if (cstate->need_transcoding)
202 : 1 : cstate->opts.null_print_client = pg_server_to_any(cstate->opts.null_print,
203 : : cstate->opts.null_print_len,
204 : : cstate->file_encoding);
205 : :
206 : : /* if a header has been requested send the line */
116 fujii@postgresql.org 207 [ + + ]:GNC 4563 : if (cstate->opts.header_line == COPY_HEADER_TRUE)
208 : : {
209 : : ListCell *cur;
242 msawada@postgresql.o 210 :CBC 18 : bool hdr_delim = false;
211 : :
212 [ + - + + : 48 : foreach(cur, cstate->attnumlist)
+ + ]
213 : : {
214 : 30 : int attnum = lfirst_int(cur);
215 : : char *colname;
216 : :
217 [ + + ]: 30 : if (hdr_delim)
218 : 12 : CopySendChar(cstate, cstate->opts.delim[0]);
219 : 30 : hdr_delim = true;
220 : :
221 : 30 : colname = NameStr(TupleDescAttr(tupDesc, attnum - 1)->attname);
222 : :
223 [ + + ]: 30 : if (cstate->opts.csv_mode)
224 : 12 : CopyAttributeOutCSV(cstate, colname, false);
225 : : else
226 : 18 : CopyAttributeOutText(cstate, colname);
227 : : }
228 : :
229 : 18 : CopySendTextLikeEndOfRow(cstate);
230 : : }
231 : 4563 : }
232 : :
233 : : /*
234 : : * Implementation of the outfunc callback for text and CSV formats. Assign
235 : : * the output function data to the given *finfo.
236 : : */
237 : : static void
238 : 15917 : CopyToTextLikeOutFunc(CopyToState cstate, Oid atttypid, FmgrInfo *finfo)
239 : : {
240 : : Oid func_oid;
241 : : bool is_varlena;
242 : :
243 : : /* Set output function for an attribute */
244 : 15917 : getTypeOutputInfo(atttypid, &func_oid, &is_varlena);
245 : 15917 : fmgr_info(func_oid, finfo);
246 : 15917 : }
247 : :
248 : : /* Implementation of the per-row callback for text format */
249 : : static void
250 : 1828961 : CopyToTextOneRow(CopyToState cstate, TupleTableSlot *slot)
251 : : {
252 : 1828961 : CopyToTextLikeOneRow(cstate, slot, false);
253 : 1828961 : }
254 : :
255 : : /* Implementation of the per-row callback for CSV format */
256 : : static void
257 : 165 : CopyToCSVOneRow(CopyToState cstate, TupleTableSlot *slot)
258 : : {
259 : 165 : CopyToTextLikeOneRow(cstate, slot, true);
260 : 165 : }
261 : :
262 : : /*
263 : : * Workhorse for CopyToTextOneRow() and CopyToCSVOneRow().
264 : : *
265 : : * We use pg_attribute_always_inline to reduce function call overhead
266 : : * and to help compilers to optimize away the 'is_csv' condition.
267 : : */
268 : : static pg_attribute_always_inline void
269 : 1829126 : CopyToTextLikeOneRow(CopyToState cstate,
270 : : TupleTableSlot *slot,
271 : : bool is_csv)
272 : : {
273 : 1829126 : bool need_delim = false;
274 : 1829126 : FmgrInfo *out_functions = cstate->out_functions;
275 : :
276 [ + + + + : 10747099 : foreach_int(attnum, cstate->attnumlist)
+ + ]
277 : : {
278 : 7088847 : Datum value = slot->tts_values[attnum - 1];
279 : 7088847 : bool isnull = slot->tts_isnull[attnum - 1];
280 : :
281 [ + + ]: 7088847 : if (need_delim)
282 : 5259786 : CopySendChar(cstate, cstate->opts.delim[0]);
283 : 7088847 : need_delim = true;
284 : :
285 [ + + ]: 7088847 : if (isnull)
286 : : {
287 : 598282 : CopySendString(cstate, cstate->opts.null_print_client);
288 : : }
289 : : else
290 : : {
291 : : char *string;
292 : :
293 : 6490565 : string = OutputFunctionCall(&out_functions[attnum - 1],
294 : : value);
295 : :
296 [ + + ]: 6490565 : if (is_csv)
297 : 297 : CopyAttributeOutCSV(cstate, string,
298 : 297 : cstate->opts.force_quote_flags[attnum - 1]);
299 : : else
300 : 6490268 : CopyAttributeOutText(cstate, string);
301 : : }
302 : : }
303 : :
304 : 1829126 : CopySendTextLikeEndOfRow(cstate);
305 : 1829126 : }
306 : :
307 : : /* Implementation of the end callback for text and CSV formats */
308 : : static void
309 : 4563 : CopyToTextLikeEnd(CopyToState cstate)
310 : : {
311 : : /* Nothing to do here */
312 : 4563 : }
313 : :
314 : : /*
315 : : * Implementation of the start callback for binary format. Send a header
316 : : * for a binary copy.
317 : : */
318 : : static void
319 : 7 : CopyToBinaryStart(CopyToState cstate, TupleDesc tupDesc)
320 : : {
321 : : int32 tmp;
322 : :
323 : : /* Signature */
324 : 7 : CopySendData(cstate, BinarySignature, 11);
325 : : /* Flags field */
326 : 7 : tmp = 0;
327 : 7 : CopySendInt32(cstate, tmp);
328 : : /* No header extension */
329 : 7 : tmp = 0;
330 : 7 : CopySendInt32(cstate, tmp);
331 : 7 : }
332 : :
333 : : /*
334 : : * Implementation of the outfunc callback for binary format. Assign
335 : : * the binary output function to the given *finfo.
336 : : */
337 : : static void
338 : 31 : CopyToBinaryOutFunc(CopyToState cstate, Oid atttypid, FmgrInfo *finfo)
339 : : {
340 : : Oid func_oid;
341 : : bool is_varlena;
342 : :
343 : : /* Set output function for an attribute */
344 : 31 : getTypeBinaryOutputInfo(atttypid, &func_oid, &is_varlena);
345 : 30 : fmgr_info(func_oid, finfo);
346 : 30 : }
347 : :
348 : : /* Implementation of the per-row callback for binary format */
349 : : static void
350 : 16 : CopyToBinaryOneRow(CopyToState cstate, TupleTableSlot *slot)
351 : : {
352 : 16 : FmgrInfo *out_functions = cstate->out_functions;
353 : :
354 : : /* Binary per-tuple header */
355 : 16 : CopySendInt16(cstate, list_length(cstate->attnumlist));
356 : :
357 [ + - + + : 112 : foreach_int(attnum, cstate->attnumlist)
+ + ]
358 : : {
359 : 80 : Datum value = slot->tts_values[attnum - 1];
360 : 80 : bool isnull = slot->tts_isnull[attnum - 1];
361 : :
362 [ + + ]: 80 : if (isnull)
363 : : {
364 : 15 : CopySendInt32(cstate, -1);
365 : : }
366 : : else
367 : : {
368 : : bytea *outputbytes;
369 : :
370 : 65 : outputbytes = SendFunctionCall(&out_functions[attnum - 1],
371 : : value);
372 : 65 : CopySendInt32(cstate, VARSIZE(outputbytes) - VARHDRSZ);
373 : 65 : CopySendData(cstate, VARDATA(outputbytes),
374 : 65 : VARSIZE(outputbytes) - VARHDRSZ);
375 : : }
376 : : }
377 : :
378 : 16 : CopySendEndOfRow(cstate);
379 : 16 : }
380 : :
381 : : /* Implementation of the end callback for binary format */
382 : : static void
383 : 7 : CopyToBinaryEnd(CopyToState cstate)
384 : : {
385 : : /* Generate trailer for a binary copy */
386 : 7 : CopySendInt16(cstate, -1);
387 : : /* Need to flush out the trailer */
388 : 7 : CopySendEndOfRow(cstate);
389 : 7 : }
390 : :
391 : : /*
392 : : * Send copy start/stop messages for frontend copies. These have changed
393 : : * in past protocol redesigns.
394 : : */
395 : : static void
1799 heikki.linnakangas@i 396 : 4539 : SendCopyBegin(CopyToState cstate)
397 : : {
398 : : StringInfoData buf;
1698 399 : 4539 : int natts = list_length(cstate->attnumlist);
400 : 4539 : int16 format = (cstate->opts.binary ? 1 : 0);
401 : : int i;
402 : :
797 nathan@postgresql.or 403 : 4539 : pq_beginmessage(&buf, PqMsg_CopyOutResponse);
1698 heikki.linnakangas@i 404 : 4539 : pq_sendbyte(&buf, format); /* overall format */
405 : 4539 : pq_sendint16(&buf, natts);
406 [ + + ]: 20371 : for (i = 0; i < natts; i++)
407 : 15832 : pq_sendint16(&buf, format); /* per-column formats */
408 : 4539 : pq_endmessage(&buf);
409 : 4539 : cstate->copy_dest = COPY_FRONTEND;
1799 410 : 4539 : }
411 : :
412 : : static void
413 : 4538 : SendCopyEnd(CopyToState cstate)
414 : : {
415 : : /* Shouldn't have any unsent data */
1698 416 [ - + ]: 4538 : Assert(cstate->fe_msgbuf->len == 0);
417 : : /* Send Copy Done message */
797 nathan@postgresql.or 418 : 4538 : pq_putemptymessage(PqMsg_CopyDone);
1799 heikki.linnakangas@i 419 : 4538 : }
420 : :
421 : : /*----------
422 : : * CopySendData sends output data to the destination (file or frontend)
423 : : * CopySendString does the same for null-terminated strings
424 : : * CopySendChar does the same for single characters
425 : : * CopySendEndOfRow does the appropriate thing at end of each data row
426 : : * (data is not actually flushed except by CopySendEndOfRow)
427 : : *
428 : : * NB: no data conversion is applied by these functions
429 : : *----------
430 : : */
431 : : static void
432 : 6391138 : CopySendData(CopyToState cstate, const void *databuf, int datasize)
433 : : {
434 : 6391138 : appendBinaryStringInfo(cstate->fe_msgbuf, databuf, datasize);
435 : 6391138 : }
436 : :
437 : : static void
438 : 598429 : CopySendString(CopyToState cstate, const char *str)
439 : : {
440 : 598429 : appendBinaryStringInfo(cstate->fe_msgbuf, str, strlen(str));
441 : 598429 : }
442 : :
443 : : static void
444 : 7105487 : CopySendChar(CopyToState cstate, char c)
445 : : {
446 [ + + ]: 7105487 : appendStringInfoCharMacro(cstate->fe_msgbuf, c);
447 : 7105487 : }
448 : :
449 : : static void
450 : 1829167 : CopySendEndOfRow(CopyToState cstate)
451 : : {
452 : 1829167 : StringInfo fe_msgbuf = cstate->fe_msgbuf;
453 : :
454 [ + + + - ]: 1829167 : switch (cstate->copy_dest)
455 : : {
456 : 6141 : case COPY_FILE:
457 [ + - ]: 6141 : if (fwrite(fe_msgbuf->data, fe_msgbuf->len, 1,
458 [ - + ]: 6141 : cstate->copy_file) != 1 ||
459 : 6141 : ferror(cstate->copy_file))
460 : : {
1799 heikki.linnakangas@i 461 [ # # ]:UBC 0 : if (cstate->is_program)
462 : : {
463 [ # # ]: 0 : if (errno == EPIPE)
464 : : {
465 : : /*
466 : : * The pipe will be closed automatically on error at
467 : : * the end of transaction, but we might get a better
468 : : * error message from the subprocess' exit code than
469 : : * just "Broken Pipe"
470 : : */
471 : 0 : ClosePipeToProgram(cstate);
472 : :
473 : : /*
474 : : * If ClosePipeToProgram() didn't throw an error, the
475 : : * program terminated normally, but closed the pipe
476 : : * first. Restore errno, and throw an error.
477 : : */
478 : 0 : errno = EPIPE;
479 : : }
480 [ # # ]: 0 : ereport(ERROR,
481 : : (errcode_for_file_access(),
482 : : errmsg("could not write to COPY program: %m")));
483 : : }
484 : : else
485 [ # # ]: 0 : ereport(ERROR,
486 : : (errcode_for_file_access(),
487 : : errmsg("could not write to COPY file: %m")));
488 : : }
1799 heikki.linnakangas@i 489 :CBC 6141 : break;
1698 490 : 1823023 : case COPY_FRONTEND:
491 : : /* Dump the accumulated row as one CopyData message */
797 nathan@postgresql.or 492 : 1823023 : (void) pq_putmessage(PqMsg_CopyData, fe_msgbuf->data, fe_msgbuf->len);
1799 heikki.linnakangas@i 493 : 1823023 : break;
1112 michael@paquier.xyz 494 : 3 : case COPY_CALLBACK:
495 : 3 : cstate->data_dest_cb(fe_msgbuf->data, fe_msgbuf->len);
496 : 3 : break;
497 : : }
498 : :
499 : : /* Update the progress */
1755 tomas.vondra@postgre 500 : 1829167 : cstate->bytes_processed += fe_msgbuf->len;
501 : 1829167 : pgstat_progress_update_param(PROGRESS_COPY_BYTES_PROCESSED, cstate->bytes_processed);
502 : :
1799 heikki.linnakangas@i 503 : 1829167 : resetStringInfo(fe_msgbuf);
504 : 1829167 : }
505 : :
506 : : /*
507 : : * Wrapper function of CopySendEndOfRow for text and CSV formats. Sends the
508 : : * line termination and do common appropriate things for the end of row.
509 : : */
510 : : static inline void
242 msawada@postgresql.o 511 : 1829144 : CopySendTextLikeEndOfRow(CopyToState cstate)
512 : : {
513 [ + + + ]: 1829144 : switch (cstate->copy_dest)
514 : : {
515 : 6129 : case COPY_FILE:
516 : : /* Default line termination depends on platform */
517 : : #ifndef WIN32
518 : 6129 : CopySendChar(cstate, '\n');
519 : : #else
520 : : CopySendString(cstate, "\r\n");
521 : : #endif
522 : 6129 : break;
523 : 1823012 : case COPY_FRONTEND:
524 : : /* The FE/BE protocol uses \n as newline for all platforms */
525 : 1823012 : CopySendChar(cstate, '\n');
526 : 1823012 : break;
527 : 3 : default:
528 : 3 : break;
529 : : }
530 : :
531 : : /* Now take the actions related to the end of a row */
532 : 1829144 : CopySendEndOfRow(cstate);
533 : 1829144 : }
534 : :
535 : : /*
536 : : * These functions do apply some data conversion
537 : : */
538 : :
539 : : /*
540 : : * CopySendInt32 sends an int32 in network byte order
541 : : */
542 : : static inline void
1799 heikki.linnakangas@i 543 : 94 : CopySendInt32(CopyToState cstate, int32 val)
544 : : {
545 : : uint32 buf;
546 : :
547 : 94 : buf = pg_hton32((uint32) val);
548 : 94 : CopySendData(cstate, &buf, sizeof(buf));
549 : 94 : }
550 : :
551 : : /*
552 : : * CopySendInt16 sends an int16 in network byte order
553 : : */
554 : : static inline void
555 : 23 : CopySendInt16(CopyToState cstate, int16 val)
556 : : {
557 : : uint16 buf;
558 : :
559 : 23 : buf = pg_hton16((uint16) val);
560 : 23 : CopySendData(cstate, &buf, sizeof(buf));
561 : 23 : }
562 : :
563 : : /*
564 : : * Closes the pipe to an external program, checking the pclose() return code.
565 : : */
566 : : static void
1799 heikki.linnakangas@i 567 :UBC 0 : ClosePipeToProgram(CopyToState cstate)
568 : : {
569 : : int pclose_rc;
570 : :
571 [ # # ]: 0 : Assert(cstate->is_program);
572 : :
573 : 0 : pclose_rc = ClosePipeStream(cstate->copy_file);
574 [ # # ]: 0 : if (pclose_rc == -1)
575 [ # # ]: 0 : ereport(ERROR,
576 : : (errcode_for_file_access(),
577 : : errmsg("could not close pipe to external command: %m")));
578 [ # # ]: 0 : else if (pclose_rc != 0)
579 : : {
580 [ # # ]: 0 : ereport(ERROR,
581 : : (errcode(ERRCODE_EXTERNAL_ROUTINE_EXCEPTION),
582 : : errmsg("program \"%s\" failed",
583 : : cstate->filename),
584 : : errdetail_internal("%s", wait_result_to_str(pclose_rc))));
585 : : }
586 : 0 : }
587 : :
588 : : /*
589 : : * Release resources allocated in a cstate for COPY TO/FROM.
590 : : */
591 : : static void
1799 heikki.linnakangas@i 592 :CBC 4570 : EndCopy(CopyToState cstate)
593 : : {
594 [ - + ]: 4570 : if (cstate->is_program)
595 : : {
1799 heikki.linnakangas@i 596 :UBC 0 : ClosePipeToProgram(cstate);
597 : : }
598 : : else
599 : : {
1799 heikki.linnakangas@i 600 [ + + - + ]:CBC 4570 : if (cstate->filename != NULL && FreeFile(cstate->copy_file))
1799 heikki.linnakangas@i 601 [ # # ]:UBC 0 : ereport(ERROR,
602 : : (errcode_for_file_access(),
603 : : errmsg("could not close file \"%s\": %m",
604 : : cstate->filename)));
605 : : }
606 : :
1755 tomas.vondra@postgre 607 :CBC 4570 : pgstat_progress_end_command();
608 : :
1799 heikki.linnakangas@i 609 : 4570 : MemoryContextDelete(cstate->copycontext);
610 : :
7 msawada@postgresql.o 611 [ + + ]:GNC 4570 : if (cstate->partitions)
612 : 3 : list_free(cstate->partitions);
613 : :
1799 heikki.linnakangas@i 614 :CBC 4570 : pfree(cstate);
615 : 4570 : }
616 : :
617 : : /*
618 : : * Setup CopyToState to read tuples from a table or a query for COPY TO.
619 : : *
620 : : * 'rel': Relation to be copied
621 : : * 'raw_query': Query whose results are to be copied
622 : : * 'queryRelId': OID of base relation to convert to a query (for RLS)
623 : : * 'filename': Name of server-local file to write, NULL for STDOUT
624 : : * 'is_program': true if 'filename' is program to execute
625 : : * 'data_dest_cb': Callback that processes the output data
626 : : * 'attnamelist': List of char *, columns to include. NIL selects all cols.
627 : : * 'options': List of DefElem. See copy_opt_item in gram.y for selections.
628 : : *
629 : : * Returns a CopyToState, to be passed to DoCopyTo() and related functions.
630 : : */
631 : : CopyToState
632 : 4672 : BeginCopyTo(ParseState *pstate,
633 : : Relation rel,
634 : : RawStmt *raw_query,
635 : : Oid queryRelId,
636 : : const char *filename,
637 : : bool is_program,
638 : : copy_data_dest_cb data_dest_cb,
639 : : List *attnamelist,
640 : : List *options)
641 : : {
642 : : CopyToState cstate;
1112 michael@paquier.xyz 643 [ + + + + ]: 4672 : bool pipe = (filename == NULL && data_dest_cb == NULL);
644 : : TupleDesc tupDesc;
645 : : int num_phys_attrs;
646 : : MemoryContext oldcontext;
1693 647 : 4672 : const int progress_cols[] = {
648 : : PROGRESS_COPY_COMMAND,
649 : : PROGRESS_COPY_TYPE
650 : : };
651 : 4672 : int64 progress_vals[] = {
652 : : PROGRESS_COPY_COMMAND_TO,
653 : : 0
654 : : };
7 msawada@postgresql.o 655 :GNC 4672 : List *children = NIL;
656 : :
1799 heikki.linnakangas@i 657 [ + + + + ]:CBC 4672 : if (rel != NULL && rel->rd_rel->relkind != RELKIND_RELATION)
658 : : {
659 [ + + ]: 16 : if (rel->rd_rel->relkind == RELKIND_VIEW)
660 [ + - ]: 6 : ereport(ERROR,
661 : : (errcode(ERRCODE_WRONG_OBJECT_TYPE),
662 : : errmsg("cannot copy from view \"%s\"",
663 : : RelationGetRelationName(rel)),
664 : : errhint("Try the COPY (SELECT ...) TO variant.")));
665 [ + + ]: 10 : else if (rel->rd_rel->relkind == RELKIND_MATVIEW)
666 : : {
206 fujii@postgresql.org 667 [ + + ]: 6 : if (!RelationIsPopulated(rel))
668 [ + - ]: 3 : ereport(ERROR,
669 : : errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
670 : : errmsg("cannot copy from unpopulated materialized view \"%s\"",
671 : : RelationGetRelationName(rel)),
672 : : errhint("Use the REFRESH MATERIALIZED VIEW command."));
673 : : }
1799 heikki.linnakangas@i 674 [ - + ]:GBC 4 : else if (rel->rd_rel->relkind == RELKIND_FOREIGN_TABLE)
1799 heikki.linnakangas@i 675 [ # # ]:UBC 0 : ereport(ERROR,
676 : : (errcode(ERRCODE_WRONG_OBJECT_TYPE),
677 : : errmsg("cannot copy from foreign table \"%s\"",
678 : : RelationGetRelationName(rel)),
679 : : errhint("Try the COPY (SELECT ...) TO variant.")));
1799 heikki.linnakangas@i 680 [ - + ]:GBC 4 : else if (rel->rd_rel->relkind == RELKIND_SEQUENCE)
1799 heikki.linnakangas@i 681 [ # # ]:UBC 0 : ereport(ERROR,
682 : : (errcode(ERRCODE_WRONG_OBJECT_TYPE),
683 : : errmsg("cannot copy from sequence \"%s\"",
684 : : RelationGetRelationName(rel))));
1799 heikki.linnakangas@i 685 [ + - ]:GBC 4 : else if (rel->rd_rel->relkind == RELKIND_PARTITIONED_TABLE)
686 : : {
687 : : /*
688 : : * Collect OIDs of relation containing data, so that later
689 : : * DoCopyTo can copy the data from them.
690 : : */
7 msawada@postgresql.o 691 :GNC 4 : children = find_all_inheritors(RelationGetRelid(rel), AccessShareLock, NULL);
692 : :
693 [ + - + + : 23 : foreach_oid(child, children)
+ + ]
694 : : {
695 : 17 : char relkind = get_rel_relkind(child);
696 : :
697 [ + + ]: 17 : if (relkind == RELKIND_FOREIGN_TABLE)
698 : : {
699 : 1 : char *relation_name = get_rel_name(child);
700 : :
701 [ + - ]: 1 : ereport(ERROR,
702 : : errcode(ERRCODE_WRONG_OBJECT_TYPE),
703 : : errmsg("cannot copy from foreign table \"%s\"", relation_name),
704 : : errdetail("Partition \"%s\" is a foreign table in partitioned table \"%s\"",
705 : : relation_name, RelationGetRelationName(rel)),
706 : : errhint("Try the COPY (SELECT ...) TO variant."));
707 : : }
708 : :
709 : : /* Exclude tables with no data */
710 [ + + - + ]: 16 : if (RELKIND_HAS_PARTITIONS(relkind))
711 : 10 : children = foreach_delete_current(children, child);
712 : : }
713 : : }
714 : : else
1799 heikki.linnakangas@i 715 [ # # ]:UBC 0 : ereport(ERROR,
716 : : (errcode(ERRCODE_WRONG_OBJECT_TYPE),
717 : : errmsg("cannot copy from non-table relation \"%s\"",
718 : : RelationGetRelationName(rel))));
719 : : }
720 : :
721 : :
722 : : /* Allocate workspace and zero all fields */
1799 heikki.linnakangas@i 723 :CBC 4662 : cstate = (CopyToStateData *) palloc0(sizeof(CopyToStateData));
724 : :
725 : : /*
726 : : * We allocate everything used by a cstate in a new memory context. This
727 : : * avoids memory leaks during repeated use of COPY in a query.
728 : : */
729 : 4662 : cstate->copycontext = AllocSetContextCreate(CurrentMemoryContext,
730 : : "COPY",
731 : : ALLOCSET_DEFAULT_SIZES);
732 : :
733 : 4662 : oldcontext = MemoryContextSwitchTo(cstate->copycontext);
734 : :
735 : : /* Extract options from the statement node tree */
1629 tgl@sss.pgh.pa.us 736 : 4662 : ProcessCopyOptions(pstate, &cstate->opts, false /* is_from */ , options);
737 : :
738 : : /* Set format routine */
237 msawada@postgresql.o 739 : 4638 : cstate->routine = CopyToGetRoutine(&cstate->opts);
740 : :
741 : : /* Process the source/target relation or query */
1799 heikki.linnakangas@i 742 [ + + ]: 4638 : if (rel)
743 : : {
744 [ - + ]: 4304 : Assert(!raw_query);
745 : :
746 : 4304 : cstate->rel = rel;
747 : :
748 : 4304 : tupDesc = RelationGetDescr(cstate->rel);
7 msawada@postgresql.o 749 :GNC 4304 : cstate->partitions = children;
750 : : }
751 : : else
752 : : {
753 : : List *rewritten;
754 : : Query *query;
755 : : PlannedStmt *plan;
756 : : DestReceiver *dest;
757 : :
1799 heikki.linnakangas@i 758 :CBC 334 : cstate->rel = NULL;
7 msawada@postgresql.o 759 :GNC 334 : cstate->partitions = NIL;
760 : :
761 : : /*
762 : : * Run parse analysis and rewrite. Note this also acquires sufficient
763 : : * locks on the source table(s).
764 : : */
1333 peter@eisentraut.org 765 :CBC 334 : rewritten = pg_analyze_and_rewrite_fixedparams(raw_query,
766 : : pstate->p_sourcetext, NULL, 0,
767 : : NULL);
768 : :
769 : : /* check that we got back something we can work with */
1799 heikki.linnakangas@i 770 [ + + ]: 328 : if (rewritten == NIL)
771 : : {
772 [ + - ]: 9 : ereport(ERROR,
773 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
774 : : errmsg("DO INSTEAD NOTHING rules are not supported for COPY")));
775 : : }
776 [ + + ]: 319 : else if (list_length(rewritten) > 1)
777 : : {
778 : : ListCell *lc;
779 : :
780 : : /* examine queries to determine which error message to issue */
781 [ + - + + : 51 : foreach(lc, rewritten)
+ + ]
782 : : {
783 : 42 : Query *q = lfirst_node(Query, lc);
784 : :
785 [ + + ]: 42 : if (q->querySource == QSRC_QUAL_INSTEAD_RULE)
786 [ + - ]: 9 : ereport(ERROR,
787 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
788 : : errmsg("conditional DO INSTEAD rules are not supported for COPY")));
789 [ + + ]: 33 : if (q->querySource == QSRC_NON_INSTEAD_RULE)
790 [ + - ]: 9 : ereport(ERROR,
791 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
792 : : errmsg("DO ALSO rules are not supported for COPY")));
793 : : }
794 : :
795 [ + - ]: 9 : ereport(ERROR,
796 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
797 : : errmsg("multi-statement DO INSTEAD rules are not supported for COPY")));
798 : : }
799 : :
800 : 292 : query = linitial_node(Query, rewritten);
801 : :
802 : : /* The grammar allows SELECT INTO, but we don't support that */
803 [ + + ]: 292 : if (query->utilityStmt != NULL &&
804 [ + + ]: 9 : IsA(query->utilityStmt, CreateTableAsStmt))
805 [ + - ]: 6 : ereport(ERROR,
806 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
807 : : errmsg("COPY (SELECT INTO) is not supported")));
808 : :
809 : : /* The only other utility command we could see is NOTIFY */
371 tgl@sss.pgh.pa.us 810 [ + + ]: 286 : if (query->utilityStmt != NULL)
811 [ + - ]: 3 : ereport(ERROR,
812 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
813 : : errmsg("COPY query must not be a utility command")));
814 : :
815 : : /*
816 : : * Similarly the grammar doesn't enforce the presence of a RETURNING
817 : : * clause, but this is required here.
818 : : */
1799 heikki.linnakangas@i 819 [ + + ]: 283 : if (query->commandType != CMD_SELECT &&
820 [ + + ]: 55 : query->returningList == NIL)
821 : : {
822 [ + + + + : 12 : Assert(query->commandType == CMD_INSERT ||
+ + - + ]
823 : : query->commandType == CMD_UPDATE ||
824 : : query->commandType == CMD_DELETE ||
825 : : query->commandType == CMD_MERGE);
826 : :
827 [ + - ]: 12 : ereport(ERROR,
828 : : (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
829 : : errmsg("COPY query must have a RETURNING clause")));
830 : : }
831 : :
832 : : /* plan the query */
833 : 271 : plan = pg_plan_query(query, pstate->p_sourcetext,
834 : : CURSOR_OPT_PARALLEL_OK, NULL, NULL);
835 : :
836 : : /*
837 : : * With row-level security and a user using "COPY relation TO", we
838 : : * have to convert the "COPY relation TO" to a query-based COPY (eg:
839 : : * "COPY (SELECT * FROM ONLY relation) TO"), to allow the rewriter to
840 : : * add in any RLS clauses.
841 : : *
842 : : * When this happens, we are passed in the relid of the originally
843 : : * found relation (which we have locked). As the planner will look up
844 : : * the relation again, we double-check here to make sure it found the
845 : : * same one that we have locked.
846 : : */
847 [ + + ]: 270 : if (queryRelId != InvalidOid)
848 : : {
849 : : /*
850 : : * Note that with RLS involved there may be multiple relations,
851 : : * and while the one we need is almost certainly first, we don't
852 : : * make any guarantees of that in the planner, so check the whole
853 : : * list and make sure we find the original relation.
854 : : */
855 [ - + ]: 36 : if (!list_member_oid(plan->relationOids, queryRelId))
1799 heikki.linnakangas@i 856 [ # # ]:UBC 0 : ereport(ERROR,
857 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
858 : : errmsg("relation referenced by COPY statement has changed")));
859 : : }
860 : :
861 : : /*
862 : : * Use a snapshot with an updated command ID to ensure this query sees
863 : : * results of any previously executed queries.
864 : : */
1799 heikki.linnakangas@i 865 :CBC 270 : PushCopiedSnapshot(GetActiveSnapshot());
866 : 270 : UpdateActiveSnapshotCommandId();
867 : :
868 : : /* Create dest receiver for COPY OUT */
869 : 270 : dest = CreateDestReceiver(DestCopyOut);
870 : 270 : ((DR_copy *) dest)->cstate = cstate;
871 : :
872 : : /* Create a QueryDesc requesting no output */
158 amitlan@postgresql.o 873 : 270 : cstate->queryDesc = CreateQueryDesc(plan, pstate->p_sourcetext,
874 : : GetActiveSnapshot(),
875 : : InvalidSnapshot,
876 : : dest, NULL, NULL, 0);
877 : :
878 : : /*
879 : : * Call ExecutorStart to prepare the plan for execution.
880 : : *
881 : : * ExecutorStart computes a result tupdesc for us
882 : : */
883 : 270 : ExecutorStart(cstate->queryDesc, 0);
884 : :
1799 heikki.linnakangas@i 885 : 267 : tupDesc = cstate->queryDesc->tupDesc;
886 : : }
887 : :
888 : : /* Generate or convert list of attributes to process */
889 : 4571 : cstate->attnumlist = CopyGetAttnums(tupDesc, cstate->rel, attnamelist);
890 : :
891 : 4571 : num_phys_attrs = tupDesc->natts;
892 : :
893 : : /* Convert FORCE_QUOTE name list to per-column flags, check validity */
894 : 4571 : cstate->opts.force_quote_flags = (bool *) palloc0(num_phys_attrs * sizeof(bool));
895 [ + + ]: 4571 : if (cstate->opts.force_quote_all)
896 : : {
758 andrew@dunslane.net 897 [ + - - + : 9 : MemSet(cstate->opts.force_quote_flags, true, num_phys_attrs * sizeof(bool));
- - - - -
- ]
898 : : }
1799 heikki.linnakangas@i 899 [ + + ]: 4562 : else if (cstate->opts.force_quote)
900 : : {
901 : : List *attnums;
902 : : ListCell *cur;
903 : :
904 : 12 : attnums = CopyGetAttnums(tupDesc, cstate->rel, cstate->opts.force_quote);
905 : :
906 [ + - + + : 24 : foreach(cur, attnums)
+ + ]
907 : : {
908 : 12 : int attnum = lfirst_int(cur);
909 : 12 : Form_pg_attribute attr = TupleDescAttr(tupDesc, attnum - 1);
910 : :
911 [ - + ]: 12 : if (!list_member_int(cstate->attnumlist, attnum))
1799 heikki.linnakangas@i 912 [ # # ]:UBC 0 : ereport(ERROR,
913 : : (errcode(ERRCODE_INVALID_COLUMN_REFERENCE),
914 : : /*- translator: %s is the name of a COPY option, e.g. FORCE_NOT_NULL */
915 : : errmsg("%s column \"%s\" not referenced by COPY",
916 : : "FORCE_QUOTE", NameStr(attr->attname))));
1799 heikki.linnakangas@i 917 :CBC 12 : cstate->opts.force_quote_flags[attnum - 1] = true;
918 : : }
919 : : }
920 : :
921 : : /* Use client encoding when ENCODING option is not specified. */
922 [ + + ]: 4571 : if (cstate->opts.file_encoding < 0)
923 : 4562 : cstate->file_encoding = pg_get_client_encoding();
924 : : else
925 : 9 : cstate->file_encoding = cstate->opts.file_encoding;
926 : :
927 : : /*
928 : : * Set up encoding conversion info if the file and server encodings differ
929 : : * (see also pg_server_to_any).
930 : : */
626 michael@paquier.xyz 931 [ + + ]: 4571 : if (cstate->file_encoding == GetDatabaseEncoding() ||
932 [ + + ]: 4 : cstate->file_encoding == PG_SQL_ASCII)
933 : 4570 : cstate->need_transcoding = false;
934 : : else
935 : 1 : cstate->need_transcoding = true;
936 : :
937 : : /* See Multibyte encoding comment above */
1799 heikki.linnakangas@i 938 [ - + - - ]: 4571 : cstate->encoding_embeds_ascii = PG_ENCODING_IS_CLIENT_ONLY(cstate->file_encoding);
939 : :
940 : 4571 : cstate->copy_dest = COPY_FILE; /* default */
941 : :
1112 michael@paquier.xyz 942 [ + + ]: 4571 : if (data_dest_cb)
943 : : {
944 : 1 : progress_vals[1] = PROGRESS_COPY_TYPE_CALLBACK;
945 : 1 : cstate->copy_dest = COPY_CALLBACK;
946 : 1 : cstate->data_dest_cb = data_dest_cb;
947 : : }
948 [ + + ]: 4570 : else if (pipe)
949 : : {
1693 950 : 4539 : progress_vals[1] = PROGRESS_COPY_TYPE_PIPE;
951 : :
1799 heikki.linnakangas@i 952 [ - + ]: 4539 : Assert(!is_program); /* the grammar does not allow this */
953 [ - + ]: 4539 : if (whereToSendOutput != DestRemote)
1799 heikki.linnakangas@i 954 :UBC 0 : cstate->copy_file = stdout;
955 : : }
956 : : else
957 : : {
1799 heikki.linnakangas@i 958 :CBC 31 : cstate->filename = pstrdup(filename);
959 : 31 : cstate->is_program = is_program;
960 : :
961 [ - + ]: 31 : if (is_program)
962 : : {
1693 michael@paquier.xyz 963 :UBC 0 : progress_vals[1] = PROGRESS_COPY_TYPE_PROGRAM;
1799 heikki.linnakangas@i 964 : 0 : cstate->copy_file = OpenPipeStream(cstate->filename, PG_BINARY_W);
965 [ # # ]: 0 : if (cstate->copy_file == NULL)
966 [ # # ]: 0 : ereport(ERROR,
967 : : (errcode_for_file_access(),
968 : : errmsg("could not execute command \"%s\": %m",
969 : : cstate->filename)));
970 : : }
971 : : else
972 : : {
973 : : mode_t oumask; /* Pre-existing umask value */
974 : : struct stat st;
975 : :
1693 michael@paquier.xyz 976 :CBC 31 : progress_vals[1] = PROGRESS_COPY_TYPE_FILE;
977 : :
978 : : /*
979 : : * Prevent write to relative path ... too easy to shoot oneself in
980 : : * the foot by overwriting a database file ...
981 : : */
1799 heikki.linnakangas@i 982 [ - + ]: 31 : if (!is_absolute_path(filename))
1799 heikki.linnakangas@i 983 [ # # ]:UBC 0 : ereport(ERROR,
984 : : (errcode(ERRCODE_INVALID_NAME),
985 : : errmsg("relative path not allowed for COPY to file")));
986 : :
1799 heikki.linnakangas@i 987 :CBC 31 : oumask = umask(S_IWGRP | S_IWOTH);
988 [ + - ]: 31 : PG_TRY();
989 : : {
990 : 31 : cstate->copy_file = AllocateFile(cstate->filename, PG_BINARY_W);
991 : : }
1799 heikki.linnakangas@i 992 :UBC 0 : PG_FINALLY();
993 : : {
1799 heikki.linnakangas@i 994 :CBC 31 : umask(oumask);
995 : : }
996 [ - + ]: 31 : PG_END_TRY();
997 [ - + ]: 31 : if (cstate->copy_file == NULL)
998 : : {
999 : : /* copy errno because ereport subfunctions might change it */
1799 heikki.linnakangas@i 1000 :UBC 0 : int save_errno = errno;
1001 : :
1002 [ # # # # : 0 : ereport(ERROR,
# # ]
1003 : : (errcode_for_file_access(),
1004 : : errmsg("could not open file \"%s\" for writing: %m",
1005 : : cstate->filename),
1006 : : (save_errno == ENOENT || save_errno == EACCES) ?
1007 : : errhint("COPY TO instructs the PostgreSQL server process to write a file. "
1008 : : "You may want a client-side facility such as psql's \\copy.") : 0));
1009 : : }
1010 : :
1799 heikki.linnakangas@i 1011 [ - + ]:CBC 31 : if (fstat(fileno(cstate->copy_file), &st))
1799 heikki.linnakangas@i 1012 [ # # ]:UBC 0 : ereport(ERROR,
1013 : : (errcode_for_file_access(),
1014 : : errmsg("could not stat file \"%s\": %m",
1015 : : cstate->filename)));
1016 : :
1799 heikki.linnakangas@i 1017 [ - + ]:CBC 31 : if (S_ISDIR(st.st_mode))
1799 heikki.linnakangas@i 1018 [ # # ]:UBC 0 : ereport(ERROR,
1019 : : (errcode(ERRCODE_WRONG_OBJECT_TYPE),
1020 : : errmsg("\"%s\" is a directory", cstate->filename)));
1021 : : }
1022 : : }
1023 : :
1024 : : /* initialize progress */
1755 tomas.vondra@postgre 1025 :CBC 4571 : pgstat_progress_start_command(PROGRESS_COMMAND_COPY,
1026 [ + + ]: 4571 : cstate->rel ? RelationGetRelid(cstate->rel) : InvalidOid);
1693 michael@paquier.xyz 1027 : 4571 : pgstat_progress_update_multi_param(2, progress_cols, progress_vals);
1028 : :
1755 tomas.vondra@postgre 1029 : 4571 : cstate->bytes_processed = 0;
1030 : :
1799 heikki.linnakangas@i 1031 : 4571 : MemoryContextSwitchTo(oldcontext);
1032 : :
1033 : 4571 : return cstate;
1034 : : }
1035 : :
1036 : : /*
1037 : : * Clean up storage and release resources for COPY TO.
1038 : : */
1039 : : void
1040 : 4570 : EndCopyTo(CopyToState cstate)
1041 : : {
1042 [ + + ]: 4570 : if (cstate->queryDesc != NULL)
1043 : : {
1044 : : /* Close down the query and free resources. */
1045 : 267 : ExecutorFinish(cstate->queryDesc);
1046 : 267 : ExecutorEnd(cstate->queryDesc);
1047 : 267 : FreeQueryDesc(cstate->queryDesc);
1048 : 267 : PopActiveSnapshot();
1049 : : }
1050 : :
1051 : : /* Clean up storage */
1052 : 4570 : EndCopy(cstate);
1053 : 4570 : }
1054 : :
1055 : : /*
1056 : : * Copy from relation or query TO file.
1057 : : *
1058 : : * Returns the number of rows processed.
1059 : : */
1060 : : uint64
1698 1061 : 4571 : DoCopyTo(CopyToState cstate)
1062 : : {
1112 michael@paquier.xyz 1063 [ + + + + ]: 4571 : bool pipe = (cstate->filename == NULL && cstate->data_dest_cb == NULL);
1698 heikki.linnakangas@i 1064 [ + + + - ]: 4571 : bool fe_copy = (pipe && whereToSendOutput == DestRemote);
1065 : : TupleDesc tupDesc;
1066 : : int num_phys_attrs;
1067 : : ListCell *cur;
7 msawada@postgresql.o 1068 :GNC 4571 : uint64 processed = 0;
1069 : :
1698 heikki.linnakangas@i 1070 [ + + ]:CBC 4571 : if (fe_copy)
1071 : 4539 : SendCopyBegin(cstate);
1072 : :
1799 1073 [ + + ]: 4571 : if (cstate->rel)
1074 : 4304 : tupDesc = RelationGetDescr(cstate->rel);
1075 : : else
1076 : 267 : tupDesc = cstate->queryDesc->tupDesc;
1077 : 4571 : num_phys_attrs = tupDesc->natts;
1629 tgl@sss.pgh.pa.us 1078 : 4571 : cstate->opts.null_print_client = cstate->opts.null_print; /* default */
1079 : :
1080 : : /* We use fe_msgbuf as a per-row buffer regardless of copy_dest */
1799 heikki.linnakangas@i 1081 : 4571 : cstate->fe_msgbuf = makeStringInfo();
1082 : :
1083 : : /* Get info about the columns we need to process. */
1084 : 4571 : cstate->out_functions = (FmgrInfo *) palloc(num_phys_attrs * sizeof(FmgrInfo));
1085 [ + + + + : 20518 : foreach(cur, cstate->attnumlist)
+ + ]
1086 : : {
1087 : 15948 : int attnum = lfirst_int(cur);
1088 : 15948 : Form_pg_attribute attr = TupleDescAttr(tupDesc, attnum - 1);
1089 : :
242 msawada@postgresql.o 1090 : 15948 : cstate->routine->CopyToOutFunc(cstate, attr->atttypid,
1091 : 15948 : &cstate->out_functions[attnum - 1]);
1092 : : }
1093 : :
1094 : : /*
1095 : : * Create a temporary memory context that we can reset once per row to
1096 : : * recover palloc'd memory. This avoids any problems with leaks inside
1097 : : * datatype output routines, and should be faster than retail pfree's
1098 : : * anyway. (We don't need a whole econtext as CopyFrom does.)
1099 : : */
1799 heikki.linnakangas@i 1100 : 4570 : cstate->rowcontext = AllocSetContextCreate(CurrentMemoryContext,
1101 : : "COPY TO",
1102 : : ALLOCSET_DEFAULT_SIZES);
1103 : :
242 msawada@postgresql.o 1104 : 4570 : cstate->routine->CopyToStart(cstate, tupDesc);
1105 : :
1799 heikki.linnakangas@i 1106 [ + + ]: 4570 : if (cstate->rel)
1107 : : {
1108 : : /*
1109 : : * If COPY TO source table is a partitioned table, then open each
1110 : : * partition and process each individual partition.
1111 : : */
7 msawada@postgresql.o 1112 [ + + ]:GNC 4303 : if (cstate->rel->rd_rel->relkind == RELKIND_PARTITIONED_TABLE)
1113 : : {
1114 [ + - + + : 12 : foreach_oid(child, cstate->partitions)
+ + ]
1115 : : {
1116 : : Relation scan_rel;
1117 : :
1118 : : /* We already got the lock in BeginCopyTo */
1119 : 6 : scan_rel = table_open(child, NoLock);
1120 : 6 : CopyRelationTo(cstate, scan_rel, cstate->rel, &processed);
1121 : 6 : table_close(scan_rel, NoLock);
1122 : : }
1123 : : }
1124 : : else
1125 : 4300 : CopyRelationTo(cstate, cstate->rel, NULL, &processed);
1126 : : }
1127 : : else
1128 : : {
1129 : : /* run the plan --- the dest receiver will send tuples */
322 tgl@sss.pgh.pa.us 1130 :CBC 267 : ExecutorRun(cstate->queryDesc, ForwardScanDirection, 0);
1799 heikki.linnakangas@i 1131 : 267 : processed = ((DR_copy *) cstate->queryDesc->dest)->processed;
1132 : : }
1133 : :
242 msawada@postgresql.o 1134 : 4570 : cstate->routine->CopyToEnd(cstate);
1135 : :
1799 heikki.linnakangas@i 1136 : 4570 : MemoryContextDelete(cstate->rowcontext);
1137 : :
1698 1138 [ + + ]: 4570 : if (fe_copy)
1139 : 4538 : SendCopyEnd(cstate);
1140 : :
1799 1141 : 4570 : return processed;
1142 : : }
1143 : :
1144 : : /*
1145 : : * Scans a single table and exports its rows to the COPY destination.
1146 : : *
1147 : : * root_rel can be set to the root table of rel if rel is a partition
1148 : : * table so that we can send tuples in root_rel's rowtype, which might
1149 : : * differ from individual partitions.
1150 : : */
1151 : : static void
7 msawada@postgresql.o 1152 :GNC 4306 : CopyRelationTo(CopyToState cstate, Relation rel, Relation root_rel, uint64 *processed)
1153 : : {
1154 : : TupleTableSlot *slot;
1155 : : TableScanDesc scandesc;
1156 : 4306 : AttrMap *map = NULL;
1157 : 4306 : TupleTableSlot *root_slot = NULL;
1158 : :
1159 : 4306 : scandesc = table_beginscan(rel, GetActiveSnapshot(), 0, NULL);
1160 : 4306 : slot = table_slot_create(rel, NULL);
1161 : :
1162 : : /*
1163 : : * If we are exporting partition data here, we check if converting tuples
1164 : : * to the root table's rowtype, because a partition might have column
1165 : : * order different than its root table.
1166 : : */
1167 [ + + ]: 4306 : if (root_rel != NULL)
1168 : : {
1169 : 6 : root_slot = table_slot_create(root_rel, NULL);
1170 : 6 : map = build_attrmap_by_name_if_req(RelationGetDescr(root_rel),
1171 : : RelationGetDescr(rel),
1172 : : false);
1173 : : }
1174 : :
1175 [ + + ]: 1829869 : while (table_scan_getnextslot(scandesc, ForwardScanDirection, slot))
1176 : : {
1177 : : TupleTableSlot *copyslot;
1178 : :
1179 [ - + ]: 1825563 : CHECK_FOR_INTERRUPTS();
1180 : :
1181 [ + + ]: 1825563 : if (map != NULL)
1182 : 12 : copyslot = execute_attr_map_slot(map, slot, root_slot);
1183 : : else
1184 : : {
1185 : : /* Deconstruct the tuple */
1186 : 1825551 : slot_getallattrs(slot);
1187 : 1825551 : copyslot = slot;
1188 : : }
1189 : :
1190 : : /* Format and send the data */
1191 : 1825563 : CopyOneRowTo(cstate, copyslot);
1192 : :
1193 : : /*
1194 : : * Increment the number of processed tuples, and report the progress.
1195 : : */
1196 : 1825563 : pgstat_progress_update_param(PROGRESS_COPY_TUPLES_PROCESSED,
1197 : 1825563 : ++(*processed));
1198 : : }
1199 : :
1200 : 4306 : ExecDropSingleTupleTableSlot(slot);
1201 : :
1202 [ + + ]: 4306 : if (root_slot != NULL)
1203 : 6 : ExecDropSingleTupleTableSlot(root_slot);
1204 : :
1205 [ + + ]: 4306 : if (map != NULL)
1206 : 3 : free_attrmap(map);
1207 : :
1208 : 4306 : table_endscan(scandesc);
1209 : 4306 : }
1210 : :
1211 : : /*
1212 : : * Emit one row during DoCopyTo().
1213 : : */
1214 : : static inline void
1799 heikki.linnakangas@i 1215 :CBC 1829142 : CopyOneRowTo(CopyToState cstate, TupleTableSlot *slot)
1216 : : {
1217 : : MemoryContext oldcontext;
1218 : :
1219 : 1829142 : MemoryContextReset(cstate->rowcontext);
1220 : 1829142 : oldcontext = MemoryContextSwitchTo(cstate->rowcontext);
1221 : :
1222 : : /* Make sure the tuple is fully deconstructed */
1223 : 1829142 : slot_getallattrs(slot);
1224 : :
242 msawada@postgresql.o 1225 : 1829142 : cstate->routine->CopyToOneRow(cstate, slot);
1226 : :
1799 heikki.linnakangas@i 1227 : 1829142 : MemoryContextSwitchTo(oldcontext);
1228 : 1829142 : }
1229 : :
1230 : : /*
1231 : : * Send text representation of one attribute, with conversion and escaping
1232 : : */
1233 : : #define DUMPSOFAR() \
1234 : : do { \
1235 : : if (ptr > start) \
1236 : : CopySendData(cstate, start, ptr - start); \
1237 : : } while (0)
1238 : :
1239 : : static void
628 michael@paquier.xyz 1240 : 6490286 : CopyAttributeOutText(CopyToState cstate, const char *string)
1241 : : {
1242 : : const char *ptr;
1243 : : const char *start;
1244 : : char c;
1799 heikki.linnakangas@i 1245 : 6490286 : char delimc = cstate->opts.delim[0];
1246 : :
1247 [ - + ]: 6490286 : if (cstate->need_transcoding)
1799 heikki.linnakangas@i 1248 :UBC 0 : ptr = pg_server_to_any(string, strlen(string), cstate->file_encoding);
1249 : : else
1799 heikki.linnakangas@i 1250 :CBC 6490286 : ptr = string;
1251 : :
1252 : : /*
1253 : : * We have to grovel through the string searching for control characters
1254 : : * and instances of the delimiter character. In most cases, though, these
1255 : : * are infrequent. To avoid overhead from calling CopySendData once per
1256 : : * character, we dump out all characters between escaped characters in a
1257 : : * single call. The loop invariant is that the data from "start" to "ptr"
1258 : : * can be sent literally, but hasn't yet been.
1259 : : *
1260 : : * We can skip pg_encoding_mblen() overhead when encoding is safe, because
1261 : : * in valid backend encodings, extra bytes of a multibyte character never
1262 : : * look like ASCII. This loop is sufficiently performance-critical that
1263 : : * it's worth making two copies of it to get the IS_HIGHBIT_SET() test out
1264 : : * of the normal safe-encoding path.
1265 : : */
1266 [ - + ]: 6490286 : if (cstate->encoding_embeds_ascii)
1267 : : {
1799 heikki.linnakangas@i 1268 :UBC 0 : start = ptr;
1269 [ # # ]: 0 : while ((c = *ptr) != '\0')
1270 : : {
1271 [ # # ]: 0 : if ((unsigned char) c < (unsigned char) 0x20)
1272 : : {
1273 : : /*
1274 : : * \r and \n must be escaped, the others are traditional. We
1275 : : * prefer to dump these using the C-like notation, rather than
1276 : : * a backslash and the literal character, because it makes the
1277 : : * dump file a bit more proof against Microsoftish data
1278 : : * mangling.
1279 : : */
1280 [ # # # # : 0 : switch (c)
# # # ]
1281 : : {
1282 : 0 : case '\b':
1283 : 0 : c = 'b';
1284 : 0 : break;
1285 : 0 : case '\f':
1286 : 0 : c = 'f';
1287 : 0 : break;
1288 : 0 : case '\n':
1289 : 0 : c = 'n';
1290 : 0 : break;
1291 : 0 : case '\r':
1292 : 0 : c = 'r';
1293 : 0 : break;
1294 : 0 : case '\t':
1295 : 0 : c = 't';
1296 : 0 : break;
1297 : 0 : case '\v':
1298 : 0 : c = 'v';
1299 : 0 : break;
1300 : 0 : default:
1301 : : /* If it's the delimiter, must backslash it */
1302 [ # # ]: 0 : if (c == delimc)
1303 : 0 : break;
1304 : : /* All ASCII control chars are length 1 */
1305 : 0 : ptr++;
1306 : 0 : continue; /* fall to end of loop */
1307 : : }
1308 : : /* if we get here, we need to convert the control char */
1309 [ # # ]: 0 : DUMPSOFAR();
1310 : 0 : CopySendChar(cstate, '\\');
1311 : 0 : CopySendChar(cstate, c);
1312 : 0 : start = ++ptr; /* do not include char in next run */
1313 : : }
1314 [ # # # # ]: 0 : else if (c == '\\' || c == delimc)
1315 : : {
1316 [ # # ]: 0 : DUMPSOFAR();
1317 : 0 : CopySendChar(cstate, '\\');
1318 : 0 : start = ptr++; /* we include char in next run */
1319 : : }
1320 [ # # ]: 0 : else if (IS_HIGHBIT_SET(c))
1321 : 0 : ptr += pg_encoding_mblen(cstate->file_encoding, ptr);
1322 : : else
1323 : 0 : ptr++;
1324 : : }
1325 : : }
1326 : : else
1327 : : {
1799 heikki.linnakangas@i 1328 :CBC 6490286 : start = ptr;
1329 [ + + ]: 71137043 : while ((c = *ptr) != '\0')
1330 : : {
1331 [ + + ]: 64646757 : if ((unsigned char) c < (unsigned char) 0x20)
1332 : : {
1333 : : /*
1334 : : * \r and \n must be escaped, the others are traditional. We
1335 : : * prefer to dump these using the C-like notation, rather than
1336 : : * a backslash and the literal character, because it makes the
1337 : : * dump file a bit more proof against Microsoftish data
1338 : : * mangling.
1339 : : */
1340 [ - - + - : 6941 : switch (c)
+ - - ]
1341 : : {
1799 heikki.linnakangas@i 1342 :UBC 0 : case '\b':
1343 : 0 : c = 'b';
1344 : 0 : break;
1345 : 0 : case '\f':
1346 : 0 : c = 'f';
1347 : 0 : break;
1799 heikki.linnakangas@i 1348 :CBC 5868 : case '\n':
1349 : 5868 : c = 'n';
1350 : 5868 : break;
1799 heikki.linnakangas@i 1351 :UBC 0 : case '\r':
1352 : 0 : c = 'r';
1353 : 0 : break;
1799 heikki.linnakangas@i 1354 :CBC 1073 : case '\t':
1355 : 1073 : c = 't';
1356 : 1073 : break;
1799 heikki.linnakangas@i 1357 :UBC 0 : case '\v':
1358 : 0 : c = 'v';
1359 : 0 : break;
1360 : 0 : default:
1361 : : /* If it's the delimiter, must backslash it */
1362 [ # # ]: 0 : if (c == delimc)
1363 : 0 : break;
1364 : : /* All ASCII control chars are length 1 */
1365 : 0 : ptr++;
1366 : 0 : continue; /* fall to end of loop */
1367 : : }
1368 : : /* if we get here, we need to convert the control char */
1799 heikki.linnakangas@i 1369 [ + + ]:CBC 6941 : DUMPSOFAR();
1370 : 6941 : CopySendChar(cstate, '\\');
1371 : 6941 : CopySendChar(cstate, c);
1372 : 6941 : start = ++ptr; /* do not include char in next run */
1373 : : }
1374 [ + + - + ]: 64639816 : else if (c == '\\' || c == delimc)
1375 : : {
1376 [ + + ]: 2264 : DUMPSOFAR();
1377 : 2264 : CopySendChar(cstate, '\\');
1378 : 2264 : start = ptr++; /* we include char in next run */
1379 : : }
1380 : : else
1381 : 64637552 : ptr++;
1382 : : }
1383 : : }
1384 : :
1385 [ + + ]: 6490286 : DUMPSOFAR();
1386 : 6490286 : }
1387 : :
1388 : : /*
1389 : : * Send text representation of one attribute, with conversion and
1390 : : * CSV-style escaping
1391 : : */
1392 : : static void
1368 peter@eisentraut.org 1393 : 309 : CopyAttributeOutCSV(CopyToState cstate, const char *string,
1394 : : bool use_quote)
1395 : : {
1396 : : const char *ptr;
1397 : : const char *start;
1398 : : char c;
1799 heikki.linnakangas@i 1399 : 309 : char delimc = cstate->opts.delim[0];
1400 : 309 : char quotec = cstate->opts.quote[0];
1401 : 309 : char escapec = cstate->opts.escape[0];
628 michael@paquier.xyz 1402 : 309 : bool single_attr = (list_length(cstate->attnumlist) == 1);
1403 : :
1404 : : /* force quoting if it matches null_print (before conversion!) */
1799 heikki.linnakangas@i 1405 [ + + + + ]: 309 : if (!use_quote && strcmp(string, cstate->opts.null_print) == 0)
1406 : 27 : use_quote = true;
1407 : :
1408 [ - + ]: 309 : if (cstate->need_transcoding)
1799 heikki.linnakangas@i 1409 :UBC 0 : ptr = pg_server_to_any(string, strlen(string), cstate->file_encoding);
1410 : : else
1799 heikki.linnakangas@i 1411 :CBC 309 : ptr = string;
1412 : :
1413 : : /*
1414 : : * Make a preliminary pass to discover if it needs quoting
1415 : : */
1416 [ + + ]: 309 : if (!use_quote)
1417 : : {
1418 : : /*
1419 : : * Quote '\.' if it appears alone on a line, so that it will not be
1420 : : * interpreted as an end-of-data marker. (PG 18 and up will not
1421 : : * interpret '\.' in CSV that way, except in embedded-in-SQL data; but
1422 : : * we want the data to be loadable by older versions too. Also, this
1423 : : * avoids breaking clients that are still using PQgetline().)
1424 : : */
1425 [ + + + + ]: 216 : if (single_attr && strcmp(ptr, "\\.") == 0)
1426 : 3 : use_quote = true;
1427 : : else
1428 : : {
1368 peter@eisentraut.org 1429 : 213 : const char *tptr = ptr;
1430 : :
1799 heikki.linnakangas@i 1431 [ + + ]: 1104 : while ((c = *tptr) != '\0')
1432 : : {
1433 [ + + + + : 957 : if (c == delimc || c == quotec || c == '\n' || c == '\r')
+ + + + ]
1434 : : {
1435 : 66 : use_quote = true;
1436 : 66 : break;
1437 : : }
1438 [ + + - + ]: 891 : if (IS_HIGHBIT_SET(c) && cstate->encoding_embeds_ascii)
1799 heikki.linnakangas@i 1439 :UBC 0 : tptr += pg_encoding_mblen(cstate->file_encoding, tptr);
1440 : : else
1799 heikki.linnakangas@i 1441 :CBC 891 : tptr++;
1442 : : }
1443 : : }
1444 : : }
1445 : :
1446 [ + + ]: 309 : if (use_quote)
1447 : : {
1448 : 162 : CopySendChar(cstate, quotec);
1449 : :
1450 : : /*
1451 : : * We adopt the same optimization strategy as in CopyAttributeOutText
1452 : : */
1453 : 162 : start = ptr;
1454 [ + + ]: 1269 : while ((c = *ptr) != '\0')
1455 : : {
1456 [ + + + + ]: 1107 : if (c == quotec || c == escapec)
1457 : : {
1458 [ + + ]: 78 : DUMPSOFAR();
1459 : 78 : CopySendChar(cstate, escapec);
1460 : 78 : start = ptr; /* we include char in next run */
1461 : : }
1462 [ - + - - ]: 1107 : if (IS_HIGHBIT_SET(c) && cstate->encoding_embeds_ascii)
1799 heikki.linnakangas@i 1463 :UBC 0 : ptr += pg_encoding_mblen(cstate->file_encoding, ptr);
1464 : : else
1799 heikki.linnakangas@i 1465 :CBC 1107 : ptr++;
1466 : : }
1467 [ + + ]: 162 : DUMPSOFAR();
1468 : :
1469 : 162 : CopySendChar(cstate, quotec);
1470 : : }
1471 : : else
1472 : : {
1473 : : /* If it doesn't need quoting, we can just dump it as-is */
1474 : 147 : CopySendString(cstate, ptr);
1475 : : }
1476 : 309 : }
1477 : :
1478 : : /*
1479 : : * copy_dest_startup --- executor startup
1480 : : */
1481 : : static void
1482 : 267 : copy_dest_startup(DestReceiver *self, int operation, TupleDesc typeinfo)
1483 : : {
1484 : : /* no-op */
1485 : 267 : }
1486 : :
1487 : : /*
1488 : : * copy_dest_receive --- receive one tuple
1489 : : */
1490 : : static bool
1491 : 3579 : copy_dest_receive(TupleTableSlot *slot, DestReceiver *self)
1492 : : {
1493 : 3579 : DR_copy *myState = (DR_copy *) self;
1629 tgl@sss.pgh.pa.us 1494 : 3579 : CopyToState cstate = myState->cstate;
1495 : :
1496 : : /* Send the data */
1799 heikki.linnakangas@i 1497 : 3579 : CopyOneRowTo(cstate, slot);
1498 : :
1499 : : /* Increment the number of processed tuples, and report the progress */
1693 michael@paquier.xyz 1500 : 3579 : pgstat_progress_update_param(PROGRESS_COPY_TUPLES_PROCESSED,
1501 : 3579 : ++myState->processed);
1502 : :
1799 heikki.linnakangas@i 1503 : 3579 : return true;
1504 : : }
1505 : :
1506 : : /*
1507 : : * copy_dest_shutdown --- executor end
1508 : : */
1509 : : static void
1510 : 267 : copy_dest_shutdown(DestReceiver *self)
1511 : : {
1512 : : /* no-op */
1513 : 267 : }
1514 : :
1515 : : /*
1516 : : * copy_dest_destroy --- release DestReceiver object
1517 : : */
1518 : : static void
1799 heikki.linnakangas@i 1519 :UBC 0 : copy_dest_destroy(DestReceiver *self)
1520 : : {
1521 : 0 : pfree(self);
1522 : 0 : }
1523 : :
1524 : : /*
1525 : : * CreateCopyDestReceiver -- create a suitable DestReceiver object
1526 : : */
1527 : : DestReceiver *
1799 heikki.linnakangas@i 1528 :CBC 270 : CreateCopyDestReceiver(void)
1529 : : {
1530 : 270 : DR_copy *self = (DR_copy *) palloc(sizeof(DR_copy));
1531 : :
1532 : 270 : self->pub.receiveSlot = copy_dest_receive;
1533 : 270 : self->pub.rStartup = copy_dest_startup;
1534 : 270 : self->pub.rShutdown = copy_dest_shutdown;
1535 : 270 : self->pub.rDestroy = copy_dest_destroy;
1536 : 270 : self->pub.mydest = DestCopyOut;
1537 : :
1538 : 270 : self->cstate = NULL; /* will be set later */
1539 : 270 : self->processed = 0;
1540 : :
1541 : 270 : return (DestReceiver *) self;
1542 : : }
|
