avformat/hlsenc: merge mpegts and fmp4 workflow to one workflow
[ffmpeg.git] / doc / bitstream_filters.texi
1 @chapter Bitstream Filters
2 @c man begin BITSTREAM FILTERS
3
4 When you configure your FFmpeg build, all the supported bitstream
5 filters are enabled by default. You can list all available ones using
6 the configure option @code{--list-bsfs}.
7
8 You can disable all the bitstream filters using the configure option
9 @code{--disable-bsfs}, and selectively enable any bitstream filter using
10 the option @code{--enable-bsf=BSF}, or you can disable a particular
11 bitstream filter using the option @code{--disable-bsf=BSF}.
12
13 The option @code{-bsfs} of the ff* tools will display the list of
14 all the supported bitstream filters included in your build.
15
16 The ff* tools have a -bsf option applied per stream, taking a
17 comma-separated list of filters, whose parameters follow the filter
18 name after a '='.
19
20 @example
21 ffmpeg -i INPUT -c:v copy -bsf:v filter1[=opt1=str1:opt2=str2][,filter2] OUTPUT
22 @end example
23
24 Below is a description of the currently available bitstream filters,
25 with their parameters, if any.
26
27 @section aac_adtstoasc
28
29 Convert MPEG-2/4 AAC ADTS to an MPEG-4 Audio Specific Configuration
30 bitstream.
31
32 This filter creates an MPEG-4 AudioSpecificConfig from an MPEG-2/4
33 ADTS header and removes the ADTS header.
34
35 This filter is required for example when copying an AAC stream from a
36 raw ADTS AAC or an MPEG-TS container to MP4A-LATM, to an FLV file, or
37 to MOV/MP4 files and related formats such as 3GP or M4A. Please note
38 that it is auto-inserted for MP4A-LATM and MOV/MP4 and related formats.
39
40 @section av1_metadata
41
42 Modify metadata embedded in an AV1 stream.
43
44 @table @option
45 @item td
46 Insert or remove temporal delimiter OBUs in all temporal units of the
47 stream.
48
49 @table @samp
50 @item insert
51 Insert a TD at the beginning of every TU which does not already have one.
52 @item remove
53 Remove the TD from the beginning of every TU which has one.
54 @end table
55
56 @item color_primaries
57 @item transfer_characteristics
58 @item matrix_coefficients
59 Set the color description fields in the stream (see AV1 section 6.4.2).
60
61 @item color_range
62 Set the color range in the stream (see AV1 section 6.4.2; note that
63 this cannot be set for streams using BT.709 primaries, sRGB transfer
64 characteristic and identity (RGB) matrix coefficients).
65 @table @samp
66 @item tv
67 Limited range.
68 @item pc
69 Full range.
70 @end table
71
72 @item chroma_sample_position
73 Set the chroma sample location in the stream (see AV1 section 6.4.2).
74 This can only be set for 4:2:0 streams.
75
76 @table @samp
77 @item vertical
78 Left position (matching the default in MPEG-2 and H.264).
79 @item colocated
80 Top-left position.
81 @end table
82
83 @item tick_rate
84 Set the tick rate (@emph{num_units_in_display_tick / time_scale}) in
85 the timing info in the sequence header.
86 @item num_ticks_per_picture
87 Set the number of ticks in each picture, to indicate that the stream
88 has a fixed framerate.  Ignored if @option{tick_rate} is not also set.
89
90 @item delete_padding
91 Deletes Padding OBUs.
92
93 @end table
94
95 @section chomp
96
97 Remove zero padding at the end of a packet.
98
99 @section dca_core
100
101 Extract the core from a DCA/DTS stream, dropping extensions such as
102 DTS-HD.
103
104 @section dump_extra
105
106 Add extradata to the beginning of the filtered packets except when
107 said packets already exactly begin with the extradata that is intended
108 to be added.
109
110 @table @option
111 @item freq
112 The additional argument specifies which packets should be filtered.
113 It accepts the values:
114 @table @samp
115 @item k
116 @item keyframe
117 add extradata to all key packets
118
119 @item e
120 @item all
121 add extradata to all packets
122 @end table
123 @end table
124
125 If not specified it is assumed @samp{k}.
126
127 For example the following @command{ffmpeg} command forces a global
128 header (thus disabling individual packet headers) in the H.264 packets
129 generated by the @code{libx264} encoder, but corrects them by adding
130 the header stored in extradata to the key packets:
131 @example
132 ffmpeg -i INPUT -map 0 -flags:v +global_header -c:v libx264 -bsf:v dump_extra out.ts
133 @end example
134
135 @section eac3_core
136
137 Extract the core from a E-AC-3 stream, dropping extra channels.
138
139 @section extract_extradata
140
141 Extract the in-band extradata.
142
143 Certain codecs allow the long-term headers (e.g. MPEG-2 sequence headers,
144 or H.264/HEVC (VPS/)SPS/PPS) to be transmitted either "in-band" (i.e. as a part
145 of the bitstream containing the coded frames) or "out of band" (e.g. on the
146 container level). This latter form is called "extradata" in FFmpeg terminology.
147
148 This bitstream filter detects the in-band headers and makes them available as
149 extradata.
150
151 @table @option
152 @item remove
153 When this option is enabled, the long-term headers are removed from the
154 bitstream after extraction.
155 @end table
156
157 @section filter_units
158
159 Remove units with types in or not in a given set from the stream.
160
161 @table @option
162 @item pass_types
163 List of unit types or ranges of unit types to pass through while removing
164 all others.  This is specified as a '|'-separated list of unit type values
165 or ranges of values with '-'.
166
167 @item remove_types
168 Identical to @option{pass_types}, except the units in the given set
169 removed and all others passed through.
170 @end table
171
172 Extradata is unchanged by this transformation, but note that if the stream
173 contains inline parameter sets then the output may be unusable if they are
174 removed.
175
176 For example, to remove all non-VCL NAL units from an H.264 stream:
177 @example
178 ffmpeg -i INPUT -c:v copy -bsf:v 'filter_units=pass_types=1-5' OUTPUT
179 @end example
180
181 To remove all AUDs, SEI and filler from an H.265 stream:
182 @example
183 ffmpeg -i INPUT -c:v copy -bsf:v 'filter_units=remove_types=35|38-40' OUTPUT
184 @end example
185
186 @section hapqa_extract
187
188 Extract Rgb or Alpha part of an HAPQA file, without recompression, in order to create an HAPQ or an HAPAlphaOnly file.
189
190 @table @option
191 @item texture
192 Specifies the texture to keep.
193
194 @table @option
195 @item color
196 @item alpha
197 @end table
198
199 @end table
200
201 Convert HAPQA to HAPQ
202 @example
203 ffmpeg -i hapqa_inputfile.mov -c copy -bsf:v hapqa_extract=texture=color -tag:v HapY -metadata:s:v:0 encoder="HAPQ" hapq_file.mov
204 @end example
205
206 Convert HAPQA to HAPAlphaOnly
207 @example
208 ffmpeg -i hapqa_inputfile.mov -c copy -bsf:v hapqa_extract=texture=alpha -tag:v HapA -metadata:s:v:0 encoder="HAPAlpha Only" hapalphaonly_file.mov
209 @end example
210
211 @section h264_metadata
212
213 Modify metadata embedded in an H.264 stream.
214
215 @table @option
216 @item aud
217 Insert or remove AUD NAL units in all access units of the stream.
218
219 @table @samp
220 @item insert
221 @item remove
222 @end table
223
224 @item sample_aspect_ratio
225 Set the sample aspect ratio of the stream in the VUI parameters.
226
227 @item overscan_appropriate_flag
228 Set whether the stream is suitable for display using overscan
229 or not (see H.264 section E.2.1).
230
231 @item video_format
232 @item video_full_range_flag
233 Set the video format in the stream (see H.264 section E.2.1 and
234 table E-2).
235
236 @item colour_primaries
237 @item transfer_characteristics
238 @item matrix_coefficients
239 Set the colour description in the stream (see H.264 section E.2.1
240 and tables E-3, E-4 and E-5).
241
242 @item chroma_sample_loc_type
243 Set the chroma sample location in the stream (see H.264 section
244 E.2.1 and figure E-1).
245
246 @item tick_rate
247 Set the tick rate (num_units_in_tick / time_scale) in the VUI
248 parameters.  This is the smallest time unit representable in the
249 stream, and in many cases represents the field rate of the stream
250 (double the frame rate).
251 @item fixed_frame_rate_flag
252 Set whether the stream has fixed framerate - typically this indicates
253 that the framerate is exactly half the tick rate, but the exact
254 meaning is dependent on interlacing and the picture structure (see
255 H.264 section E.2.1 and table E-6).
256
257 @item crop_left
258 @item crop_right
259 @item crop_top
260 @item crop_bottom
261 Set the frame cropping offsets in the SPS.  These values will replace
262 the current ones if the stream is already cropped.
263
264 These fields are set in pixels.  Note that some sizes may not be
265 representable if the chroma is subsampled or the stream is interlaced
266 (see H.264 section 7.4.2.1.1).
267
268 @item sei_user_data
269 Insert a string as SEI unregistered user data.  The argument must
270 be of the form @emph{UUID+string}, where the UUID is as hex digits
271 possibly separated by hyphens, and the string can be anything.
272
273 For example, @samp{086f3693-b7b3-4f2c-9653-21492feee5b8+hello} will
274 insert the string ``hello'' associated with the given UUID.
275
276 @item delete_filler
277 Deletes both filler NAL units and filler SEI messages.
278
279 @item level
280 Set the level in the SPS.  Refer to H.264 section A.3 and tables A-1
281 to A-5.
282
283 The argument must be the name of a level (for example, @samp{4.2}), a
284 level_idc value (for example, @samp{42}), or the special name @samp{auto}
285 indicating that the filter should attempt to guess the level from the
286 input stream properties.
287
288 @end table
289
290 @section h264_mp4toannexb
291
292 Convert an H.264 bitstream from length prefixed mode to start code
293 prefixed mode (as defined in the Annex B of the ITU-T H.264
294 specification).
295
296 This is required by some streaming formats, typically the MPEG-2
297 transport stream format (muxer @code{mpegts}).
298
299 For example to remux an MP4 file containing an H.264 stream to mpegts
300 format with @command{ffmpeg}, you can use the command:
301
302 @example
303 ffmpeg -i INPUT.mp4 -codec copy -bsf:v h264_mp4toannexb OUTPUT.ts
304 @end example
305
306 Please note that this filter is auto-inserted for MPEG-TS (muxer
307 @code{mpegts}) and raw H.264 (muxer @code{h264}) output formats.
308
309 @section h264_redundant_pps
310
311 This applies a specific fixup to some Blu-ray streams which contain
312 redundant PPSs modifying irrelevant parameters of the stream which
313 confuse other transformations which require correct extradata.
314
315 A new single global PPS is created, and all of the redundant PPSs
316 within the stream are removed.
317
318 @section hevc_metadata
319
320 Modify metadata embedded in an HEVC stream.
321
322 @table @option
323 @item aud
324 Insert or remove AUD NAL units in all access units of the stream.
325
326 @table @samp
327 @item insert
328 @item remove
329 @end table
330
331 @item sample_aspect_ratio
332 Set the sample aspect ratio in the stream in the VUI parameters.
333
334 @item video_format
335 @item video_full_range_flag
336 Set the video format in the stream (see H.265 section E.3.1 and
337 table E.2).
338
339 @item colour_primaries
340 @item transfer_characteristics
341 @item matrix_coefficients
342 Set the colour description in the stream (see H.265 section E.3.1
343 and tables E.3, E.4 and E.5).
344
345 @item chroma_sample_loc_type
346 Set the chroma sample location in the stream (see H.265 section
347 E.3.1 and figure E.1).
348
349 @item tick_rate
350 Set the tick rate in the VPS and VUI parameters (num_units_in_tick /
351 time_scale).  Combined with @option{num_ticks_poc_diff_one}, this can
352 set a constant framerate in the stream.  Note that it is likely to be
353 overridden by container parameters when the stream is in a container.
354
355 @item num_ticks_poc_diff_one
356 Set poc_proportional_to_timing_flag in VPS and VUI and use this value
357 to set num_ticks_poc_diff_one_minus1 (see H.265 sections 7.4.3.1 and
358 E.3.1).  Ignored if @option{tick_rate} is not also set.
359
360 @item crop_left
361 @item crop_right
362 @item crop_top
363 @item crop_bottom
364 Set the conformance window cropping offsets in the SPS.  These values
365 will replace the current ones if the stream is already cropped.
366
367 These fields are set in pixels.  Note that some sizes may not be
368 representable if the chroma is subsampled (H.265 section 7.4.3.2.1).
369
370 @item level
371 Set the level in the VPS and SPS.  See H.265 section A.4 and tables
372 A.6 and A.7.
373
374 The argument must be the name of a level (for example, @samp{5.1}), a
375 @emph{general_level_idc} value (for example, @samp{153} for level 5.1),
376 or the special name @samp{auto} indicating that the filter should
377 attempt to guess the level from the input stream properties.
378
379 @end table
380
381 @section hevc_mp4toannexb
382
383 Convert an HEVC/H.265 bitstream from length prefixed mode to start code
384 prefixed mode (as defined in the Annex B of the ITU-T H.265
385 specification).
386
387 This is required by some streaming formats, typically the MPEG-2
388 transport stream format (muxer @code{mpegts}).
389
390 For example to remux an MP4 file containing an HEVC stream to mpegts
391 format with @command{ffmpeg}, you can use the command:
392
393 @example
394 ffmpeg -i INPUT.mp4 -codec copy -bsf:v hevc_mp4toannexb OUTPUT.ts
395 @end example
396
397 Please note that this filter is auto-inserted for MPEG-TS (muxer
398 @code{mpegts}) and raw HEVC/H.265 (muxer @code{h265} or
399 @code{hevc}) output formats.
400
401 @section imxdump
402
403 Modifies the bitstream to fit in MOV and to be usable by the Final Cut
404 Pro decoder. This filter only applies to the mpeg2video codec, and is
405 likely not needed for Final Cut Pro 7 and newer with the appropriate
406 @option{-tag:v}.
407
408 For example, to remux 30 MB/sec NTSC IMX to MOV:
409
410 @example
411 ffmpeg -i input.mxf -c copy -bsf:v imxdump -tag:v mx3n output.mov
412 @end example
413
414 @section mjpeg2jpeg
415
416 Convert MJPEG/AVI1 packets to full JPEG/JFIF packets.
417
418 MJPEG is a video codec wherein each video frame is essentially a
419 JPEG image. The individual frames can be extracted without loss,
420 e.g. by
421
422 @example
423 ffmpeg -i ../some_mjpeg.avi -c:v copy frames_%d.jpg
424 @end example
425
426 Unfortunately, these chunks are incomplete JPEG images, because
427 they lack the DHT segment required for decoding. Quoting from
428 @url{http://www.digitalpreservation.gov/formats/fdd/fdd000063.shtml}:
429
430 Avery Lee, writing in the rec.video.desktop newsgroup in 2001,
431 commented that "MJPEG, or at least the MJPEG in AVIs having the
432 MJPG fourcc, is restricted JPEG with a fixed -- and *omitted* --
433 Huffman table. The JPEG must be YCbCr colorspace, it must be 4:2:2,
434 and it must use basic Huffman encoding, not arithmetic or
435 progressive. . . . You can indeed extract the MJPEG frames and
436 decode them with a regular JPEG decoder, but you have to prepend
437 the DHT segment to them, or else the decoder won't have any idea
438 how to decompress the data. The exact table necessary is given in
439 the OpenDML spec."
440
441 This bitstream filter patches the header of frames extracted from an MJPEG
442 stream (carrying the AVI1 header ID and lacking a DHT segment) to
443 produce fully qualified JPEG images.
444
445 @example
446 ffmpeg -i mjpeg-movie.avi -c:v copy -bsf:v mjpeg2jpeg frame_%d.jpg
447 exiftran -i -9 frame*.jpg
448 ffmpeg -i frame_%d.jpg -c:v copy rotated.avi
449 @end example
450
451 @section mjpegadump
452
453 Add an MJPEG A header to the bitstream, to enable decoding by
454 Quicktime.
455
456 @anchor{mov2textsub}
457 @section mov2textsub
458
459 Extract a representable text file from MOV subtitles, stripping the
460 metadata header from each subtitle packet.
461
462 See also the @ref{text2movsub} filter.
463
464 @section mp3decomp
465
466 Decompress non-standard compressed MP3 audio headers.
467
468 @section mpeg2_metadata
469
470 Modify metadata embedded in an MPEG-2 stream.
471
472 @table @option
473 @item display_aspect_ratio
474 Set the display aspect ratio in the stream.
475
476 The following fixed values are supported:
477 @table @option
478 @item 4/3
479 @item 16/9
480 @item 221/100
481 @end table
482 Any other value will result in square pixels being signalled instead
483 (see H.262 section 6.3.3 and table 6-3).
484
485 @item frame_rate
486 Set the frame rate in the stream.  This is constructed from a table
487 of known values combined with a small multiplier and divisor - if
488 the supplied value is not exactly representable, the nearest
489 representable value will be used instead (see H.262 section 6.3.3
490 and table 6-4).
491
492 @item video_format
493 Set the video format in the stream (see H.262 section 6.3.6 and
494 table 6-6).
495
496 @item colour_primaries
497 @item transfer_characteristics
498 @item matrix_coefficients
499 Set the colour description in the stream (see H.262 section 6.3.6
500 and tables 6-7, 6-8 and 6-9).
501
502 @end table
503
504 @section mpeg4_unpack_bframes
505
506 Unpack DivX-style packed B-frames.
507
508 DivX-style packed B-frames are not valid MPEG-4 and were only a
509 workaround for the broken Video for Windows subsystem.
510 They use more space, can cause minor AV sync issues, require more
511 CPU power to decode (unless the player has some decoded picture queue
512 to compensate the 2,0,2,0 frame per packet style) and cause
513 trouble if copied into a standard container like mp4 or mpeg-ps/ts,
514 because MPEG-4 decoders may not be able to decode them, since they are
515 not valid MPEG-4.
516
517 For example to fix an AVI file containing an MPEG-4 stream with
518 DivX-style packed B-frames using @command{ffmpeg}, you can use the command:
519
520 @example
521 ffmpeg -i INPUT.avi -codec copy -bsf:v mpeg4_unpack_bframes OUTPUT.avi
522 @end example
523
524 @section noise
525
526 Damages the contents of packets or simply drops them without damaging the
527 container. Can be used for fuzzing or testing error resilience/concealment.
528
529 Parameters:
530 @table @option
531 @item amount
532 A numeral string, whose value is related to how often output bytes will
533 be modified. Therefore, values below or equal to 0 are forbidden, and
534 the lower the more frequent bytes will be modified, with 1 meaning
535 every byte is modified.
536 @item dropamount
537 A numeral string, whose value is related to how often packets will be dropped.
538 Therefore, values below or equal to 0 are forbidden, and the lower the more
539 frequent packets will be dropped, with 1 meaning every packet is dropped.
540 @end table
541
542 The following example applies the modification to every byte but does not drop
543 any packets.
544 @example
545 ffmpeg -i INPUT -c copy -bsf noise[=1] output.mkv
546 @end example
547
548 @section null
549 This bitstream filter passes the packets through unchanged.
550
551 @section prores_metadata
552
553 Modify color property metadata embedded in prores stream.
554
555 @table @option
556 @item color_primaries
557 Set the color primaries.
558 Available values are:
559
560 @table @samp
561 @item auto
562 Keep the same color primaries property (default).
563
564 @item unknown
565 @item bt709
566 @item bt470bg
567 BT601 625
568
569 @item smpte170m
570 BT601 525
571
572 @item bt2020
573 @item smpte431
574 DCI P3
575
576 @item smpte432
577 P3 D65
578
579 @end table
580
581 @item transfer_characteristics
582 Set the color transfer.
583 Available values are:
584
585 @table @samp
586 @item auto
587 Keep the same transfer characteristics property (default).
588
589 @item unknown
590 @item bt709
591 BT 601, BT 709, BT 2020
592 @end table
593
594
595 @item matrix_coefficients
596 Set the matrix coefficient.
597 Available values are:
598
599 @table @samp
600 @item auto
601 Keep the same transfer characteristics property (default).
602
603 @item unknown
604 @item bt709
605 @item smpte170m
606 BT 601
607
608 @item bt2020nc
609 @end table
610 @end table
611
612 Set Rec709 colorspace for each frame of the file
613 @example
614 ffmpeg -i INPUT -c copy -bsf:v prores_metadata=color_primaries=bt709:color_trc=bt709:colorspace=bt709 output.mov
615 @end example
616
617 @section remove_extra
618
619 Remove extradata from packets.
620
621 It accepts the following parameter:
622 @table @option
623 @item freq
624 Set which frame types to remove extradata from.
625
626 @table @samp
627 @item k
628 Remove extradata from non-keyframes only.
629
630 @item keyframe
631 Remove extradata from keyframes only.
632
633 @item e, all
634 Remove extradata from all frames.
635
636 @end table
637 @end table
638
639 @anchor{text2movsub}
640 @section text2movsub
641
642 Convert text subtitles to MOV subtitles (as used by the @code{mov_text}
643 codec) with metadata headers.
644
645 See also the @ref{mov2textsub} filter.
646
647 @section trace_headers
648
649 Log trace output containing all syntax elements in the coded stream
650 headers (everything above the level of individual coded blocks).
651 This can be useful for debugging low-level stream issues.
652
653 Supports AV1, H.264, H.265, (M)JPEG, MPEG-2 and VP9, but depending
654 on the build only a subset of these may be available.
655
656 @section truehd_core
657
658 Extract the core from a TrueHD stream, dropping ATMOS data.
659
660 @section vp9_metadata
661
662 Modify metadata embedded in a VP9 stream.
663
664 @table @option
665 @item color_space
666 Set the color space value in the frame header.  Note that any frame
667 set to RGB will be implicitly set to PC range and that RGB is
668 incompatible with profiles 0 and 2.
669 @table @samp
670 @item unknown
671 @item bt601
672 @item bt709
673 @item smpte170
674 @item smpte240
675 @item bt2020
676 @item rgb
677 @end table
678
679 @item color_range
680 Set the color range value in the frame header.  Note that any value
681 imposed by the color space will take precedence over this value.
682 @table @samp
683 @item tv
684 @item pc
685 @end table
686 @end table
687
688 @section vp9_superframe
689
690 Merge VP9 invisible (alt-ref) frames back into VP9 superframes. This
691 fixes merging of split/segmented VP9 streams where the alt-ref frame
692 was split from its visible counterpart.
693
694 @section vp9_superframe_split
695
696 Split VP9 superframes into single frames.
697
698 @section vp9_raw_reorder
699
700 Given a VP9 stream with correct timestamps but possibly out of order,
701 insert additional show-existing-frame packets to correct the ordering.
702
703 @c man end BITSTREAM FILTERS