avfiltergraph: fix format selection.
authorNicolas George <nicolas.george@normalesup.org>
Mon, 23 Apr 2012 14:55:11 +0000 (16:55 +0200)
committerNicolas George <nicolas.george@normalesup.org>
Tue, 24 Apr 2012 14:35:15 +0000 (16:35 +0200)
The old code had two bugs:

For audio filters, the format was not set.

For video filters, if several links reference the same format list,
the same format must be selected in the end. This is done by
setting formats->format_count to 1: the other links sharing
the reference will therefore have only one choice.
If the heuristic does not pick the first format, the selected format
must also be moved to the first position.

libavfilter/avfiltergraph.c

index 23d4042..9d7b956 100644 (file)
@@ -269,12 +269,12 @@ static void pick_format(AVFilterLink *link, AVFilterLink *ref)
                 enum PixelFormat p = link->in_formats->formats[i];
                 best= avcodec_find_best_pix_fmt2(best, p, ref->format, has_alpha, NULL);
             }
-            link->format = best;
-        }else
-            link->format = link->in_formats->formats[0];
+            link->in_formats->formats[0] = best;
+        }
     }
 
     link->in_formats->format_count = 1;
+    link->format = link->in_formats->formats[0];
     avfilter_formats_unref(&link->in_formats);
     avfilter_formats_unref(&link->out_formats);