Automated Movie Generation via Multi-Agent CoT Planning

Beste­hende Sys­teme zur Gener­ierung von Spielfil­men ver­fü­gen nicht über eine automa­tisierte Pla­nung und erfordern manuelle Eingaben für Hand­lung, Szenen, Kam­er­aführung und Inter­ak­tio­nen der Charak­tere, was zu hohen Kosten und Inef­fizien­zen führt. Um diese Her­aus­forderun­gen zu meis­tern, stellen wir MovieAgent vor, eine automa­tisierte Film­gener­ierung mit­tels Mul­ti-Agen­ten Chain of Thought (CoT) Pla­nung. MovieAgent bietet zwei wesentliche Vorteile: 1) Wir erforschen und definieren zunächst das Par­a­dig­ma der automa­tisierten Film-/Lang- video­gener­ierung. Aus­ge­hend von einem Drehbuch und ein­er Charak­ter­daten­bank kann unser MovieAgent Videos mit mehreren Szenen und Auf­nah­men in Lang­form mit ein­er kohärenten Erzäh­lung gener­ieren und dabei die Kon­sis­tenz der Charak­tere, syn­chro­nisierte Unter­ti­tel und einen sta­bilen Ton während des gesamten Films sich­er­stellen. 2) MovieAgent führt einen hier­ar­chis­chen, auf CoT basieren­den Denkprozess ein, um Szenen, Kam­er­ae­in­stel­lun­gen und Kine­matogra­phie automa­tisch zu struk­turi­eren, was den men­schlichen Aufwand erhe­blich reduziert. Durch den Ein­satz mehrerer LLM-Agen­ten, die die Rollen des Regis­seurs, des Drehbuchau­tors, des Sto­ry­board-Kün­stlers und des Loca­tion-Man­agers simulieren, ratio­nal­isiert MovieAgent die Pro­duk­tion­spipeline. Exper­i­mente zeigen, dass MovieAgent neue Spitzen­ergeb­nisse in Bezug auf Skript­treue, Charak­terkon­sis­tenz und erzäh­lerische Kohärenz erzielt. Unser hier­ar­chis­ches Frame­work ist ein Schritt nach vorn und bietet neue Ein­blicke in die vol­lau­toma­tis­che Filmer­stel­lung.

Quelle: Auto­mat­ed Movie Gen­er­a­tion via Mul­ti-Agent CoT Plan­ning