サイトアイコン Game Apps

動画に合わせて音楽と効果音を一度に生成！　イレブンラボが『Instant Soundtracks』を10月15日に提供開始

Appbank編集部
ElevenCreativeのInstant Soundtracks紹介。緑と水色のぼかし背景

イレブンラボ（ElevenLabs）は10月19日、アップロードした動画に合わせてオリジナルの音楽と効果音を一度に生成する『Instant Soundtracks』を、10月15日に提供開始したと発表しました。『ElevenCreative』『ElevenMusic』『ElevenAPI』で利用できます。

動画の内容を読み取り、音楽と効果音を生成

『Instant Soundtracks』は、アップロードした動画を解析し、その内容に合わせたオリジナルの音楽を生成する機能です。あわせて効果音が必要な場面を検出し、各シーンのタイムスタンプに合わせて効果音も生成します。

想定される用途は、SNS向けのショート動画、YouTube動画、商品紹介動画、イベントの告知映像などです。動画をアップロードするだけで、音楽と場面に合わせた効果音がそろいます。

ショート動画向けのタイミング改善とムードの切り替え

ショート動画のテンポに合わせて、音楽のタイミングが改善されました。

シーンの雰囲気に合わせて、音楽のムードを切り替えることもできます。たとえば、テンポの速いシーンではEDMやR&B、ゆったりとした親密なシーンではアコースティックギターに切り替わるとのことです。

動画内の音声を参照した生成にも対応

動画に入っている元の音楽のジャンル、BPM、楽器構成などを参照し、その特徴に合わせた音楽を生成することもできます。

『ElevenCreative』では音楽と効果音を別レイヤーで編集

『ElevenCreative』のMusic Video Editorでは、効果音が音楽とは別のレイヤーとして表示されます。そのため、それぞれを個別に確認・調整できます。

効果音の追加、タイミングの調整、音楽の差し替えも可能です。仕上がった動画はそのまま書き出せます。

商用利用が可能

生成した音楽と効果音は、商用利用が可能です。イレブンラボの音楽生成モデルは、権利者とのライセンス契約に基づいて開発されているとのことです。

利用できるサービスと『ElevenAPI』の新パラメータ

10月15日から、以下のサービスで利用できます。

『ElevenAPI』のVideo to Music APIでは、新パラメータとしてadd_sfx、separate_tracks、use_audio_as_referenceに対応しています。

separate_tracks=trueを指定すると、音楽と効果音を別ファイルとしてZIPで受け取れ、後工程でミックスできます。1回のリクエストで処理できる動画は最大10本です。

モバイルバージョンを終了