【実例あり】リップシンクAIおすすめ4選|DomoAI・Canvaの使い方も紹介

おすすめリップシンクAI

「VTuberやSNS用に、1枚のイラストや写真を喋らせたい」「既存の動画に別の音声を当てて、口の動きを合わせたい」。そんな用途で使えるのがリップシンクAIです。

ネコマル

実際に作ってみたよ! こんなものです。

ただしツールによって、対応素材や料金プラン、商用利用できるかどうかは大きく異なります。

この記事では、DomoAI・HeyGen・Canva・CapCutのリップシンクAIを公式サイトの情報をもとに比較しました。使い方や料金、日本語対応、商用利用の可否まで整理しています。

目次

リップシンクAIとは?音声に合わせて口を動かす技術

リップシンクは「唇(lip)」と「同期(sync)」を組み合わせた言葉で、音声と口の動きをAIで自動的に同期させる技術を指します。画像や動画に写っている口の動きを、AIが音声に合わせて自動生成します。

主な用途は次のとおりです。

  • AIアバターやキャラクターを喋らせる
  • 既存の動画を別の言語に吹き替える
  • 音楽に合わせて歌うキャラクター動画を作る
  • SNS向けのショート動画を作る

今回紹介する4ツールは、素材(画像・動画)をアップロードするか、用意されたアバターを選ぶかたちで、音声と組み合わせて動画を生成します。

おすすめのリップシンクAI4選を比較

今回比較するのは、DomoAI・HeyGen・Canva(HeyGenアプリ)・CapCutの4つです。いずれも公式サイトで使い方を確認できるツールを選びました。

スクロールできます
サービス名対応素材無料プラン日本語対応
DomoAI画像・イラスト・動画(アニメ/実写)無料トライアル(15クレジット)UI・音声とも対応
HeyGenアバター・動画・既存動画の翻訳月3本・最長1分までUI・音声とも対応
Canva
(HeyGenアプリ)
画像3回まで無料対応
CapCut画像・動画無料対応(一部英語表記あり)

HeyGenは有料プラン(Creator・Pro・Business)で生成した動画なら、商用利用を含めて自由に使えます(規約違反による契約解除時などを除く)。収益化や広告制作に使う予定がある場合は、契約前に各社の利用規約を確認しておくと安心です。

DomoAIのリップシンクAIで画像・イラストを喋らせる方法

DomoAIは、テキストや画像、動画をアニメ風・リアル風・アート風のスタイルに変換できる生成AI動画プラットフォームです。正面を向いた写真やイラストを1枚アップロードするだけで、話すキャラクター動画に変換できるのが特徴です。

DomoAI公式サイト AIリップシンク
出典:DomoAI公式サイト

使い方

STEP
素材(正面を向いた画像や音声)をアップロード

▼音声は事前に用意した音声ファイルをアップロードしてみます。

音声ファイルのアップロードのほか、その場での録音、テキスト読み上げ(TTS)のいずれかからも選べます。

STEP
プロンプトを任意で追加し「生成」をクリック

今回は男の子のイラストを、「手を振りながら喋る」というプロンプトを付与して生成してみます。

STEP
生成を待ち完成したら履歴から確認・ダウンロード

動画が完成するまでは数秒〜数分かかります。完成したら右側の履歴欄に表示されるので、クリックすることで確認できます。ダウンロードも可能です。

実際に作成したリップシンク動画がこちらになります。

料金プラン

無料トライアルでは15クレジットが付与されます。

有料プランはベーシック・スタンダード・プロ・チームの4段階です。

月間のクレジット数は、ベーシックが500、スタンダードが1500、プロが4000です。スタンダード以上のプランには「Relaxモード」があり、生成速度を落とす代わりにクレジットを消費せず無制限に生成できます。クレジットが減るのは、高速生成(Fastモード)や高画質化などの高度な機能を使うときです。

DomoAIは2023年にサービスを開始し、公式サイトによるとグローバルユーザーは500万人以上、これまでに30億件以上のプロジェクトが作成されました。日本のテレビ朝日でも取り上げられた実績があります。

あわせて読みたい
DomoAIの料金を徹底解説|全プラン・クレジット・支払い方法まとめ 「DomoAIを使ってみたいけれど、料金がドル表記でいくらかかるのか分かりにくい」と感じていませんか。海外発のサービスは日本円での目安やクレジットの仕組みが見えづ...

HeyGenのリップシンクAIは多言語の動画翻訳が得意

HeyGenは、テキストや音声からAIアバター動画を作れるプラットフォームです。既存の動画に別の音声を当てはめる「動画翻訳」機能が充実しており、多言語吹き替えを軸に使いたい人に向いています。

HeyGen公式サイトのリップシンク機能ページ
出典:HeyGen公式サイト

リップシンクの使い方

手順は、まず音声をアップロードするかテキストを入力します(MP3やWAVなどの一般的な音声形式に対応)。次に、HeyGenのAIアバターを選ぶか、自分の動画クリップをアップロードするかを選択しましょう。あとはAIが生成し、プレビューで確認してから書き出せます。

多言語の動画翻訳にも対応

既存の動画やYouTubeのリンクを使い、175以上の言語・方言へ音声吹き替えとリップシンクをまとめて変換できる「動画翻訳」機能があります。1本の動画を最大10言語まで同時に選んで翻訳することも可能です。

顔が映っていない動画向けに、リップシンクを適用せず音声だけを翻訳するモードも選べます。

料金プランは無料〜Business

無料プランは月3本・最長1分までの動画に対応し、クレジットカードの登録は不要です。有料プランはCreator(月29ドル、年払いなら月24ドル)、Pro(月49ドル〜)、Business(月149ドル+1席あたり20ドル)の3段階のほか、要問い合わせのEnterpriseプランも用意されています(調査時点)。1ドル150円前後で計算すると、Creatorは月4,350円程度が目安になります(実際の請求額は決済時の為替レートで変わります)。

商用利用については、有料プラン(Creator・Pro・Business)で生成した動画は、商用利用を含めて自由に使えます(規約違反による契約解除時などを除く)。一方で無料プランの生成物は個人利用や社内評価目的に限定されており、販売や広告、クライアントワークなどの商用利用はできないと利用規約に明記されています。

CanvaでAIリップシンク動画を作る方法

Canva自体にリップシンクの標準機能があるわけではなく、Canva内のアプリマーケットプレイスにある「HeyGen AI Avatars」というアプリを使うことで、口パク動画を作れる仕組みです。

Canva公式サイトのリップシンク機能ページ
出典:Canva公式サイト

HeyGenアプリでの操作手順

STEP
Canvaでデザインを開き、「アプリ」から「HeyGen AI Avatars」を検索

▼ 既存のデザイン上でリップリンク生成を進めることもできますし、新規デザインで作成することも可能です。

なお、Canvaのアカウントとは別に、HeyGen自身のアカウントでサインインが必要です。アカウントを持っていない場合は新規作成が必要となります。

STEP
素材を選ぶ or アップロード、台本(スクリプト)を入力しボイスを選択

Canvaの場合、あらかじめAIアバター素材とボイスの提供があるので、今回はそちらを利用してみました。台本だけ自分で作成し入力欄に入れています。

▼ 設定・入力が済んだら、下の方にある「動画を生成」ボタンをクリックします。

STEP
完成を待ち、できたら「デザインに追加」する

リップシンク動画が生成されるまで数秒〜数分待ちます。完成したら、「デザインに追加」を押してください。

今回できたリップシンク動画は以下のようになりました。

無料で使えるのは3回まで

HeyGen AI Avatarsアプリ自体は、どのCanvaプランでも追加料金なしで使い始められます。ただし無料で生成できるのは3回までで、それ以降はHeyGenアプリ側の有料プランへの加入が必要です。

CapCutのAIリップシンクは無料でSNS動画に使いやすい

CapCutは、動画編集とAI機能を使える動画編集ツールです。書き出した動画をTikTokやYouTubeへ直接共有できるため、SNS向けのショート動画を作る人との相性が良いツールです。

CapCut公式サイトのリップシンク機能ページ
出典:CapCut公式サイト

CapCut内でのリップシンクの使い方

画像または動画(人物・アニメキャラクター・ペットなど顔が映っているもの)をアップロードし、「動画」タブの「基本」から「リップシンク」を有効にします。セリフはテキスト入力によるAI音声、または自分の音声ファイルのアップロードのいずれかを選べます。

リップシンク機能は13の言語と1000種類以上のAI音声に対応しています。日本語については、CapCutのテキスト読み上げ機能で対応が確認できました。書き出した動画は、そのままTikTokやYouTubeへ共有することも可能です。

なお、リップシンク機能はCapCutのデスクトップ版での利用が案内されています。古いバージョンでは機能が表示されないこともあるため、アプリを最新版に更新してから試すとよいでしょう。

用途別|リップシンクAIの選び方

ここまでの内容をふまえて、目的別におすすめのツールを整理しました。

1枚の写真やイラストから喋らせたい人(VTuber・SNS向け)

DomoAIがおすすめ。アニメやイラストにも対応しており、無料トライアルで試せます。

収益化や広告に使う予定がある人

商用利用が利用規約に明記されているDomoAI、またはHeyGenの有料プランを選ぶと安心です。

既存の動画を多言語に翻訳したい人

HeyGenの動画翻訳機能なら、175以上の言語・方言に対応し、リップシンクなしの吹き替えも選べます。

普段からCanvaでデザイン作業をしている人

Canva内のHeyGen AI Avatarsアプリを使えば、デザインを開いたまま口パク動画を作れます。

まずは無料で試してSNSに投稿したい人

CapCutなら無料でダウンロードでき、TikTokやYouTubeへそのまま共有できます。

リップシンクAIに関するよくある質問

リップシンクAIは無料でどこまで試せますか?

無料の範囲はツールごとに異なります。DomoAIは15クレジット分のトライアル、HeyGenは月3本・最長1分、CanvaのHeyGenアプリは3回までと、それぞれ上限が決まっています。

リップシンクAIは日本語に対応していますか?

今回紹介した4ツールは、いずれも公式サイトが日本語表示に対応しています。テキスト読み上げ(TTS)の音声にも日本語が用意されているため、日本語のセリフをそのまま入力して使えます。

イラストやアニメのキャラクターでもリップシンクできますか?

できます。DomoAIはアニメ・カートゥーン・CGIスタイルのキャラクターに対応していると公式に案内されており、静止画のイラストからでも話す動画を作れます。CapCutもアニメキャラクターを対象素材として挙げています。

DomoAIとCanva、どちらを使えばいいですか?

1枚の画像からアニメ調のキャラクターも作りたい場合は、DomoAIが選択肢になります。普段の作業がCanva中心で、デザインの流れの中で口パク動画を作りたい場合は、CanvaのHeyGen AI Avatarsアプリが使えます。

まとめ:リップシンクAIは用途で選べば失敗しない

リップシンクAIは、音声に合わせて口の動きを自動生成する技術です。DomoAI・HeyGen・Canva・CapCutは、それぞれ対応素材や料金、商用利用の可否が異なります。

1枚の画像からアニメ調のキャラクターも作りたいならDomoAI、多言語の動画翻訳を重視するならHeyGen、Canvaでの作業を止めたくないならHeyGen AI Avatarsアプリ、まずは無料で試したいならCapCutが選択肢になります。

料金プランや商用利用の条件は変更されることがあるため、実際に使う前に各公式サイトで最新情報を確認してください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次