Auto-LipSync Video Podcast Starter (自動リップシンク・ビデオポッドキャスト制作キット)
あなたの音声(または録画動画)から、キャラクターが自動で口パクし、高精度な字幕がつく「ビデオポッドキャスト」を生成するためのテンプレートと手順です。
この仕組みを使えば、誰でも簡単に、自分だけのクールなバイブスのビデオポッドキャストを作り始めることができます。
🌟 コンセプト:なぜこれを作ったのか?
「自分のお気に入りのアバターや世界観で、もっと手軽に、かつ高品質な発信をしたい」 そんな思いからこのプロジェクトは生まれました。
動画編集ソフトを開いて、ポチポチ字幕を作ったり、口パクのアニメーションを手作業で合わせる必要はもうありません。 あなたは「喋る」だけ。あとはプログラムがあなたの代わりに動画を生成してくれます。
🎨 準備するもの(あなただけの世界観を作ろう!)
このシステムを動かすには、あなた自身の「バイブス」を表す素材が必要です。以下のファイルを用意してください。
1. キャラクターの画像(2枚必須)
・avatar_closed.png: 口を閉じている基本の画像
・avatar_open.png: 口を開いている画像(リップシンクで使用します)
・背景はグリーンなど透過処理しやすいように
💡 Tip: 口の形が違う「あ」「い」「う」「え」「お」それぞれ用意すると動きがましリッチな表現にできます
2. 背景画像
・あなたのポッドキャストの「スタジオ」となる背景です。
3. あなたの音声 または 画面録画データ ・話している音声ファイル(.wav や .mp3)、または解説用の画面収録などの動画ファイル(.mov など)。
キャラクター画像と背景画像を合成したものと音声 または 画面録画データをAntigravityやClaude CodeなどのAIエージェントに渡す、
⚙️ 環境構築(エンジニアリングの準備)
この仕組みは Python(音声処理・AI字幕)と React / Remotion(動画生成・アニメーション)を組み合わせて動いています。
■ 必須ツール ・Node.js (動画のレンダリングに使用) ・Python 3.x ( Whisperによる字幕生成や音声処理に使用) ・FFmpeg (メディアファイルの処理に必須)
■ セットアップ手順 ターミナル(コマンドプロンプト)を開き、以下のコマンドを1行ずつ実行します。
リポジトリをクローンしてフォルダに移動します git clone <このリポジトリのURL> cd videoPodcast
React (Remotion) のパッケージをインストールします npm install
Pythonのパッケージをインストールします pip install -r requirements.txt
🚀 制作の4ステップ(魔法のワークフロー)
準備ができたら、あとは以下の手順を踏むだけで動画が完成します。
Step 1: 素材を配置する 用意した音声ファイルや録画データ(例: episode1.mov)を、プロジェクト内の所定のフォルダに配置します。
Step 2: 自動処理スクリプトを実行する(魔法の杖) ターミナルで以下のコマンドを実行します。 これが魔法の杖です。音量を綺麗に整え、Whisper AIを使って高精度の字幕データを全自動で生成します。
python scripts/produce.py
※このスクリプトが、音声の正規化から字幕データの抽出、リップシンク用のタイミング計算までを一気に終わらせてくれます。
Step 3: プレビューとレイアウト調整 Remotionのローカルサーバーを立ち上げて、ブラウザ上で動画の仕上がりを確認します。以下のコマンドを実行します。
npm start
ブラウザが開いたら、以下のポイントを確認・調整します。 ・字幕のタイミングや誤字脱字がないか ・キャラクターの位置や大きさ ・画面収録動画(オーバーレイ)のレイアウト
Reactのコード(src/Root.tsxなど)を少し書き換えるだけで、デザインや配置は自由自在に変更可能です。
Step 4: レンダリング(動画の書き出し) プレビューで「完璧なバイブスだ!」と思ったら、一本の動画ファイルとして書き出します。
npm run build
書き出しが完了したら、out/ フォルダに完成したMP4動画が生成されます。 そのままYouTube、TikTok、X (Twitter) などにアップロードして、あなたの声を世界に届けましょう!
💡 開発者より:カスタマイズを楽しんで!
このプロジェクトのベースはReactです。フロントエンドの知識があれば、字幕にエフェクトをかけたり、複数のキャラクターを登場させたり、テロップの色を動的に変えることも簡単です。
ぜひ、この仕組みをハックして、あなただけの最高のビデオポッドキャスト環境を作ってみてください!








