FlexAvatar Gogh Realtime

Non-commercial, source-available research demo. This is not an official FlexAvatar release and is not OSI-approved open-source software.

画像から作るアバターと、OpenAI Realtime APIの音声会話を組み合わせたローカル研究デモです。会話音声の強さに合わせて、FlexAvatarで事前生成した表情・口形フレームを低遅延で切り替えます。

できること

• OpenAI Realtime API / WebRTCによる日本語音声対話
• 画像フォールバックによる、モデルなしのローカル起動
• 任意のPNG/JPEGキャラクター登録、切替、編集、削除
• 表情6種類、5段階の口形、自動瞬き、待機・発話モーション
• ペルソナ、話し方、読み方辞書、背景・表示位置の調整
• 外部FlexAvatar環境を接続したフレーム生成

最初の起動

Node.js 22以降が必要です。FlexAvatar、GPU、モデル重みがなくても画面と画像フォールバックは起動します。

git clone https://github.com/dechampide/flexavatar-gogh-realtime.git
cd flexavatar-gogh-realtime
Copy-Item .env.example .env
npm ci
npm start

ブラウザーで http://127.0.0.1:3200 を開きます。音声会話を使う場合だけ、.env の OPENAI_API_KEY を自分のキーに置き換えてください。キーはサーバー側に留まり、ブラウザーへ返しません。

FlexAvatarを接続する

FlexAvatar本体、重み、データセット、FLAMEアセットはこのリポジトリに含みません。公式リポジトリを別の場所へ取得し、各利用条件を確認したうえで接続してください。

詳細: docs/FLEXAVATAR_SETUP.md

公開版に含めないもの

• FlexAvatar、Pixel3DMM、FLAMEのソース・モデル・アセット
• runtime/、models/、チェックポイント、追跡結果
• ユーザーが登録した顔画像、背景、生成フレーム
• .env、OpenAI APIキー、個人環境の絶対パス
• 制作中に使った人物画像、スクリーンショット、キャッシュ

公開前検査は、これらがGit管理へ入っていないことと、秘密情報・大容量ファイルがないことを確認します。

npm run verify

倫理上の注意

• 実在人物本人だと誤認させる用途には使わないでください。
• 他者の顔・声・作品を使う場合は、本人同意と素材の利用権を確認してください。
• 公開・配信時は、AIアバターまたは再現表現であることを明示してください。
• 医療、法律、金融など重大な判断を代行させないでください。

ライセンス

本リポジトリは Creative Commons Attribution-NonCommercial 4.0 International の条件で、非商用の研究・教育・検証用途に公開します。商用利用は許諾されていません。

FlexAvatar側のパッケージメタデータにはApache 2.0表記もありますが、公式ルートの LICENSE はCC BY-NC 4.0です。本デモは安全側でCC BY-NC 4.0を採用しています。第三者コンポーネントには各権利者の条件が別途適用されます。

詳しくは THIRD_PARTY_NOTICES.md を確認してください。