サイトロゴ
play_arrow

【コイカツ技術デモ】LLM＋TTS＋VRIK 【koikatsuTechDemo】

投稿者：
mong2
  • 投稿日：2026/6/27
  • 3300 再生
  • 95 いいね

コメント

プラグイン制作テスト(バイブコーディング）１．勝手に話すコイカツキャラ＋プレイヤーチャット　LLM:gemma-4-12b-it-heretic　＆　TTS:IrodoriTTS　キャラが勝手に二人で会話する。よい時代になったものだ。（VoiceはIrodoriTTSのVoiceDesignでゼロから生成）　初回だけ生成に時間がかかる（5秒くらいだが）　プレイヤーも会話に混ぜていただけるのがありがたい。バックグラウンドでLLMにプリフェッチしとくので、ボイス再生の余白が短くてよいと思いました。　あと服や、キャラ同士やプレイヤーとの距離、手がどこにあるかなど「キャラに状況を理解」させてみた。相性よいと思いました。　音声入力は当初からする予定だったがいかんせんラグはあるので、どうしようか検討中　参考）rinon-voice-lab２．VRIK制御　HMDと2つのコントローラを使ったボディー制御。基本はプレイヤー用だが、キャラを同列に扱うようにしつつ、副産物として頭などのIK適応や、自動的な重心適応、Locomotion（ルートが動くと足が動く）などを実装して、今後いろいろできればよいなと思いました。

関連動画