Spirula Studio で3DGSを作る：360°動画をそのまま入れて、1本のアプリで仕上げる

YK360の最近の作例は、ほとんどを Spirula Studio というソフトで作っています。360°カメラで撮った動画を入れると、3DGS（3D Gaussian Splatting）のデータができあがるまでを1本のアプリで済ませられる、無料のオープンソースソフトです。

この記事では、植物園のサボテン温室を作ったときの実際のデータを使って、何ができるのか、以前のやり方と何が変わったのかをまとめます。

Spirula Studio とは

写真や動画から3DGSを学習（再構成）するためのソフトです。主な特徴は次のとおりです。

無料・オープンソース（GPL-3.0）。Windows・Linux・macOS で動きます
メーカーを問わずGPUで動く。Vulkan で動くため、NVIDIA だけでなく AMD・Intel・Apple のGPUでも学習できます
前処理が全部入り。動画からのフレーム切り出し、カメラ位置の推定（SfM）、AIによるマスク、学習、メッシュ化までがアプリの中で完結します。Python や COLMAP を別に入れる必要はありません
360°カメラ・魚眼レンズにそのまま対応
量子化した学習で、8GBのVRAMでも最大1,000万個のガウシアン（SH3）を扱えるとされています
画面は日本語を含む多言語に対応。GUI と、自動化向けのコマンドライン版があります

開発はほぼ1人の開発者によるもので、1〜2週間おきに新しい版が出ています。

これまでは、1つの空間を3DGSにするまでに、いくつものツールを渡り歩いていました。

ツールをまたぐたびに形式の変換や設定の受け渡しが発生し、どこかで向きや縮尺がずれると最初からやり直しでした。

Spirula Studio では、Osmo 360 の動画ファイルをそのまま読み込めます。魚眼2枚を切り出し、カメラの位置を推定し、学習するところまで、同じ画面で進みます。

360°カメラは全方位を撮るので、撮影している自分が必ず写ります。そのまま学習すると、空間のあちこちに人影のノイズが残ります。

Spirula Studio は、写り込んだ人をAIで自動的に見つけて、学習から外すマスクを作ってくれます。

以前はここを手作業で直すか、写り込みを避けるように撮影を工夫するしかありませんでした。撮影のときに「自分が写らないように」と気にしなくてよくなったのは、現場では大きな違いです。

サボテン温室のデータは、次の条件で作りました。

できあがったデータは、そのままサイトで動かしています。サボテン温室の3Dを動かしてみる

書き出したデータの向きを確認する。 表示に使うビューアによっては、そのままだと上下や前後が回転して見えます。公開する前に、使うビューアで必ず向きを確認してください（YK360ではWeb用に変換するときに向きを補正しています）
Web向けには軽量化が別に必要。 学習結果は数百MBになることがあります。ブラウザで動かすには、点数の間引きや圧縮形式（SOGなど）への変換をしてから載せます（軽量化と埋め込みの記事）
更新が速い。 新しい機能がどんどん入る一方で、設定の名前や挙動が版ごとに変わることがあります。案件の途中で版を上げるときは、前のデータが同じように作れるか確かめてからにしています
ライセンスは GPL-3.0。 ソフト自体を改変して配布するときの決まりで、作った3Dデータの利用を縛るものではない、というのが一般的な理解です

撮影から公開までをまとめてお任せいただくこともできます。ご相談はお問い合わせから。作例はWorksで実際に動かせます。