いのいち勉強日記

Sakana AIでResearch Engineerをしています。京大薬学研究科でPhDをとりました。Kaggle Grandmasterです。

話題の「RADiCAL」3Dモーションキャプチャ使ってみました!

f:id:sys-bio:20180511190406p:plain

アメリカニューヨークのスタートアップ「RADiCAL」が開発した全身モーションキャプチャシステムが2018年5月に公開されました!
 
getrad.co
 
こちらスマートフォンで普通に動画を撮るだけでそれを3Dのモーションキャプチャされた動画にしてくれます!
これまで必要だった特殊なセンサーやカメラが必要ないんですよ!!
 
さっそく使ってみましたので、簡単に感想まとめてみます。

 

撮影条件

 
まず撮影するためには専用のアプリを使う必要があります!
 

RADiCAL Motion

RADiCAL Motion

  • Radical Solutions, LLC
  • 写真/ビデオ
  • 無料
 
今のところはiOSでしかアプリがリリースされておりません。
Androidでも今後アプリが公開される予定です。→公開されています!
play.google.com

 
このアプリの使い方は非常に簡単!
開いたら動画が撮影できる画面になりますので
録画開始のボタンを押すだけです!
 
注意点は横向きでしか使えないので画面の回転ロックを外して
スマホを横向きにして撮影しましょう。

 
撮影時のポイントはこんな感じ。

・撮影時はカメラを固定すること。
・一度に撮影できるのは一人だけ。
・全身を撮ること。
・背景はなんでもOK
・素早い動きの時は240FPSで撮る。

 
 

アカウント登録をする

 
撮影した動画を3Dにするためにはアカウント登録が必要です!
ホームページに入って右上のボタンから簡単にアカウント作成できます。
必要なのはメールアドレスとパスワードだけです。
 
RADiCAL – AI-powered 3D animation
(ホームページ再掲)
 
アカウントについてですが、
「無料」「サブスクリプション」「使った分だけ払う」
この3種類用意されています。
 
無料の場合は本来アップロードできるのは1分までなのですが、
2018年5月11日現在のベータ版では動画の長さが合計5分までアップロードできます!


 
 

モーションキャプチャ完成

 
スマホのRADiCALのアプリで撮影して
ぽちぽちボタンを押していくと簡単にアップロードできました!
 
すると「アップロードできたよ」っていうメールが来ます。
3Dモーションキャプチャにするにはいくらか時間がかかります。
処理してもらえる順番は有料のものにすると早くなるようです。
 
私の場合は20分ほどで終わりました!!
こちらも処理が終わるとメールが送られて来ました!
 
出来上がった動画はこちら。
f:id:sys-bio:20180511184304g:plain
 
おおー!ちゃんとモーションキャプチャされてますね!

画面上でクリックして動かしたり、
スクロールするといろんな角度や距離から見ることができます!

また「Sketchfeb」で見ることもできます!
私はほぼ使ったことないのですが…。
 


またダウンロードについてなのですが、
FBXファイルをダウンロードできるようになるそうです。
しかし、2018年5月時点ではまだダウンロードはできない感じです。
 
いずれにせよ、ダウンロードは有料版じゃないとできないようです。
→詳細は追記参照!!!無料版でもダウンロードできます!
 
 

FBXダウンロードしてみました!

 
RADiCALで作成したモーションキャプチャーのデータをダウンロードしてみました!
 
FBXファイルをUnityにインポートしてとりあえずUnityちゃんに踊ってもらいました!
 


 
おおーー!!!スマホで撮っただけでこれができるのはすごい!
人間の自然な動きとか作るのがすごく楽になりそう!
 
 

スマホでVR/AR再生!

 
FBXをダウンロードしてUnityにわざわざインポートしなくてもスマホ上で作成したモーションを試せるようになりました!
これまではRADiCALのサイトにいかないと見れなかったんですが、スマホで見れるのでとても便利です!
 
特徴は…
・スタジオモードとARモードがある。
・キャラを変えることができる。

 
これが簡単にスマホ上でできます!
 
【スタジオモード】


 
 
【ARモード】

 
サンプル動画もいくつかあるので、アプリをダウンロードするだけで試すことができます!
 
 

まとめ

 
簡単に3Dモーションキャプチャができてびっくりです。
 
しかも、普通のスマホのカメラから撮っただけでできるってめっちゃすごいですね!!!!!スマホ上でできるってことでモーションキャプチャーが一気に身近なものになった感じです!
 

 
ちょうど一年前にこんな記事があってすごいなーと思ってたらもうこんな風に誰でも使えるようなレベルの技術になるんですね。
 
安価な単眼RGBカメラだけで人の骨格の動きを検出、3Dキャラクターにリアルタイム反映できる新技術が論文にて公開。Kinectより低コストで精度も良。野外もOK | Seamless
(注:ちなみにこの技術がRADiCALに使われているかはわかりません。)
 
今回のRADiCAL、3Dモーションキャプチャを作るのに必要なのは
アプリをダウンロードしてアカウント登録するだけ!
 
すごく簡単なのでぜひ一度試してみてください!!!
 
 

*****追記(2018/10/16)*****

 
今のところパーソナルプランでは、
 
・合計3分までの動画アップロード
・合計20秒までのfbxファイルダウンロード

 
が無料でできるようです!
 
 
~~~ほかにもVRの記事などまとめてますので是非ごらんください!!~~~
 
www.inoichan.com
www.inoichan.com
www.inoichan.com