Unity-Barracuda-Objectron-WebGL

Unity BarracudaでMediaPipe Objectron(Shoe)を動作させるサンプルです。
また、現時点(2021/06/03)でUnityのWebGLはCPU推論のみのサポートです。


※上記イメージはブラウザ上でのWebGL実行(CPU推論)

Demo

動作確認用ページは以下。
https://kazuhito00.github.io/Unity-Barracuda-Objectron-WebGL/WebGL-Build

Requirement (Unity)

• Unity 2021.1.0b6 or later
• Barracuda 1.3.0 or later

FPS(参考値)

WebCamController.cs の Update()の呼び出し周期を計測したものです。
推論に非同期処理のため、FPSは見かけ上のFPSであり、推論自体のFPSではありません。

	Objectron(Shoe)
WebGL CPU：Core i7-8750H CPU @2.20GHz	約2.9FPS CSharpBurst
Unity Editor GPU：GTX 1050 Ti Max-Q(4GB)	約45FPS ComputePrecompiled

※下記イメージはUnity Editor上での実行(GPU推論)

Convert to ONNX

tflite2onnx.ipynbを上から順に実行してください。

Reference

• Barracuda 1.3.0 preview
• MediaPipe Objectron

ToDo

• worker.Execute()に渡す入力形式をWebGLビルドと通常ビルドで切り分ける
  (WebGLビルド：float配列、通常ビルド：Texture)

Author

高橋かずひと(https://twitter.com/KzhtTkhs)

License

Unity-Barracuda-Objectron-WebGL is under Apache v2 License.