HoloLensプレゼン支援アプリ「Holoプレゼンター」の制作から展示まで その1 ~HoloLensハッカソン編~

ようやく一段落したので、ブログにかけますε-(´∀`; )

今年の2月にHoloLensハッカソンに参加し、その後いろいろあったことを書きます。

今回はハッカソンの時のことだけ書きます。「いろいろあったこと」については次の記事で書きます。

 

HoloLensって何??

まずHoloLensを知らない人のために、HoloLensが何か簡単に説明します。一言で言えばHoloLensはMicrosoftが開発した自己完結型ホログラフィックスコンピュータです。VRHMDのように目の前にディスプレイのついたデバイスなのですが、このデバイス単体がコンピュータそのものでWindowsで動いています。また、VRではなくMR(Mixed Reality)であるため、現実の世界にバーチャルな物体があるように見え、現実物体とバーチャル物体を同時に見ることができます。よって歩き回りながら利用できます!さらに、現実の空間を3Dスキャンできるので、手のジェスチャーでバーチャルオブジェクトを操作したりもできます。

こちらの動画を見ていただけるとそのすごさがわかると思います(^o^)

 

もっと知りたい方はMicrosoftのページをご覧ください。

 

 

HoloLensハッカソン1日目

「HoloLensすげー!」、「開発してみたい!!」と思っている矢先にHoloLensハッカソンが開催されるということを耳にしました。しかも学生は参加無料!ハッカソンは初めてというか、IT系の勉強会も行ったことなかったですが、思い切って参加することにしました。

HoloLensハッカソン

そして当日、めちゃくちゃ緊張しながら会場へ

f:id:IKEP:20180525163203j:plain

 

まずはアイデア出し。テーブルごとに思い思いのアイデアを出し合い付箋に書いていく方式でした。

その後、出たアイデアの中からそれぞれが作りたいものを選んでそれがチームに!(すごく斬新!)

 

チームに分かれてアイデア出し

私は「プレゼンテーションの支援を行うHoloLensアプリ」を作るチームに参加しました。先ほどのアイデア出しではまだ漠然としたものだったので、プレゼン支援をコンセプトにさらにアイデアを膨らませました。

f:id:IKEP:20180525164833p:plain

ハッカソンの中でこのアイデア出しが最も時間をかけてやったと思います。他のチームは1日目の終わり頃にはアイデア出しが終わり開発を始めたくらいだったと思いますが、私のチームは1日目を全てアイデア出し、設計に費やしたぐらいだったと思います。

 

このアイデア出しの時に思ったことなどをいくつか。

1. とりあえず何でも言って見る

私も含め全員が、思ったことは何でも言っていました。実現可能性を抜きにした理想も多く話していました。また、しょーもない小さなことでもとりあえず言うことで、そこから別の人がアイデアを膨らませたりということがあり、非常にアイデアだしが楽しいものでした。人のアイデアの否定はありませんでした。このように人のアイデアの否定をせず、どんなことでも言い合えるチーム作りというのが、アイデア出しでは非常に大切だなと感じました。これがその後の制作で、わからないことがあれば妥協せずに助けあって実装できることにつながるからです。

 

2. どういう人を対象にどういう状況で使うものかを考える

これは審査員である日本マイクロソフト株式会社 HoloLensテクニカルエバンジェリストの高橋忍さんからのアドバイスですが、どういう人を対象にどういう状況で使ってもらうのかを詳細に考えることで、その状況でどう言った問題点があるのか、その問題をHoloLensでどうやったら解決できるのかと言ったことが見えてくるというものです。

これは特に、もの作りをする企業のエンジニアにとって必要だと思いました。

これを考えることで誰に対して、作ったコンテンツを売るべきなのか、そのコンテンツを使えば顧客にとってどういう利点があるのかを明確に説明できるようになります。

逆に顧客が決まっている状況で開発をするなら、どういう状況で使うのかを詳細に聞くことで、顧客が認識していない新たな問題点や解決策をエンジニア目線から提案できるのではないでしょうか?

そこで私たちは「プレゼンが苦手な人を対象に、うまいプレゼンができているように見せかける」アプリを作ることにしました。すると、「HoloLensのカメラで聴衆の写真を撮りFaceAPIで表情値をHoloLensに表示する」というアイデアがありましたが、プレゼンが苦手な人だとこれは余計に焦ることになるという考えに。一方、プレゼンが苦手な人は、プレゼンのスライドだけでなく喋る内容も表示されていたら助かるだろうと、メモの表示機能をつけることに。

また、プレゼンのテクニックの1つに「聴衆をエリアごとに何分割かして、そのエリアを順番に定期的に見ながら喋ると、聴衆は自分を見られていると勘違いする」といったものがあります。これにより説得力のあるプレゼンになります。しかし、プレゼンが苦手な人はこういうことは当然できないので、これをHoloLensで自然にできるようにしようと...。HoloLens上で視線誘導のオブジェクトを自動で動かすことで、プレゼンターはそれを見続けながら、喋るだけで勝手にこのテクニックをできるようになります。

 

設計方法の話し合い

イデア出しでプレゼンが苦手な人の問題点をどう解決するかということは決まりました。ではどういったUIで設計し実装するのかを話し合いました。

ここでも高橋さんよりアドバイスをいただきました。「Microsoftでも模型を利用したMRデモの作成などアナログな作業を行うことも非常に大切」と。こうして完成イメージを共有することで、のちに大きな差が出ることがなくなるということだそうです。

f:id:IKEP:20180525174108j:plain

 

私はチーム開発をあまりしたことがなく1人で完成イメージを持っているということが良くありました。しかし、チーム開発だと完成イメージの共有は確かに必要だと納得させられました。

また、私は1人で何かを作る時、設計はあまりしっかりとはしていませんでした。しかしチーム開発では設計こそが命だと思いました。なぜなら、しっかりと設計を行うことは役割分担にも役立ち実装イメージもつきます。後に機能追加をする時にも設計をチームで共有できていれば誰でも機能追加が簡単にできるからです。

そこで設計をいろいろ考えて書き起こしたのがこちら↓

f:id:IKEP:20180525175458j:plain

中央にスライドを表示し、原稿やメモを右下に、プレゼン開始からの経過時間とスライドごとの喋る目安の時間を左下に表示するといったUIです。右にいろいろ書かれているのはUnityでの実装の構造案です。スライドごとにスライドの画像、その時に喋るメモ、喋る目安時間を持っていることが示してあります。また、スライド画像、メモ、目安時間のうち中央に表示するものを切り替える案も出ていました。

 

ここまでのアイデア出し、設計で1日目は終わってしまいました。

 

 

2日目、いざ開発!!

1日目にしっかりと設計をしたので開発は非常にスムーズにできたのではないかと思います。

f:id:IKEP:20180525181008j:plain

テスト中の様子です(笑)

 

最終的に実装した内容としてはスライドの表示、メモ(原稿)の表示、プレゼン開始からの経過時間表示、スライドごとの目安時間の残り時間表示、視線誘導、です。

 

 

成果発表

成果発表はプレゼン形式でしたので実際に作ったアプリで発表しました( ̄▽ ̄)

f:id:IKEP:20180525182202j:plain

 

「PCばかり見ずに、前を見てプレゼンできるようにしました」ということを伝えるために↓のスライドを移すも.....

f:id:IKEP:20180525182623j:plain

 「あなたに言いたい」というツッコミが(笑)

発表を続け.....

 

f:id:IKEP:20180525183314j:plain

 

f:id:IKEP:20180525183346j:plain

「おお、スライドが動いた!」という声も....

しかし、PCとHoloLensの連携機能は実装できなかったので.....

「えーっとですね、シェアリングの機能が実装できなかったのでモーションに関しては今回ちゃんとモニターと連動できてません。なので後ろで操作してもらってました」
「ただ、HoloLens上では時間が表示されてるので、
あと1分3秒喋ることができるのはわかってます!」

との返し、チームメンバーが頼もしすぎる(泣)

 

そして、デモ映像を見せる!!

HoloLens上ではスライド、メモ、スライドごとの目安時間が切り替えられています。

また、PCとの連携機能もできましたが、発表用には間に合いませんでした。

*成果発表前のテスト時の動画なのでスライドやメモの内容は異なっています。

 

そして、他のチームも発表を終え審査結果発表へ〜

 

審査結果発表、まさかの.....

審査基準は「面白く、HoloLensならではの独創性があるもの」でした。

まずはハッカソン会場を提供いただいたスタートアップカフェ賞をいただきました(≧∀≦)

理由は「スタカフェさんのイベントで実際に使って見たい」といったようなことだったと思います。(間違ってたらすみません!!)

f:id:IKEP:20180525185314j:plain

スタカフェ賞の景品については次の記事で.....

 

そして、他のチームの受賞を見つつ、純粋に結果発表を見ていました。そして、Microsoft賞の発表がくるとなんと......

f:id:IKEP:20180525185746j:plain

まさかのダブル受賞*(^o^)/*

理由は「HoloLensならではであり、拡張性がある」とのこと。

そして、Tシャツと非売品のマグカップをいただきました!

f:id:IKEP:20180525190117j:plain

 

そして、参加者、関係者全員で写真を撮ってハッカソン終了〜

f:id:IKEP:20180525190323j:plain

 

参加しての感想

HoloLensの開発、ハッカソンは共に初めてでしたがここでは書ききれないほど非常に多くのことを学んだハッカソンでした。技術的なこと以外にも、チーム開発で有効なアイデアだしや設計の方法、その時に気をつけるべきこと、制作物を他人にどう伝えるべきかなど、ハッソンでしたことすべてが有意義なものでした。

また、今回作ったものは実は非常にシンプルなプログラムでできています。しかし、2つの賞をいただくことができました。人に評価されるかはアイデア次第でどうにでもなるんだなと実感しました。

「プレゼン」は誰もすることだろうと思うのでこのアプリをビジネスレベルで使えるようにしたらすごそうだな....。実際私も、学校でのプレゼンに使いたいです!!! (笑)

 

余談

先日のde:code2018で登壇されたMicrosoftの社員である、ちょまどさんのツイート

Holoプレゼンター使ってもらいてぇぇぇ! 笑

 

 

次回はスタカフェ賞の内容について、記事を書きます。

(まだ開発が続くとは.....ボソッ)