カテゴリ
ブログ
ペッパソン2017

ロボットで人の働き方を変える！？「ペッパソン東の陣」

2017.09.29

3年目のペッパソンは、IoT有り、AI有り、ペタゴラあり、彼女あり、的あてありの創造力への挑戦でした！
今年で3年目を迎えるペッパソン。今年は西の陣、東の陣と2箇所での開催。
ハッカソンのテーマは「ロボットで人の働き方を変える」。
AIが強くなった今だからこそ、ロボットが変えていける領域があるはず。そんな、最新技術によって開かれた新しい可能性も期待し、審査基準には「最新技術活用」という項目もあります。
どんな作品がつくられたのか！作られた作品は17作品。全部をご紹介します。
このハッカソンは、最優秀賞100万円の「Pepper App Challenge 2017 Autumn（以下PAC）」と「Mashup Awards 2017（以下MA2017）」の合計賞金200万円が狙えるというお得なハッカソンでもあります。それぞれの応募締切日は違うので注意！（PAC：10/25、MA2017：11/13）
 

作品紹介

まずは最優秀賞作品からご紹介します。
＜最優秀賞＞
■Pepper 先生（ペッチャー）／チーム名：ペッチャー
Pepper がクイズ大会を運営し、子どもに勉強を教えます。
http://hacklog.jp/works/50705
Pepperが子供向けに一問一答を出題！ 子供の顔を認識し、過去の回答状況を理解、パーソナライズされた出題領域やコミュニケーションが提供されます。
専用早押しデバイスも自作した、子供向けPepper先生！

デモはこちら


勉強の成果をでクイズ形式でPepperと共に確認できる「反転授業形式」が、タブレットや所謂授業よりも心理的障壁が低い点が評価されたよう。
審査員のえふしんさんからは、「子供達が楽しく学ぶ方法は永遠の課題。」と今回のアイデアの着眼点を評価するコメントをいただきました。
最優秀賞おめでとうございます。
今回の最優秀賞作品は、ロボットスタート社の取材が入り、後日WEBサイトに公開されます。
また、特大Pepperぬいぐるみが後日提供されるとのことです。

今回の審査は、4つの審査基準を元に、以下の3名の方にお願いしました。
・藤川 真一（えふしん）氏 / BASE株式会社　取締役CTO
・菅原のびすけ氏 / dotstudio株式会社代表/ IoTLT主催
・岡 健太郎氏 / ソフトバンクロボティクス株式会社

 
＜審査基準＞
①最新技術活用：IoTデバイスやAI等の最新技術を活かし、ロボットの可能性を高めていること
②ユーザ体験価値：ロボアプリを通して、ユーザに新たな体験価値を提供すること
③実用性：ロボアプリの実用性が高く、ロボットの活用促進につながること
④完成度：ユーザが実際触れる、動くデモとして実装されていること
 

審査員による、最優秀賞は逃したものの、他の作品も素敵な作品ばかりでした。
最優秀賞以外の全16作品を発表順に一挙紹介します。
■作品名：垂れ流しペッパソン／チーム名：垂れ流しペッパソン
ハッカソンは自由だー！運営側でなく参加者目線でイベントを共有します。
hacklog.jp/works/50715
都合で参加できない人やハッカソンを知らない人にも、現場の雰囲気を味わってもらってハッカソンを楽しんでもらいたい！どうせなら気がついた技術はその場で情報発信したほうがいい。参加者には備忘録や後々思い出として観てもらえます。とのことで、ハッカソン2日間の様子をLIVE配信しましたよ、という作品？！
Pepperのコミュニティのぬくもりと深さを感じる取り組みでした。※実際に、当日残念ながら参加できなかった方からは、見てたよーというコメントが多くありました。

■作品名：担当さん！ /チーム名： pepperで服屋（仮）
pepperにアパレル店員のアシスタントを行ってもらうアプリ
http://hacklog.jp/works/50713

アパレル店舗にて、pepperに人間には言いにくい・言わせにくい事を担当してもらう事で、ネット通販では得られないあたたかさと、リアル店舗では面倒なコミュニケーションを提供し店員をサポートするアプリ。グローリーの顔認証で来客を認識したら、会話がスタート。会話から導き出されるオススメの商品を、ウフルさんのenebularを経由しMESHの光タグを光らせるというところまで完成。

店舗利用シーンでのデモはこちら（MESHが光ります）


実現したかった「言いにくい・言わせにくい事」をというストーリーまでは表現できませんでしたが、enebularとMESHの接続等、ハッカソンテーマでもあるIoTとの連携部分を短時間で実装されていました。審査員岡さんからはそのコンセプトに対し、「ロボット相手だといいにくい事も言えるというのは実績がある。納得。」とPepperの特徴をよく捉えている点を評価するコメントが。

■作品名：Pepper x DeepLearning /チーム名：垂れ流しペッパソン
Pepperが商品を画像認識、は当たり前。わからないものを教えてもらって覚えます。
http://hacklog.jp/works/50711

商品の情報などの画像認識データベースに認識したものが該当しなければ、Bing画像検索経由でインターネットから画像データを収集。ユーザーがPepperに名称を口頭で伝え追加学習することにより、どんどん覚えることができる。


残念ながらデモではうまく認識できず、、。審査員の藤川さんからは「クライアントサイドでディープラーニングをやる時代になりつつあるのかな、と。そういうのはこれからのイシューとして期待したい。」とコンセプト自体への期待をコメント頂きました。

■作品名：ようこそ、宇宙船パイパル号へ！ /  チーム名：りんご制作事務所(仮)
地球に飽きた人類達へ、をコンセプトにした音と光のロボットマジックショー！！
http://hacklog.jp/works/50710
宇宙人Pepperが襲来し、地球の事を学ぶというコンセプトと音と光のマジックショーのコラボレーション作品。
本ハッカソン最年少である高校生二人組が参加するフレッシュなチーム。

宇宙人Pepperとの会話デモはこちら


世界観がとても興味をそそられた作品だったのではないでしょうか。
高校生2人もしっかり役割を果たし（ビジュアル、会話の設定）、初めてのハッカソンをやりきりましたね。

■作品名：ペパぱん／チーム名：ペパぱん
pepperのいるパン屋さん
http://hacklog.jp/works/50709
パン屋にいる看板娘（Pepper）が、お客さんを個別に認識しパーソナライズされたコミュニケーションをしてくれる。
また、デモには至りませんでしたが、自宅にもいるPepperがパンを食べて喜んでいる情報等を取得、パン屋にいるPepperに伝達しPepper接客を向上させる事等、総合的な購入前後のコミュニケーションの提供を目指しました。

顔認識をするデモはこちら


家にもPepperがいて店舗にいるPepperと情報を共有する、という世界観は審査員の方にも新鮮に受け止められていました。
 

■作品名：Pepper Dance / チーム名：Pepper Band
Pepperが演奏に連動してダンス。観客のアクションによって振付変化
http://hacklog.jp/works/50708
サウンドに同期してダンスするPepperと、MESHを使った自作デバイスから指示信号を出すとPepperがダンス中に動作を変えます。自作デバイスとPepperの間にSlackをハブにしWebSocketで通信をすることで実装。ダンスにリアリティを持たせるために、モーションに遅延のバッファを考慮し盛り込むなど工夫が盛り沢山。

審査員の振る自作デバイスに連動したダンスデモはこちら


音楽とモーション連動の細部に至るまでこだわりが感じられた作品でした。
テーマからは少し外れてしまいましたが、チームメンバーの方のそれぞれの役割分担が上手く、このハッカソンを最も楽しんだチームだったのではないでしょうか。

■作品名：”ペタゴラスイッチ”  / チーム名： はっぴーまつもと
VRを使い、Pepeprを遠隔から操作することでいつでもどこからでも授業を行います
http://hacklog.jp/works/50707
ペッパーとIoT機器を連動させた、ピタゴラスイッチ風のペタゴラスイッチ。子供を持つパパ2人の、大人が本気で楽しんで子供も楽しめるPepper連動作品。
Pepperがドミノを押した所からすべてが始まる。
途中でMESHのジャイロタグをドミノが押し、Hueが点灯、MESH照度タグが点灯を検知し、ドライヤーが稼働、ドライヤーの熱をMESHの温度タグが検知をし、、、というように、MESHやさまざまなデバイスの機能を大胆に使いながらも整合性は保つ、まさに大人の遊びそのものでした。

一つ目のデモ動画（Pepperがドミノを倒そとするところ）


二つ目のデモ動画（すーが動いて、人感センサタグで取得できたあたり）


本番のデモは残念ながら上手く行かなかったですが、何がこの2人をここまで誘うのか、、子供よりも「遊びきる」まさに大人の遊びを見た気がします。

■作品名：ドコPe / チーム名：チーム IoP
どこでも召喚ペッパー：あなたのパーソナルペッパーをどこにいるペッパーにも呼び出すことができます
http://hacklog.jp/works/50706
将来自分のペッパーの魂がクラウドにあって、いろんな場所のペッパーが自分のペッパー風にコミュニケーションしてくれるようになるとのこと。
顔認証を通じ、対象人物とPepperの記憶を紐付けて再現しました。

デモでは対象人物を同一し、同じ情報を引き出すところまで実施。


こちらの作品はグローリー賞を受賞しました！

最後の審査員講評でえふしんさんが、今回のハッカソンでは「人間に対しての影響・行動変容がどのようにもたらされるか」を見させてもらいましたと発言をされておりました。
こちらの作品はまさにその最たる例で、複数台コミュニケーションロボットがいる日常に対し、どのようにそれらに向き合うかという命題に取り組んだ作品だったと思います。
このハッカソンで結成されたチームにも関わらず、最後までチームワークが良く、集中力と熱中度は一番だったと思います。
お疲れ様でした！

■作品名：Youtupper  / チーム名：Youtupper
次世代Youtuberが登場！コメントを通してPepperとコミュニケーションを取ろう！
http://hacklog.jp/works/50703
YoutuberとしてPepperをデビューさせようという作品。Youtube Liveのコメントを取得しドコモ雑談対話APIやAzure QnAMakerAPI等を活用し、ペッパーが反応してくれます。
特定のメッセージには特別な動きもします。

デモはこちら


こちらの作品はウフル賞と、Watson賞をダブル受賞！

■作品名：Cat Sipper　/ チーム名：イサナドットネット
猫カフェでスタッフの代わりに、Pepperが猫のしつけ・猫との遊び及び判別を行う。
http://hacklog.jp/works/50702
MESHの人感センサを活用しPepperにネコが近づくと猫じゃらしで遊び、進入禁止エリアに入るとPepperが叱り、碁盤目に張り巡らせたMESHのセンサによりネコの位置を把握し、CognitiveServiceによりネコの種類・位置を把握・モーションボードでビジュアル化する、総合ネコシッターサービス！

デモはこちら


こちらの作品はMotionBoard賞を受賞！

MESHの使い方としては前代未聞？と思われる碁盤目状に張り巡らせる人感センサータグや、MotionBoardを活用した猫ヒートマップ等など。
こちらのチームはサポート企業の技術をフル活用。完成度も高く仕上げていました。

■作品名：あなたのペートナー ぺいかた / チーム名：チームMSB
ペッパーをあなたの相方「ぺいかた」に育てよう！漫才だってできちゃう
http://hacklog.jp/works/50700
顔認証を通じて人物を特定し、会話を学習させることで、Pepperをパーソナライズ化させていこうという作品。
漫才の相方であったり、スナックのママであったり、家族の一員であったり。その使い方は無限大！
ハッカソンでは漫才特化型の開発を目指しました！

ただ、、残念ながらデモにはいたらず、、、
チームメンバーになんと高校生の”びたー”がおり、Pepperを初めて触ってみたら、、こんな動きを実装！
※流行っている動画を模したらしい、、


高校生を含めた3名のチーム。顔認識は”しゅん”、Pepperの動きは”びたー(高校生)”、会話部分は”もーりー”が担当。
デモにはたどり着けませんでしたが、それぞれの役割分担をしっかりしながら、Pepperを楽しんで触っている様子はハッカソンを通じて感じ取れました。
びたー君は貴重な経験になったのではないでしょうか。

■作品名：いっしょに見ようよ / チーム名：圧倒的挑戦（USE）
新しい思い出のアルバム。スマホで撮った旅の写真をpepperに共有。
http://hacklog.jp/works/50699
旅行時スマホで撮影した写真をMicrosoft Cognitive ServicesのAPI群で、感情解析・画像認識を実施。
家で待っている家族に対し、何が写っていて、どこに行っているのか（雑談対話API）、写っている人の表情は喜んでいるか、等をPepperが説明してくれます。

東京タワーを認識するデモはこちら。残念ながら一部分のみしかデモできず、、


こちらのチームはPepperを扱ったハッカソンはペッパソン含め3回連続で参加。
毎回思い出を扱う作品を発表し、今回の作品を思い出3部作の完結編とのことで発表頂きました。
昨年のペッパソンで発表をいただいた「スリー・D・ペッパー」は、オートデスクさんのfusionも活用されていた事から、先日開催されたAutodesk University/Forge DevConでも展示をいただきました！
Autodesk University/Forge DevConでの展示の様子（写真提供Autodesk 小笠原さん)

 

■作品名：全ての頂点に君臨する者（仮） / チーム名：マッシュ＆ルーム
遠方にいる人へ、想いや気持ちをスライドショーにして届けます。
http://hacklog.jp/works/50698
スマホ経由で画像、音声入力などを実施。Pepperタブレットにスライドショーと音声が自動で流れる、遠方にいる家族などに想いや気持ちを届ける作品。
寝たきりの高齢者による利用なども想定し、Pepper側の起動をMESHのボタンタグ経由で実行できる。

おばあちゃん？がMESHでスライドショーを再生するデモはこちら


こちらの作品はソニー賞を受賞！

こちらはペッパソン3回連続参加のマッシュ&ルーム（通称キノコ）チームの発表。
過去2回大会では「神」を作ってきたので今回は「絶対神」を作る！との事で鉄板の笑いをとってきたのですが、、結果は結構ほっこりする発表でした。
番外編のデモはこちら

■作品名：Pepperと的当てしよう /チーム名：七辻屋
Pepperの持っている的にボールを当てる！
http://hacklog.jp/works/50697
Pepperは社会にたくさんいるけれど、子供が自由に触れるものは少ない（触りすぎて壊れてしまったりするので）。
なんとか子供にPepperの楽しみを伝えられないかということで作った作品とのことです。
pepperの持っている的にボールが当たると的に取り付けているMESH（Move）からAzure上のサーバへ当たった情報を伝え点数を算出。pepperは的を動かしてボールを当てにくくし、ゲーム性を高めています。

審査員のびすけさんにボールを投げてもらい、発表者がボールを必死で追うデモはこちら


PepperとMESHの使い方としてはとてもシンプルですが、実現したい機能をミニマムで実装し発表しきりました。
デモまで1人でやってしまいました（主にボール拾いですが）。
最後はボール拾いに慣れていなく肩で息をしながらフィニッシュ。今度は体力もつけて参加して下さい！

■作品名：白井さん　彼女召喚！ / チーム名：白井andホロレンジャーズfeatなおい
触れる、嗅げる、そばに感じれる、そんな彼女が今そこに・・
http://hacklog.jp/works/50694
妄想彼女をホロレンズ・Pepper・IoTの組み合わせで実現したい！という開発者の方の妄想をそのまま具現化したような作品。
ホロレンズで二次元の彼女を認識した後、女性の格好したPepperの手を触ると「会いたかった」と発話。スカートをめくったり、身体を触ったりすると、、、。
また、CPUファンをMESH GPIO経由で回し、いい匂いを充満させるなど、、嗅覚・触覚・視覚を使った彼女の表現にこだわりました。

妄想デモはこちら（閲覧注意）


こちらの作品はMicrosoft賞を受賞！（いやあMicrosoftさんこの写真いいんですか！？ｗ）

ハッカソン初日から終始一貫して彼女を作ると宣言していたチーム。案外？芸が細かく、CPUファンで制汗シートに風を送りいい匂いを演出するなど、その彼女創造へのこだわりは力強いものがありましたね。

■作品名：働き方改革 Pepper  / チーム名：チームMOMONGA
勤怠や開発の生産性をもとにストレスフリーな社内環境をつくるサービス
http://hacklog.jp/works/50690
RFIDや独自デバイスを使用し、社員の出退社や着席姿勢データ等をセンサー取得。MicrosoftCognitiveServicesの感情、顔認識等を活用し、健康状態を予測。ストレスフリーな社内環境を作ることに貢献します。

デモはすみません、、撮影できませんでした。。
 
 
今回のハッカソンで作られた作品は以上です。
一覧はこちらから→　http://hacklog.jp/events/119
 

技術サポート

今回のハッカソンでは、Pepepr、顔認証WebAPI、MotionBoard、Watson日本語版、Microsoft、SONYより技術をサポート頂きました。
        

＜Pepper＞
Pepperはソフトバンクロボティクスが開発した世界初の感情認識パーソナルロボットです。
専用のSDK（Choregraphe）を使用することで、自由にアプリ開発を行えるプラットフォームとして活用できます。ビジュアルプログラミングに対応し、アイディアを直感的かつ簡単に形にすることができます。
＜DataSpider＞
ハブ系 APIに属するソフトウェア。各社から提供されるAPIを組み合わせ活用することも、オリジナルのAPIとして利用することもノンコーディング可能。

＜顔認証WebAPI＞
グローリー顔認証技術をWebAPIでご提供。個人特定に特化したAPIで、高性能な顔認証システムを容易に構築できます。

 ＜MotionBoard＞
IoTデータの可視化やリアルタイムモニタリングをプログラムレスで実現。 モノやセンサーから発せられる、いままで見えなかったデータから気づきを得られる
＜Watson日本語版＞
コグニティブ（認知）・コンピューティング能力を世界で初めて商用化したサービス。画像や言語、音声などの非構造化データを活用し、人の意思決定を支援します。
＜Microsoft Cognitive Service＞
顔認識、音声認識、テキスト読み上げ、画像解析、OCR、言語認識をREST APIやSDK形式で提供します。
＜Neural Network Console＞
学習・評価だけでなく、ニューラルネットワークの設計までも可能なディープラーニング・ツールです。
＜MESH＞
さまざまな機能を持つ消しゴムサイズの電子タグ(MESHタグ)をモノやコトと組み合わせるだけで、だれでも簡単にデジタルなものづくりができるスマートDIYキットです。
＜ROCRO＞
ソニーが提供する自動コードレビュー＆コード修正サービスや自動負荷試験サービスを提供する、総合開発者支援サービス。
＜enebular＞
enebular（エネブラー）は主要なクラウドサービス（API）、データベース、ソーシャルメディアなどのアイコンをつなげるだけでデータ連携を実現するサービスです。
 

イベントの様子

ハッキング前にPepperと一緒に記念撮影（これも定番です）

今回のペッパソンはソフトバンクロボティクスの村林さん、猿田さんが司会。

魔法のことばは「一緒にどうすか？」を元にチームビルディング

初日のランチはハンバーガーもぐもぐ。ペッパソン公式ドリンクも入ります。

チームができたらみんなもくもくハッキングタイム


色々動きもあります。

 
サポート企業の講習も人気！

2日目になると慌ただしくなります



そして発表。審査員の鋭いツッコミもはいりますよー。

プレゼンが終わったら…みんないい顔してるね。終わった後の酒はうまい！

料理も豪華！

 

Pepper App Challenge 2017 Autumn

Peppe App Challenge 2017 Autumn はPepperを利用した作品のコンテスト。最優秀賞は100万円。
今年のテーマは「ロボットも最新技術を求めている」というものです。
Pepper発売から3年が経過し、Pepperを取り巻く環境は大きく変化しました。一つ目の変化はユーザの変化。二つ目の変化はIoTやAIなどロボットと親和性の高い技術の急速な進化です。
この環境を活かして、データを活用し学習させることで、ロボットはもっと賢く、より身近なパートナーになれる可能性があります。
そんな期待が込められたコンテストの審査基準は以下の3つです。
・最新技術活用・・・IoTデバイスやAI等の最新技術を活かし、ロボットの可能性を高めていること
・ユーザ体験価値・・・ロボアプリを通して、ユーザに新たな体験価値を提供すること
・実用性・・・ロボアプリの実用性が高く、ロボットの活用促進につながること
応募の際に必要となるものはこちらの3点なので、準備よろしく！応募〆切は10/25だよ。
・ロボアプリを実機で稼働させている動画のYouTubeリンク
・企画書
・ロボアプリ利用イメージ写真

 

Mashup Awards 2017

そして、最優秀賞金100万円の日本最大級の開発コンテスト「MashupAwards」のご紹介も。
今年の変更点などは、キックオフブログなどを参考にしてみてください。
→【MashupAwards2017応募開始】キックオフ〜言葉じゃ伝わらないから作るんだ〜
応募〆切だけは大切なのでこちらの書いておきますね。11月13日（月）ですよ！！
 
イベント関連リンクこちらをみていただくと、イベントの盛り上がりがより伝わるかと思います！
●つぶやきまとめ（togetter）　：　https://togetter.com/li/1153931
●写真（flickr）　： https://www.flickr.com/photos/100125183@N08/albums/72157686231919151/

みなさま、お疲れ様でした。掛け声は、はいペッパー！

 

蛇足

 ソフトバンクロボティクス  村林さん
ペッパソンは年間を通して私が一番好きなイベントです。ゼロベースから人、発想、技術が繋がり、ものが創られる瞬間を見届けられるのに感動を覚えます。また面白いものを創りたいという皆さんの熱意と集中力からエネルギーをもらいます。
今年は初めてファシリテーションをさせていただきました。未熟なものでご迷惑をおかけしましたが、皆様の温かいサポートと現場力により無事終えることができ感謝しています。反省点は山ほどありますので、次回？のためにMA師匠のもと修行してまいります。
色んな意味でハラハラドキドキのペッパソンでしたが、ここで作られた作品が育て上げられて、Peper App ChallengeとMashup Awardsの決勝戦でお披露目されることを楽しみにしています！
 

たくさんの方に参加頂いたペッパソン。初めてPepperに触る方もいれば、おなじみの方もいて、1年に1回のPepperを介した同窓会の雰囲気もありました。
3年目の今年は、Pepperの活用方法やアイデアの幅が大きく広がり、楽しみ方も人それぞれに進化をしてきたようです。
西の陣からの繰り返しになりますが、ブログを書くまでがハッカソンです。
2日間で学んだこと、感じたことなど、是非ブログに残してみてください。
書いてくださったら、こちらのブログにリンクします。（ので連絡ください）
今回は参加者、関係者含め総勢約80名弱、Pepper30台というとても大きなハッカソンでした。
電源並びにネットワーク環境に気を使うペッパソン。とても素敵な会場を提供いただいたウフルさんに感謝！

 

＜MashupAwardsイベント情報 ＞
以下のコミュニティページ・アカウントにて優先的に公開していますので、是非ご登録をお願いします。

Compassコミュニティ https://mashupawards.connpass.com/
Facebookグループ https://www.facebook.com/groups/382075595204788/MashupAwards
Twitter https://twitter.com/mashupaward

 

関連する記事

記事一覧へ