ぷらなりあ のブログたち

ぷらなりあの思いとやりたいことなどを綴ります

論文AdventCalendar6日目: reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper

論文AdventCalendar6日目: reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper

AdventCalendar6日目です。

 

自分のやりたいこと・ビジョンをずっと考えて苦しむ毎日です。

兎にも角にも論文を読みまくって「どんなところが良かったのか」「どこに新規性を感じたのか」「どういう思想でそのものを作ったか」をいろんな論文をまとめつつ判断していかなければなぁと思います。

 

それではやっていき。

今回読んだ論文

Kyung Yun Choi, Darle Shinsato, Shane Zhang, Ken Nakagaki, Hiroshi Ishii

による、

”reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper” を読んでいきます。

アブスト

  • Tangible memory-notebookを作成する
    • 周囲の音を保存し、それを実態のある共有可能な記憶に変換する、実態のある記憶ノート
    • 紙は記録された音を再生し、その形状を変形して音と同期した動きを生成する
  • 記憶を思い出すには2Dディスプレイは情報が触覚アクチュエートに対して乏しすぎる
    • 記憶を思い出すのに、デジタル視覚は、視覚以外の感覚で体験した記憶を思い出す唯一の手段ではない
  • 記憶を保存・思い出し・共有する新手法を開発するために音を表す紙の実態のある動きが「思い出」をどう強化するか調査する

 

reMiを使用している画像のスクリーンショット

結論

  • 周囲の音を記憶し、紙の動きと保存した音を再生することによって記憶を思い出すTangible memory-bookであるreMiを紹介した
    • ポケットサイズのノートとして実装した
  • 強調されたユースケースシナリオより、人々がどんな状況でもreMiを携帯し、貴重な瞬間をより個人的に捉え、他の人と共有し、実態のある空間で記憶を思い出すプロセスを通じて新たなストーリーを作る様子を想像している

実装・検証

  • デジタル時代以前のポケットジャーナルが個人的な思い出を書き留め、日記として保存したり他の人と共用する一般的な手段であったことに着目した
  • reMiは紙を折り、破れる、とい2つのインスタレーションアフォーダンスがある
    • 紙を折ると、マイクがトリガーされ音声録音され、紙に保存される
    • ページの角を折り曲げるようにして貴重な瞬間をブックマークできる
  • ページを破ることで他人と思い出を共有できる
    • 機械らしくないデザインで電源コネクタとしても機能する木製バインダクリッパを設計した

reMiのハードウェア構造を描いている図のスクリーンショット
  • Teensy3.2がバックカバーにコントローラーとして設置され、micophone、リチウムイオン電池(3.7V/2500mAh)、powerconverter(Adafruit PowerBoost1000)を使用した
  • 背面にはスピーカと銅テープで作られた制御回路を設置した
    • ユーザがページ上部の角を折り曲げると角の銅テープが接触して制御回路と電池が接続される
    • 回路がオンになるとマイクが録音を始める
    • 銅線のバインディングは電気的に絶縁されており、各ページをMCUに接続する
  • ページはポリプロピレンシートを使用し、レーザーカッターを使用して様々な折り目パターンを彫刻した
    • 形状が変化する紙の変形を大きくするために、形状記憶合金(SMA)ファイバーをカスタマイズし、最大歪み率を高めるコイルを作成した
  • ページの角を広げると、音声録音が終了する
    • 録音された音声をフーリエ変換して音声周波数をパルス幅変調のデューティサイクルに、振り幅をSMAアクチュエーションの駆動回路にマッピングする
  • 切り離されたページの制御回路は録音された音声を再生しながら紙の動きをアクチュエーションする。そのため外部電源(3 ~ 5V)に接続する必要がある
    • 電源コネクタとして木製のバインダクリップを使用した

使用シナリオ

  • 記憶ディスプレイ
    • 旅のあとに、旅で記憶した波の音を写真をアーカイブするように保存できる
    • reMiで再び記憶した音を聞くことができ、そして波の音を表す紙の動きに触ることができる
  • カード
    • reMiのページには絵を書くことができる
    • 例えばヨセミテ国立公園に行った際の滝の音を録音しながらページにクリスマスの挨拶を書くと、カードがヨセミテの滝で手を振っているかのように動き始める
  • 記念品を包む
    • reMiはものを包むことができ、現在の新しいストーリで覆われた過去からの別の物理的な記念品となる。
      • 例えば、ジョンが裏庭で妹と遊んだ小さなおもちゃを見つけ、それをジョンの妹にあげて昔の楽しいひとときを思い出させたいと思い、彼は周囲の音をreMiに録音し、ページを切り取っておもちゃをラッピングする。
  • 記念を共有するスクラップブック
    • 思い出を共有するスクラップブックとしての役割も果たせる
      • 例えば、ジョンとジェーンは、ジョンがプロポーズして以来一緒に過ごした瞬間を記録するためにreMiを持ち歩き、女の子のマリーが生まれると、ノート全体が彼女の両親の歴史をまとめたストーリーリテリングブックとなる
        • 将来的に、ジェーンがマリーの妊娠を知った瞬間が書かれたページに、マリーが母親のお腹の中で動いた音をページが表現し、両親の愛着を深める

Introduction

「楽しい時間を楽しむことに素晴らしいのは、その思い出を思い出すことです(James Lendall Basford)」

  • 過去のことを思い出すことは人々が関係を築き維持することに役立つ
  • 他の人と思い出を共有することでストーリーリテリングが強化される[10]
  • デジタルデバイスである写真やビデオでは、2Dスクリーンの裏側にある視覚的な手がかりが記憶を呼び起こすことに不十分な手段であり、さまざまな身体感覚を使用して対話することを可能にする物理的なアーティファクトとは比較にならない[2, 9]
  • 記憶を記録し思い出す新しい方法を探求するためにHCIコミュニティの研究者は異なる方法で物理的なアーティファクトに焦点を当ててきた
  • Bennett ら [1] は、物語や回想をサポートするために、実体のあるタイルを設計した
  • Nostalgia [6] は、織物の工芸品を使用して、高齢者の記憶を呼び起こした
  • 最近、回想のための記憶の手がかりとしての音の可能性が示された
    • Dib ら [3] と Petrelli ら [8] は、音は写真よりも刺激的で個人的な記憶の手がかりであることを示した
  • Frohlich ら [4] は、オーディオ データを物理的なオブジェクトに保存すると、物語を添付できるという利点があることを示した
  • 自然音や周囲の音が、人々が記録するのに最も好まれる聴覚の手がかりであることが証明されている [7, 5]。
  • このプロジェクトでは、音を使用して瞬間を捉え、それを紙の実体のある動きに変換した。
    • そうすることで、実体のある動きがどのように音に命を吹き込み、「回想」を強化できるかを調査する
    • そのプロトタイプとして音と実体的なインタラクションをシームレスに統合するために、ポータブルなreMiを作った

参考文献（興味あるもののみ記載）

[1] P. Bennett, H. Hinder, S. Kozar, C. Bowdler, E. Massung, T. Cole, H. Manchester, and K. Cater. 2015. TopoTiles: Storytelling in Care Homes with Topographic Tangibles (CHI EA ’15). 911–916.

[2] L. Ciolfi and M. McLoughlin. 2011. Physical keys to digital memories: reflecting on the role of tangible artefacts in" Reminisce". (2011).

[3] L. Dib, D. Petrelli, and S. Whittaker. 2010. Sonic Souvenirs: Exploring the Paradoxes of Recorded Sound for Family Remembering (CSCW ’10). 391–400.

[4] D. Frohlich and R. Murphy. 2000. The Memory Box. Personal Ubiquitous Comput. 4, 4 (Jan. 2000), 238–240.

[5] Karin Niemantsverdriet and Maarten Versteeg. 2016. Interactive Jewellery As Memory Cue: Designing a Sound Locket for Individual Reminiscence (TEI ’16). ACM, 532–538.

[6] M. Nilsson, S. Johansson, and Maria Håkansson. 2003. Nostalgia: An Evocative Tangible Interface for Elderly Users (CHI EA ’03). 964–965.

[7] G. Oleksik and Lorna M. Brown. 2008. Sonic Gems: Exploring the Potential of Audio Recording As a Form of Sentimental Memory Capture (BCS-HCI ’08). 163–172.

[8] D. Petrelli, N. Villar, V. Kalnikaite, L. Dib, and S. Whittaker. 2010. FM Radio: Family Interplay with Sonic Mementos (CHI ’10). 2371–2380.

[9] D. Petrelli, S. Whittaker, and Jens B. 2008. AutoTopography: What Can Physical Mementos Tell Us About Digital Memories? (CHI ’08). 53–62.

[10] E. van Den Hoven, C. Sas, and S. Whittaker. 2012. Introduction to this special issue on designing for personal memories: past, present, and future. Human–Computer Interaction 27 (2012), 1–12.

感想

石井裕先生が構想を練っていると各所で言っている ”TeleAbsence” の試作機という印象を感じた。映像と音声だけでなく、より多く・豊かな身体情報(Tangibility)で記憶を保存し、表現することは個人的には結構気になっている。

記憶を表現するMediumが動画や写真、録音しかなく、それを拡張して過去の、そして現在進行形でできている思い出をもっと豊かに思い出せるようにしたいからである。

ということは自分はRadical AtomsとTeleAbsenceを実装したい、というような感覚にもなっている。少なくとも「ヒトとMediumの表現を拡張する」ということが自分の大枠としてのやりたいことなのかもしれない。

—以上—