ぷらなりあ のブログたち

ぷらなりあの思いとやりたいことなどを綴ります

論文AdventCalendar7日目: milleCrepe: Extending Capabilities of Fluid-driven Interfaces with Multilayer Structures and Diverse Actuation Media

論文AdventCalendar7日目: milleCrepe: Extending Capabilities of Fluid-driven Interfaces with Multilayer Structures and Diverse Actuation Media

AdventCalendar7日目です。刻一刻と年末が迫ってきており絶望しています。

話が変わり、私事ではありますが本日はパソコン甲子園の報告と記念撮影をしました。

グランプリ副賞の米は部活と卒研室でおにぎりパーティをして美味しく消化するらしいです。

 

関係ない話は以上として、本日もやっていき。

今回読んだ論文

Qiuyu Lu, Jifei Ou, Lining Yao, Hiroshi Ishiiによる、

"milleCrepe: Extending Capabilities of Fluid-driven Interfaces
with Multilayer Structures and Diverse Actuation Media"

を読みました。

アブスト

  • 多層構造かつ多様な作動媒体を利用した流体駆動インターフェースの機能を拡張するmilleCrepeを紹介する
    • 異なるレイヤーを選択的に作動させることで複数の形状変化が可能になる
    • 異なるチャンバー層の多様な作動媒体が相互作用し、圧力差によって可能になる物理的なロジック構造を実現できる
    • 多層チャンバーによる2D平面の3Dソリッド変換ができる
    • 色の液体混合物に対応する動的な外観を作成できる
    • 相変化による調整可能な剛性を作成できる
  • 製品設計とインタラクションデザイン設計の両方におけるテクノロジーの可能性提示のためのアプリケーションを作成する

結論

  • Fluid Design Interfaceを拡張するために、多層チャンバー設計戦略であるMille Crepeについて紹介した
  • 異なるチャンバー層の様々な構造と媒体が相互作用し、以前の研究で提示された多くの種類のI/Oのモダリティ変換を提供する方法を示している
  • 駆動薄膜材料のライブラリが拡張される
    • しかし、まだ制限と改善の余地がある
  • 多層シームレスパターン設計を用意にするための設計ツール開発・反復プロセスを合理化するシュミレーション機能を提供できる[14, 42]
  • 湿度・磁場・電場・重量を検出、出力するための機構でさらに機能性が向上する可能性がある

実装・検証

  • milleCrepe複合材は、4種のチャンバー構造・4種の媒体で構成され、多様な設計オプションを提供する(Figure 2)
    • 体積の変更、形状変形、動的外観、調整可能な剛性といった出力形式を備えたインターフェースの実現が可能
    • 組み込みロジック機能は電気を使わなくとも動作し、熱信号や外力の入力によって処理を行う

milleCrepe複合材の用途の可能性を列挙したもの
  • milleCrepeを製造するには、はんだごてを利用して上部2層のみを効果的に密封するために特にプレス距離などの密封パラメータを制御することが重要
  • 体積変化機能では、加圧膨張した複数のチェンバーを統合し、容積を大幅にカスタマイズして調整することができる
    • 厚さ20μmのフィルム8層で密閉され、円形の通気孔で接続された4つの約60cm×60cmのチャンバーを備えたプリミティブが、膨張時に約0.17mmの薄い平面から約1000mmの高さの固体に変形する
    • Prinflatables [33]は、同様の概念を提唱しているが論文で詳細を説明していない
    • 直線形状以外にも方向制御による曲線形状の変形を生み出して鋭い曲げを表現し、(Figure 3.b)、各層のチャンバーを2つの異なるサイズに分割することで大きな半径の曲げが実現できる(Figure 3.c)
    • 様々なつなぎ目を組み合わせて空間曲線を作成できる(Figure 3.d)

体積変化の形状変形例画像のスクリーンショット
      • シームパターンのデザインは、単純な直方体形状を超える変形を可能にするためにカスタマイズ可能である(Figure 4)
        • 4つのシームパターンは積み重ねて密封できるが層を増やすと密封品質が低下し、可逆性が低下する可能性がある

多層の図形をつなげて体積変形をさせたときの画像のスクリーンショット
  • 形状変形では、異なる折り畳みチャンバー層を通気孔で接続せずに積み重ねると、独立した作動により複数の形状を切り替えることができる
    • 複数の層を同時に膨張させると、形状の組み合わせを作成できる(Figure 5.b)

 

空気圧による平面の形状変形例の画像のスクリーンショット
      • 近い層の変形によって入口の空気チャネルがブロックされる可能性があるため、最初に空気の流入口から最も遠いチャンバー層を加圧することが重要である
      • 複合材はフィルム層が少ない側に曲がる傾向があり、折りたたみ方向を制御できる
        • チャンバー層の加圧は上部または下部のフィルムによって妨げられ変形に影響する可能性がある
      • 体積変更プリミティブの場合、1つのフィルム層を前のチャンバーに直接密封することで次のチャンバー層を作成できる
        • 隣接する層が共通フィルムを共有するためフィルムの総量が減少する
          • 1.1barで作動する標準曲げユニットの性能がフィルムの層の数の増加によりどのように影響を受けるかは、継ぎ目の複雑さに応じて最大3~4層のチャンバー(5層のフィルム)を一緒に密封することで最適な複数の形状変換性能を維持できる(Figure 6)

チャンバー層を重ねて体積変化をするフィルムを加圧したときの画像のスクリーンショット
  • 動的外観は、3層の異なるチェンバー層が色のついた液体でパターンが形成されている(Figure 7)
    • 最高・中間・最低レイヤーは連結弁によって中間レイヤーにつながっており、それによって三色の液体が流れ込んで混ざる
    • 一定の入口電流が層流を生成してバーパターンを作成し、不均一な入口電流は乱流を生成して絶えず変化する色を生成する
    • チャネルの閉塞を防ぐため2つのチャンバー層は中間フィルムを共有していない
      • Venous Material[21]と比較すると、よりアクセスしやすい方法で製造できる
      • 柔らかい薄いフィルムで作られており、高度なコンプライアンスを実現できる

外観によって変化がわかるフィルムの画像のスクリーンショット
  • 調整可能な剛性では、位相変換に依存し、非電気的な形状と剛性の変化を可能にできる可能性がある
    • 下部チャンバー層に低温ワックスを充填した曲げプリミティブは、40℃以上の温度にさらされると柔らかくなり、50℃で完全に溶ける。そのため上部のチャンバー層にお湯を入れるとワックスが柔らかくなり、サンプルが折り曲げられる(Figure 8.c)
      • 折りたたまれた形状を維持するために水が冷えてワックスが固まるまで出口を閉じ、ワックスが固まったあとに水が除去されサンプルが折りたたまれた状態を維持する(Figure 8.d)
      • 熱湯を外部熱源によって活性化される前に注入された低沸点液体に置き換えることで自己完結型の形状・剛性変化複合体を作ることができる
        • 熱にさらされると低温液体が沸騰し、チャンバー層が膨張し、他の層のワックスが溶けると複合材が徐々に変形し、熱源が取り除かれるとワックスが固形化しながら熱を放出しつづけ、ワックスが硬化して形状を固定するまで低沸点液体チャンバー層の膨張を維持する

位相変換によって剛性が変化するフィルムの画像のスクリーンショット
  • 組み込みロジック機能では、NOTゲートやNAND/NORなどの論理回路を電気なしに動作できるようにし、マクロなインターフェースの設計に適した仕組みを作っている
    • 従来のNOTゲートは2つの剛性基盤の間の薄いPDMSダイヤフラム膜を変形させるものである(figure 9.a)

組み込みロジックの一覧
    • 薄くて柔軟なフィルムで作ろうとすると、冷間プレス、成形・鋳造、レーザーマイクロ加工などの高度な技術を使用してマイクロスケールのチャネルを作成する必要がある[7]
    • マイクロ流体チップとは異なり、垂直に交差する2つのチャネルを3層のフィルムで密閉することでNOTゲートを作成する。
      • 十分に加圧すると媒体が制御チャネルを満たし、上部の2層フィルムが押しつぶされてメインチャネルがブロックされる
        • マイクロではなく、マクロスケールのインターフェース設計には適している
      • NOTゲートが動作する圧力差Δp(p2 - p1, p1/p2はメイン/コントロールチャネルの入口圧力を指す)を評価する実験を行った
    • 全体の寸法は 80 mm × 50 mm、BOPP フィルムの厚さは 20 𝜇m、継ぎ目幅は 約 1 mm、作動媒体は空気、チャネルは中央に配置され、サンプルの 4 つの角は硬い平らな基板に固定されている。
      • NOTゲートを作成することでNAND/NORゲートを簡単に実装できる(Figure10.c, d)

温度・外力によって動作するNOTゲートの画像のスクリーンショット
      • ORゲートの出力ポートはメインチャネルから分岐し、メインチャネルの半分の幅である
        • 両方の入力が「0」だとメインチャネルに沿ってベントに媒体が流れる
        • いずれかの入力が「1」になるとメインチャネルがブロックされ、圧力が上昇し、曲げユニットを動作することができる
      • Figure10の全ての例は視覚的にわかりやすいように色付きの水で示している
      • 温度に反応するNOTゲートは低沸点液体を使用し、加熱されるとチャンバーの膨張によりメインチャネルがブロックされる
      • 外力に反応するNOTゲートは、少量の空気が注入されており、外力を受けるとチャンバーの内部圧力の上昇によりメインチャネルがブロックされる

関連研究

  • ソフトロボティクスから派生したHCIの研究者は流体作動技術を利用して形状を帰るインターフェースを開発してきた
    • PneUI [40], Printflatables [33], PuPOP, [35], AeroMorph [25], AccordionFab [39], ElliotW.Hawkes et al. [9], Pneuseries [3], and Sustainflatable [19], といったように、様々なメカニズムとマテリアルを探索してきた
    • その中でも、aeroMorph [25]が2層の形状変形メカニズムについて紹介していた
    • AccordionFab [39]はレーザーカットによる複数プラスチックの多層構造を実装していたが、追加の熱抵抗紙が必要であり、3Dオブジェクトの作成に限界がある
    • 低沸点液体、紫外線感受性樹脂(レジン)、水、ガス発声科学物質などの代替作動媒体も研究されてきた[8, 13, 16, 23, 37, 38]
  • マイクロ流体力学では研究者がバルブを使用したオンボードロジック構造を開発している[22, 31]
    • Rajappan ら [29] は、熱シール織物による流体スイッチを実証し、ロジック構造を構築した。
    • しかし、いくつかの研究ではスイッチが高圧下で信号層エアバッグが大きく変形することに依存しており、接続したバルブに障害を引き起こす
    • 流体計算はHCIで注目を集めている[5, 34]がビーム反射メカニズムを使用しているため連鎖可能な構造が制限され、広く採用されているわけではない
    • The Fluidic Computation Kitは複雑な流体計算ユニットを構築するためのモジュール式のブロックを提供するがブロックの製造は労働集約的になる可能性がある[18]
    • 最近の研究努力にも関わらず、FDIには大きな可能性がある
      • この研究では密封された薄い熱可塑性フィルムの層を利用し、チャンバーの異なる層とその作動媒体がどのように連携して複合材料の特性を高め、その機能を拡張できるかに焦点を当てている

 

参考文献(興味あるもののみ記載)

[11] Joshua D Hubbard, Ruben Acevedo, Kristen M Edwards, Abdullah T Alsharhan, Ziteng Wen, Jennifer Landry, Kejin Wang, Saul Schaffer, and Ryan D Sochol. 2021. Fully 3D-printed soft robots with integrated fluidic circuitry. Science Advances 7, 29 (2021), eabe5257.

[21] Hila Mor, Tianyu Yu, Ken Nakagaki, Benjamin Harvey Miller, Yichen Jia, and Hiroshi Ishii. 2020. Venous Materials: Towards Interactive Fluidic Mechanisms. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (Honolulu, HI, USA) (CHI ’20). Association for Computing Machinery, New York, NY, USA, 1–14.

[40] Lining Yao, Ryuma Niiyama, Jifei Ou, Sean Follmer, Clark Della Silva, and Hiroshi Ishii. 2013. PneUI: Pneumatically Actuated Soft Composite Materials for Shape Changing Interfaces. In Proceedings of the 26th Annual ACM Symposium on User Interface Software and Technology (St. Andrews, Scotland, United Kingdom) (UIST ’13). ACM, New York, NY, USA, 13–22. https://doi.org/10.1145/2501988.2502037

[8] Juri Fujii, Satoshi Nakamaru, and Yasuaki Kakehi. 2021. Layerpump: Rapid prototyping of functional 3d objects with built-in electrohydrodynamics pumps based on layered plates. In Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction (Salzburg, Austria) (TEI ’21)

[13] Shuguang Li, Daniel M Vogt, Daniela Rus, and Robert J Wood. 2017. Fluiddriven origami-inspired artificial muscles. Proceedings of the National Academy of Sciences 114, 50 (2017), 13132–13137. https://doi.org/10.1073/pnas.1713450114 arXiv:https://www.pnas.org/doi/pdf/10.1073/pnas.1713450114

[16] Qiuyu Lu, Jifei Ou, João Wilbert, André Haben, Haipeng Mi, and Hiroshi Ishii. 2019. milliMorph – Fluid-Driven Thin Film Shape-Change Materials for Interaction Design. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (New Orleans, LA, USA) (UIST ’19). Association for Computing Machinery, New York, NY, USA, 663–672. https: //doi.org/10.1145/3332165.3347956

[23] Kenichi Nakahara, Koya Narumi, Ryuma Niiyama, and Yoshihiro Kawahara. 2017. Electric phase-change actuator with inkjet printed flexible circuit for printable and integrated robot prototyping. In 2017 IEEE International Conference on Robotics and Automation (ICRA). 1856–1863. https://doi.org/10.1109/ICRA.2017.7989217

[37] Penelope Webb, Valentina Sumini, Amos Golan, and Hiroshi Ishii. 2019. AutoInflatables: Chemical Inflation for Pop-Up Fabrication. In Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems (Glasgow, Scotland Uk) (CHI EA ’19). Association for Computing Machinery, New York, NY, USA, 1–6. https://doi.org/10.1145/3290607.3312860

[38] Michael Wehner, Ryan L Truby, Daniel J Fitzgerald, Bobak Mosadegh, George M Whitesides, Jennifer A Lewis, and Robert J Wood. 2016. An integrated design and fabrication strategy for entirely soft, autonomous robots. Nature 536, 7617 (2016), 451.

[29] Anoop Rajappan, Barclay Jumet, Rachel A Shveda, Colter J Decker, Zhen Liu, Te Faye Yap, Vanessa Sanchez, and Daniel J Preston. 2022. Logic-enabled textiles. Proceedings of the National Academy of Sciences 119, 35 (2022), e2202118119.

[22] Bobak Mosadegh, Tommaso Bersano-Begey, Joong Yull Park, Mark A Burns, and Shuichi Takayama. 2011. Next-generation integrated microfluidic circuits. Lab on a Chip 11, 17 (2011), 2813–2818.

[31] Minsoung Rhee and Mark A Burns. 2009. Microfluidic pneumatic logic circuits and digital pneumatic microprocessors for integrated microfluidic systems. Lab on a chip 9, 21 (2009), 3131–3143.

[18] Qiuyu Lu, Haiqing Xu, Yijie Guo, Joey Yu Wang, and Lining Yao. 2023. Fluidic Computation Kit: Towards Electronic-free Shape-changing Interfaces. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (Hamburg, Germany) (CHI ’23). Association for Computing Machinery, New York, NY, USA, Article 211, 21 pages. https://doi.org/10.1145/3544548.3580783

感想

Radical Atomsが提唱されたこともあるかもしれませんが、HCIのMediumとマテリアルが昔の論文に記載されているものより増加している印象がつきました。

そのため、情報処理だけではなく、生物学・流体力学も組み合わさり、他の専門分野と共に行う研究がどんどん広がっていっているように感じています。

ノロボティクスや生物をマテリアルとするのもより多くのアフォーダンスを提示できるようになる気がして結構おもしろいなと思っています。

——以上——

論文AdventCalendar6日目: reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper

論文AdventCalendar6日目: reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper

AdventCalendar6日目です。

 

自分のやりたいこと・ビジョンをずっと考えて苦しむ毎日です。

兎にも角にも論文を読みまくって「どんなところが良かったのか」「どこに新規性を感じたのか」「どういう思想でそのものを作ったか」をいろんな論文をまとめつつ判断していかなければなぁと思います。

 

それではやっていき。

今回読んだ論文

Kyung Yun Choi, Darle Shinsato, Shane Zhang, Ken Nakagaki, Hiroshi Ishii

による、

”reMi: Translating Ambient Sounds of Moment into Tangible and Shareable Memories through Animated Paper” を読んでいきます。

アブスト

  • Tangible memory-notebookを作成する
    • 周囲の音を保存し、それを実態のある共有可能な記憶に変換する、実態のある記憶ノート
    • 紙は記録された音を再生し、その形状を変形して音と同期した動きを生成する
  • 記憶を思い出すには2Dディスプレイは情報が触覚アクチュエートに対して乏しすぎる
    • 記憶を思い出すのに、デジタル視覚は、視覚以外の感覚で体験した記憶を思い出す唯一の手段ではない
  • 記憶を保存・思い出し・共有する新手法を開発するために音を表す紙の実態のある動きが「思い出」をどう強化するか調査する

 

reMiを使用している画像のスクリーンショット

結論

  • 周囲の音を記憶し、紙の動きと保存した音を再生することによって記憶を思い出すTangible memory-bookであるreMiを紹介した
    • ポケットサイズのノートとして実装した
  • 強調されたユースケースシナリオより、人々がどんな状況でもreMiを携帯し、貴重な瞬間をより個人的に捉え、他の人と共有し、実態のある空間で記憶を思い出すプロセスを通じて新たなストーリーを作る様子を想像している

実装・検証

  • デジタル時代以前のポケットジャーナルが個人的な思い出を書き留め、日記として保存したり他の人と共用する一般的な手段であったことに着目した
  • reMiは紙を折り、破れる、とい2つのインスタレーションアフォーダンスがある
    • 紙を折ると、マイクがトリガーされ音声録音され、紙に保存される
    • ページの角を折り曲げるようにして貴重な瞬間をブックマークできる
  • ページを破ることで他人と思い出を共有できる
    • 機械らしくないデザインで電源コネクタとしても機能する木製バインダクリッパを設計した

reMiのハードウェア構造を描いている図のスクリーンショット
  • Teensy3.2がバックカバーにコントローラーとして設置され、micophone、リチウムイオン電池(3.7V/2500mAh)、powerconverter(Adafruit PowerBoost1000)を使用した
  • 背面にはスピーカと銅テープで作られた制御回路を設置した
    • ユーザがページ上部の角を折り曲げると角の銅テープが接触して制御回路と電池が接続される
    • 回路がオンになるとマイクが録音を始める
    • 銅線のバインディングは電気的に絶縁されており、各ページをMCUに接続する
  • ページはポリプロピレンシートを使用し、レーザーカッターを使用して様々な折り目パターンを彫刻した
    • 形状が変化する紙の変形を大きくするために、形状記憶合金(SMA)ファイバーをカスタマイズし、最大歪み率を高めるコイルを作成した
  • ページの角を広げると、音声録音が終了する
    • 録音された音声をフーリエ変換して音声周波数をパルス幅変調のデューティサイクルに、振り幅をSMAアクチュエーションの駆動回路にマッピングする
  • 切り離されたページの制御回路は録音された音声を再生しながら紙の動きをアクチュエーションする。そのため外部電源(3 ~ 5V)に接続する必要がある
    • 電源コネクタとして木製のバインダクリップを使用した

使用シナリオ

  • 記憶ディスプレイ
    • 旅のあとに、旅で記憶した波の音を写真をアーカイブするように保存できる
    • reMiで再び記憶した音を聞くことができ、そして波の音を表す紙の動きに触ることができる
  • カード
    • reMiのページには絵を書くことができる
    • 例えばヨセミテ国立公園に行った際の滝の音を録音しながらページにクリスマスの挨拶を書くと、カードがヨセミテの滝で手を振っているかのように動き始める
  • 記念品を包む
    • reMiはものを包むことができ、現在の新しいストーリで覆われた過去からの別の物理的な記念品となる。
      • 例えば、ジョンが裏庭で妹と遊んだ小さなおもちゃを見つけ、それをジョンの妹にあげて昔の楽しいひとときを思い出させたいと思い、彼は周囲の音をreMiに録音し、ページを切り取っておもちゃをラッピングする。
  • 記念を共有するスクラップブック
    • 思い出を共有するスクラップブックとしての役割も果たせる
      • 例えば、ジョンとジェーンは、ジョンがプロポーズして以来一緒に過ごした瞬間を記録するためにreMiを持ち歩き、女の子のマリーが生まれると、ノート全体が彼女の両親の歴史をまとめたストーリーリテリングブックとなる
        • 将来的に、ジェーンがマリーの妊娠を知った瞬間が書かれたページに、マリーが母親のお腹の中で動いた音をページが表現し、両親の愛着を深める

Introduction

「楽しい時間を楽しむことに素晴らしいのは、その思い出を思い出すことです(James Lendall Basford)」

  • 過去のことを思い出すことは人々が関係を築き維持することに役立つ
  • 他の人と思い出を共有することでストーリーリテリングが強化される[10]
  • デジタルデバイスである写真やビデオでは、2Dスクリーンの裏側にある視覚的な手がかりが記憶を呼び起こすことに不十分な手段であり、さまざまな身体感覚を使用して対話することを可能にする物理的なアーティファクトとは比較にならない[2, 9]
  • 記憶を記録し思い出す新しい方法を探求するためにHCIコミュニティの研究者は異なる方法で物理的なアーティファクトに焦点を当ててきた
  • Bennett ら [1] は、物語や回想をサポートするために、実体のあるタイルを設計した
  • Nostalgia [6] は、織物の工芸品を使用して、高齢者の記憶を呼び起こした
  • 最近、回想のための記憶の手がかりとしての音の可能性が示された
    • Dib ら [3] と Petrelli ら [8] は、音は写真よりも刺激的で個人的な記憶の手がかりであることを示した
  • Frohlich ら [4] は、オーディオ データを物理的なオブジェクトに保存すると、物語を添付できるという利点があることを示した
  • 自然音や周囲の音が、人々が記録するのに最も好まれる聴覚の手がかりであることが証明されている [7, 5]。
  • このプロジェクトでは、音を使用して瞬間を捉え、それを紙の実体のある動きに変換した。
    • そうすることで、実体のある動きがどのように音に命を吹き込み、「回想」を強化できるかを調査する
    • そのプロトタイプとして音と実体的なインタラクションをシームレスに統合するために、ポータブルなreMiを作った

参考文献(興味あるもののみ記載)

[1] P. Bennett, H. Hinder, S. Kozar, C. Bowdler, E. Massung, T. Cole, H. Manchester, and K. Cater. 2015. TopoTiles: Storytelling in Care Homes with Topographic Tangibles (CHI EA ’15). 911–916.

[2] L. Ciolfi and M. McLoughlin. 2011. Physical keys to digital memories: reflecting on the role of tangible artefacts in" Reminisce". (2011).

[3] L. Dib, D. Petrelli, and S. Whittaker. 2010. Sonic Souvenirs: Exploring the Paradoxes of Recorded Sound for Family Remembering (CSCW ’10). 391–400.

[4] D. Frohlich and R. Murphy. 2000. The Memory Box. Personal Ubiquitous Comput. 4, 4 (Jan. 2000), 238–240.

[5] Karin Niemantsverdriet and Maarten Versteeg. 2016. Interactive Jewellery As Memory Cue: Designing a Sound Locket for Individual Reminiscence (TEI ’16). ACM, 532–538.

[6] M. Nilsson, S. Johansson, and Maria Håkansson. 2003. Nostalgia: An Evocative Tangible Interface for Elderly Users (CHI EA ’03). 964–965.

[7] G. Oleksik and Lorna M. Brown. 2008. Sonic Gems: Exploring the Potential of Audio Recording As a Form of Sentimental Memory Capture (BCS-HCI ’08). 163–172.

[8] D. Petrelli, N. Villar, V. Kalnikaite, L. Dib, and S. Whittaker. 2010. FM Radio: Family Interplay with Sonic Mementos (CHI ’10). 2371–2380.

[9] D. Petrelli, S. Whittaker, and Jens B. 2008. AutoTopography: What Can Physical Mementos Tell Us About Digital Memories? (CHI ’08). 53–62.

[10] E. van Den Hoven, C. Sas, and S. Whittaker. 2012. Introduction to this special issue on designing for personal memories: past, present, and future. Human–Computer Interaction 27 (2012), 1–12.

感想

石井裕先生が構想を練っていると各所で言っている ”TeleAbsence” の試作機という印象を感じた。映像と音声だけでなく、より多く・豊かな身体情報(Tangibility)で記憶を保存し、表現することは個人的には結構気になっている。

記憶を表現するMediumが動画や写真、録音しかなく、それを拡張して過去の、そして現在進行形でできている思い出をもっと豊かに思い出せるようにしたいからである。

ということは自分はRadical AtomsとTeleAbsenceを実装したい、というような感覚にもなっている。少なくとも「ヒトとMediumの表現を拡張する」ということが自分の大枠としてのやりたいことなのかもしれない。

—以上—

 

論文AdventCalendar5日目: bioLogic: Natto Cells as Nanoactuators for Shape Changing Interfaces

論文AdventCalendar5日目: bioLogic: Natto Cells as Nanoactuators for Shape Changing Interfaces

AdventCalendar5日目です。

マイコン制御でアルゴリズム作れなくて顔無い、という状態でした。

競プロもやらなければ...

とはいえ今は自分のビジョンは何か、ということを考える段階なので、

論文や人文科学を学ぶことが優先だったりします。

 

まあ冗長な私事は置いておいて、今回もHCIの論文を読んだ感想を書いていきます。やっていき。

今回読んだ論文

Lining Yao, Jifei Ou, Chin-Yi Cheng, Helene Steiner, Wen Wang, Guanyun Wang, Hiroshi Ishii による

”bioLogic: Natto Cells as Nanoactuators for Shape Changing Interfaces”

を読んでいきます。

アブスト

  • 自然はアクチュエータを独自に設計し、そのアクチュエータを活用して機能変換を達成するための効率的な材料構成、形状、構造を自動的に設計してきた。
  • 生きた納豆菌を湿度に敏感なアクチュエータとする
  • HCIに適した細胞の調査と比較をする
  • 複合バイオフィルムの開発をする
  • 応答構造の開発をする
  • バイオフィルムを制御するための制御設定を実験する
  • シミュレーション及び製造プラットフォームのプロセスについて説明する
  • そしてコンピュータ制御の有無にかかわらずバイオフィルムの可能性を示す
  • 納豆菌とMITのプラットフォーム技術をHCI研究者・設計者、バイオハッカーが利用できるようにしたい値考えている。
    • より一般的には生物学的アクチュエータ素材の研究と使用、HCIの学際的研究を促進しようとしている

結論

  • 変形可能な、納豆菌を用いた新しいバイオフィルムを開発した
  • 無機質な素材を超えて、以下の事を考えたいと思っている
    • 私達が食べるもの、飲むもの、着るものなど様々な生命の中でより広い設計空間をどのように可能にするか
  • 電気が要らず、湿度に反応し、安全で食べられる細胞アクチュエータのユニークな特性が日常生活を向上させる設計を可能にすると信じている

 

実装・検証

前提:RH(相対湿度。空気中に存在する水蒸気の量を同一温度で飽和させるのに必要な最大量に対する割合のこと)

  • バイオフィルムは2層で構成されている
    • 細胞層と基盤層で構成されている
    • RHの変化によって曲率変化を発生させられる
    • 理想的な基盤層としては0.2mm厚のラテックス、0.3milのカプトン、0.3milのPETが挙げられる

バイオフィルムの概形図のスクリーンショット
  • バイオフィルムは1次元的な変化(平面がギザギザになる)、2次元的な変化(多角形を作ったときに角や谷の深さが変形する)、2.5次元的な変化(平面から立体が起き上がる・沈み込む)、3次元的な変化(折り目が山になる・谷になることで立体となる)

バイオフィルムの形状変化のパターン表のスクリーンショット
  • バイオフィルムを使ったインタラクションの形成のために、バイオフィルムサンプルの周囲の地域的な相対湿度を高速に取得し、調整できる方法も模索した
    • 相対湿度を急速に上げるために、乾燥した圧縮空気を相対湿度90%を超える湿った空気に変換できるウォーターバブラーを設計した
  • 相対湿度を急速に下げるために、バイオフィルムの上に導電性トレースを複合する。導電性トレースに電流を流し、温度上昇によって相対湿度を急速に低下させることができる。
  • 相対湿度を高速に切り替えるために、ウォーターバブラーと導電性トレースのに一定の電流を供給するスイッチを交互にオンにできるシステムを作った。
    • 3つのリレースイッチとマイクロコントローラによって実現した
    • バイオフィルムが上下に曲がるのに1分もかからないことが実証できた。

バイオフィルムの乾燥・湿潤を調整できるシステムの概要図のスクリーンショット
  • 既存のバイオフィルムに導電性トレースを合成させる独自のプロセスも開発した
    • バイオフィルムの柔軟性維持のためにシリコン基板用の柔軟な導電性インクをスクリーン印刷プロセスでバイオフィルムに塗布した
    • フォトエマルジョンスクリーンをカスタマイズするのではなく、両面年着用しをレーザーカットしてマスクを生成する
    • マスクをスクリーンの背面二設置し、スキージを使用してラテックス基盤に導電性インクを塗布した、0.35mm~2mmに導電性トレースの印刷に成功した

バイオフィルムの層構造図のスクリーンショット
  • 導電性トレースはセンシング要素としても使用できる可能性がある

    • バイオフィルムの曲率によって導電性トレースの抵抗が変化する
    • 正確なキャリブレーションで曲げ角度を直接取得できる
    • 1つの導電性トレースは2つのリレースイッチによって容量センサまたは加熱要素として機能できる
      • Responsive Plantsを作ることができる(Figure 11)
  • バイオフィルム機械的性能を曲率と応答時間で評価した

    • セルの厚さを変えて0.2mmラテックス基板上に作成した4つのバイオフィルムの曲率変化を測定した
      • 相対湿度が低下すると曲率は小さくなる
      • 同じ相対湿度ではセルの厚さが厚いほど曲率が大きくなる
        • 最もセルが厚いサンプルは湿度が最も低いときに曲げ角度が最大になった
  • 製造用のデジタル ファイル (セル印刷および基板フィルムのジオメトリ) を作成するために、Rhinoceros 5 および Grasshopper 内にデジタル材料設計およびシミュレーション プラットフォームを開発した

    • 材料設計とシュミレーションができる
      • 設計では基盤のジオメトリとアクチュエータ適用領域を順番に定義できる
      • シュミレーション段階では変形のプロセスをRHの変化に合わせてアニメーション化できる
    • バックエンドの実装方針としてシュミレーションの中心になるのは
      1. モデルを曲線に単純化する
      2. 連続したユニットに分割する
      3. 進化的計算によって内部応力とモーメント平衡を較正する

    ということ

    • 計算時間短縮のために境界条件下にある事前に計算された曲線グループを含むDBを作る
      • モデルをシュミレーションするためには、
        1. 基盤材料の上にセルアクチュエータがあるかどうかに応じてモデルを基本曲線の組み合わせに単純化する
        2. DBを調べ、既存のデータ補完によって各基本直線の形状を取得する
        3. 調べた直線を接続し、モデルの大まかな形状を実現する
        4. シュミレーションを精微化するために可能なソリューションの範囲を狭め、同じ進化的計算法をモデル全体に適用する

シュミレーションする順番を表現したグラフのスクリーンショット
  • ラボで一般的な液体塗布技術である手動ピペッティングの他に液体細胞溶液をより正確に塗布するための他のデジタル製造技術も検討した
    • インクジェット印刷と噴霧化は小規模な細胞溶液の性格な配置と大規模塗装の2つのプラットフォームとして提示されている
  • どちらの場合も最大曲率がセルの層の厚さに密接に関係しているため流量と機械が送る速度の組み合わせでセルの層の厚さを制御する必要がある
    • 特定のRH条件下で特定の曲率に到達するために、推奨セル層厚「t」を保管でき、「t」に到達するための時間「T」を定義すると以下の式が求められる:

特定のRH条件下での層の厚さと曲率時間の関係式に関するスクリーンショット

ここで「S」は表面積、「v」は機械流量とする。体積が表面積「S」全体を覆うための関係式は以下のものとなる。

ラテックスの表面積と液滴機械のセル流量の関係式

2つの式を元に、機械送り速度「f」と液滴の塗布幅「w」、CNC機械のステップオーバー「z」より、機械送り速度「v」が以下のものとなる

機械の送り速度とCNC機械のステップオーバーの関係式
  • より精度の高い堆積層の実現のために、3軸コンピュータ制御システムを備えたインクジェットベースのプリントヘッド(HP C6602A)を組み立てた
    • インクジェットカートリッジキャリアを特定の場所に保持し、2本の空気圧チューブを安定させて印刷中に穏やかな空気を絶えず吹き付けて細胞溶液の乾燥プロセスを加速させられた
    • 空のカートリッジを充填する前には超音波洗浄が必要である
  • 微細なミストを生成し、調整された空気供給に接続できる医療用アトマイザー (モデル 286-RD、DeVilbiss) を改造した
    • 大規模な均質コーディングに適している
    • 任意のパターンを堆積させることには適していない
    • パターン化された堆積を作成するにはマスキングを使う。フォトマウントスプレーを備えたレーザーカットマスクをアトマイズプロセスの前に基盤表面に取り付けることで達成できる
  • バイオフィルムを複合させた応答性インターフェースの設計に適用するのは2つの方法を検討した

バイオフィルムを複合させた応答性インターフェースの設計適用に関する2つのパターン案のスクリーンショット
  • バイオフィルム自体を使った“Living Teabags”, “Second Skin;” を開発した
    • Living Teabagsはティーバッグの上に葉っぱがついているプロダクト。
      • 最初は葉っぱが丸まっている
      • ティーカップにお湯を注ぐと丸まっていた葉っぱがゆっくり解け、ティーバッグがお湯に完全に使ったことを示す
      • お湯からティーバッグを引き上げると、再び葉っぱが丸まる。
      • 葉のほどけ具合でお茶の淹れ上がりのタイミングが分かる

Living Teabagsのイメージ画像のスクリーンショット
  • Second Skinは、人間の体温に反応したバイオフィルムを含む布素材。
    • 発汗して皮膚の温度が上昇すると、スーツが開く
    • 人間の体とカバーの間にエコシステムを形成する

Second Skinのイメージ画像のスクリーンショット
  • コンピュータモジュールとしてバイオフィルムを使った“Artificial Plants,”, “Responsive Lamp”, “Animated Toys.”を開発した
    • Artificial PlantsもしくはResponsive Plantsは、特定の植物の葉脈組織に沿って細胞アクチュエータを印刷することで本物の自然生物に似た整体模倣変形が実現できる
      • 自然の葉っぱっと同様に、葉脈の水分の増減によって細胞アクチュエータは膨張・収縮をする
      • 自然の花を模倣するために液体ラテックスにサーモ路ミック塗料を吹きかけ、独自の色が変わるフィルム基盤を作成した
      • 花束は形と色の療法が変形するように設計した
      • 水を吹きかけると花束は丸まって茶色から膨張して赤に変化する
      • 加熱回路は温度センサが水しぶきを検出するまで常にオンになっている
      • 人が花にふれると花が閉じることもできる
        • 静電容量感知によって2つのリレースイッチが埋め込まれた導電性トレースを制御し、静電容量感知ボードや加熱用の直接電圧源に接続することによって実現した

Artificial Plants/Responsive Plantsのイメージ画像のスクリーンショット

  • Animated Toys.は銅テープで作られた加熱トレースによってカードの角を折る・広げることことができる
    • それにより加熱プラットフォームのOn/Offを切り替えてアニメーションを実現できる

Animated toysの動作イメージ画像のスクリーンショット
  • Responsive Lampは3D折りたたみ形状を使用したランプ
    • 明かりがついていないときはランプシェードが閉じ、明かりがつくと素材が開いて光を漏らす
    • 製造技術がより多くの変換ユニットを備えたより複雑なシステムに簡単に拡張できる
      • 全てのアクチュエータを経験豊富な製造業者2名によって12時間以内に製造することができたとのこと

Responsive Lampのイメージ画像のスクリーンショット

関連研究

  • マイクロロボット・マイクロポンプ、マイクロモータなどのマイクロシステム開発に伴い、ハイブリッド細胞ベースのアクチュエータが登場している[2]
    • これらの一般的な刺激は光、湿度、温度、pH、イオン強度が挙げられる
      • ラットの細胞を使用して組織工学ロボットクラゲが作成された[20]。
      • エラスチン様ポリペプチドELP)は、温度変化に反応するバイオポリマーの1つ[18]。
      • 紙の膨張効果に基づいて、セルロースから複合されたスマート材料が開発された[23]。
    • これらのハイブリッド細胞ベースのアクチュエータに関するレビュー論文[2]に基づいて、この分野でこれまで報告された全てのシステムは流体に浸されており相対湿度の変化を作動刺激として利用するものは無いと結論付けた。
    • この研究で、非流体湿度応答細胞アクチュエータの空白を埋める概念を導入する
      • 非流体湿度応答細胞アクチュエータの製造の容易さも他のバイオアクチュエータよりも際立っている
  • ソフトマテリアルを使用した形状変換の最近の進歩をまとめたレビュー論文を発表されている [10]。
    • 論文で言及されている材料は主に無機質
      • この研究の納豆菌は可食であるので食品・ウェアラブル・生活環境に安全にアクチュエータを組み込むことができる
    • 他の最先端のソフトマテリアルと比較した結果、納豆細胞の性能は以下の通り
      • 合成に必要な時間は中程度
      • 必要な専門知識レベルは低い
      • 材料リソースへのアクセス性は高い
      • 拡張性は高い
      • 応答時間は速い
    • この研究の主な制限である、細胞から基質への伝達力の制限も、共有結合の導入によって強化できる
  • 電気モータ、空気圧作動[11][26]、形状記憶合金[4][8]、ジャミング素材[7][21]、強磁性流体[12]といった形状変形インターフェースの設計に多くの作動方法が採用されており、以下の独自な特性がある。
    • 迅速なプロトタイピング(電気モータ)
    • 大きな力と可鍛性表面への順応性(空気圧アクチュエータ)
    • 静かで柔軟(形状記憶合金)
    • 相転移強磁性流体)
  • 吸湿性の天然素材は科学とデザインの両方の分野で導入されてきた
    • 科学者はさまざまな生物の吸湿性の背後にあるメカニズムの研究と説明に注力してきた [6]。
    • 生物にヒントを得たポリマー複合アクチュエータは、連続的に側面を反転させることでエネルギーを収穫するために発明された [16]。
    • さらに、湿度に反応する木材は、建築規模の変形可能なインスタレーションを構築するためにデザイナーによって利用されている [17]。
    • Faz pavilionは湿度に反応する天然木材が周囲の環境に反応してシンプルかつ生態学的に埋め込まれた建築ができることを実証した

 

議論

  • 生物の利用に関する研究、特に合成生物学の分野は、HCI とデザイン コミュニティからますます注目を集めている。
    • DIYbioは合成生物学をテーマにしたイベント、ハッカースペースを立ち上げ、生物学とHCI,デザインを組み合わせた学際的な研究に刺激を与えてきた[15]
    • DNAと生命を操作する分野ではマシン・ツールセット・コミュニティが登場している
      • 植物・生物といった生物を現在のセンシングメカニズムに取り込むことの重要性が取り上げられた[14]
  • 物質性・物質ベースのインターフェースと形状変形インターフェースはますます注目を集めている新たなHCIのトピックである
  • 納豆細胞ハイブリッドフィルムの探索は多くの分野が関わった
    • 初期段階では経験豊富な生物学者とのコラボレーションが重要だった
      • 彼らの直感と専門知識で納豆細胞アクチュエータを偶然発見し、定量的な特性評価ができた
      • バイオフィルム開発の段階では、化学工学と機械工学の知識がより重要な役割を果たした
      • 構造とアプリケーション設計ではデザインのバックグラウンドを持つHCI研究者が重要な役割を担った。
  • 生物の自己進化、自己複製、自己組織化の独自性は重要な設計コンセプトを生み出す可能性がある
    • 成長する形状変形インターフェースを開発できる
    • 合成生命では生命発達と同時に変形の「動作」を進化させることができる
      • 細胞に発光遺伝子を追加したりすることなど。
      • 潜在的には、アクチュエータを工学的に改変し、暗い環境で光らせることもできそう
  • この研究で作ったセル(1μm)が0.2mmのラテックスフィルムを持ち上げられることを考えると、セルのエネルギー密度が非常に高いとわかる。
    • ただ、セルの各層が互いに、かつしっかり基盤と接続する必要がある
    • 単にセル層が追加されても厚い材料を持ち上げられない
    • セル層を厚くすると湿気の拡散時間が長くなり、応答時間が短くなる
    • 適切な用途のために、接着方法、材料処理、機械構造設計、相対湿度の安定した制御に関する研究には、より多くの学際的なエンジニアリング研究を含める必要がある
  • 天然と天然のハイブリッド素材を使用するのも刺激的な方向性である
    • 胞子アクチュエータを天然の柳の葉っぱに合成して、雨が降りそうなときに葉を望み通りに変形できるとのこと
      • 柳の木が変形可能な天然のインスタレーションとなり、環境センサともなる
      • 納豆菌センサも食品という分野にアクチュエート可能である
        • 食べる体験にインタラクティブ性を加えられる
        • 食べるのに適した温度を示す形状変化する食品など。

 

参考文献(興味あるもののみ記載)

[2] Carlsen, R.W. and Sitti, M. 2014. Bio-hybrid cellbased actuators for microsystems. Small (Weinheim an
der Bergstrasse, Germany). 10, 19 (Oct. 2014), 3831–
51.

[20]Nawroth, J.C., Lee, H., Feinberg, A.W., Ripplinger,
C.M., McCain, M.L., Grosberg, A., Dabiri, J.O. and
Parker, K.K. 2012. A tissue-engineered jellyfish with
biomimetic propulsion. Nature biotechnology. 30, 8
(Aug. 2012), 792–797.

[18]Meyer, D.E. and Chilkoti, A. 2004. Quantification of
the Effects of Chain Length and Concentration on the
Thermal Behavior of Elastin-like Polypeptides.
Biomacromolecules. 5, 4 (2004), 846–851.

[23]Qiu, X. and Hu, S. 2013. “Smart” Materials Based on
Cellulose: A Review of the Preparations, Properties,
and Applications. Materials. 6, 3 (Feb. 2013), 738–
781.

[10]Kempaiah, R. and Nie, Z. 2014. From nature to
synthetic systems: shape transformation in soft
materials. Journal of Materials Chemistry B. 2, 17
(2014), 2357.

[11]Kim, S., Kim, H., Lee, B., Nam, T.-J. and Lee, W.
2008. Inflatable mouse. Proceeding of the twenty-sixth
annual CHI conference on Human factors in
computing systems - CHI ’08 (New York, New York,
USA, Apr. 2008), 211.

[26]Yao, L., Niiyama, R., Ou, J., Follmer, S., Silva, C.
Della and Ishii, H. 2013. PneUI : Pneumatically
Actuated Soft Composite Materials for Shape
Changing Interfaces. Proc. of UIST 2013 (2013), 13–
22.

[4] Coelho, M., Ishii, H. and Maes, P. 2008. Surflex.
Proceeding of the twenty-sixth annual CHI conference
extended abstracts on Human factors in computing
systems - CHI ’08 (New York, New York, USA, Apr.
2008), 3429.

[8] Gomes, A. and Nesbitt, A. 2013. MorePhone : A Study
of Actuated Shape Deformations for Flexible ThinFilm Smartphone Notifications. (2013), 583–592.

[7] Follmer, S., Leithinger, D., Olwal, A., Cheng, N. and
Ishii, H. 2012. Jamming user interfaces: programmable
particle stiffness and sensing for malleable and shapechanging devices. Proc. of UIST 2012 (2012), 519–
528.

[21]Ou, J., Yao, L., Tauber, D., Steimle, J., Niiyama, R.
and Ishii, H. 2014. jamSheets : Thin Interfaces with
Tunable Stiffness Enabled by Layer Jamming. Proc. of
TEI 2014 (2014), 65–72.

[12]Koh, J.T.K.V., Karunanayaka, K., Sepulveda, J.,
Tharakan, M.J., Krishnan, M. and Cheok, A.D. 2011.
Liquid interface. Computers in Entertainment. 9, 2 (Jul.
2011), 1–8.

[6] Erb, R.M., Sander, J.S., Grisch, R. and Studart, A.R.
2013. Self-shaping composites with programmable
bioinspired microstructures. Nature communications. 4,
(Jan. 2013), 1712.

[16]Ma, M., Guo, L., Anderson, D.G. and Langer, R. 2013.
Bio-inspired polymer composite actuator and generator
driven by water gradients. Science (New York, N.Y.).
339, 6116 (Jan. 2013), 186–9.

[17]Menges, A. and Reichert, S. 2012. Material Capacity:
Embedded Responsiveness. Archit Design. 82, (2012),
52–59.

[15]Kuznetsov, S., Taylor, A.S., Regan, T., Villar, N. and
Paulos, E. 2012. At the Seams : DIYbio and
Opportunities for HCI. Proc. of DIS 2012 (2012), 258–
267.

[14]Kuznetsov, S., Odom, W., Pierce, J. and Paulos, E.
2011. Nurturing natural sensors. Proc. of UbiComp
’2011 (ACM Press, 2011), 227–236.

感想

論文読みながら笑っていました。

というのも、インターフェースのマテリアルの進化が自分の想定よりも進んでいて、衝撃を受けたからです。

石井裕先生が提唱している ”Radical Atoms”にも通じる内容だと思っていて、

マテリアル自体がインターフェースとなる、ということが実装されていることは非常に驚きましたし、生物という動的な変わりうるメタマテリアルを使う研究は今後、爆発的に進んでいくように感じました。

この論文とRadical Atomsの論文を読んでから、だいぶHCIという分野そのものに興味が出てきました。

もっと論文を読んで、「そもそも本当に自分がHCIをやりたいのか」「なぜHCIをやりたいのか」「今までにない、どんなことをやるのか」「Why? So What?, Who Care? を投げ続ける」ということをしていきたいと思います。

——以上——

 

論文AdventCalendar4日目: Force Jacket

論文AdventCalendar4日目: Force Jacket

AdventCalendar4日目です。

 

研究についてまとめるときは人間性を捧げて1週間で目安25本読むべしとのことが落合先生の記事にあったので、人間性をしっかり捧げていきたいと思います。

今日も授業中に内職できるタイミングで寝てしまったので物質的に情報を感じながら例えば紙の本で読書するとか)、自分の睡眠妨害をしていきたいなぁと思います。

 

それではやっていき。

今回読んだ論文

Takatoshi Yoshida, Junichi Ogawa, Kyung, Yun Choi, Sanad Bushnaq、Ken Nakagaki, Hiroshi Ishiiによる

”Force Jacket: Pneumatically-Actuated Jacket for Embodied Haptic Experiences”

を読んでいきます。

アブスト

  • ハプティクスで無視されてきた上半身へのフィードバックを行うインターフェースをForceJacketという形で作る。
  • 胴体全体の圧力と振動に基づく感触効果を定義するためのその後の研究
  • 空気圧で変形できるエアバッグの配列と、縁にあるセンサが上半身に正確な力と振動を与える
  • 空気圧式ハードウェアと圧力の大きさを制御する研究、全身圧力と振動に基づく触覚効果を定義するための後続研究についても触れる

結論

  • 空気圧と力センサにより、従来よりも少ないアクチュエータで振動や力を表現できる。
  • 膨張式エアバッグを使ったことで強い静圧を加えることもできる
  • 最終的にVR体験の向上に使われた

実装・検証

  • エアバッグと空気増加パンプ、空気減少コンプレッサが使われている。
  • Teensyで空気圧が一定になるように調整している

Figure 2. Overview of the Force Jacket system. のスクリーンショット

Figure 3. Force Jacket with internal airbags layout exposed. のスクリーンショット

 

  • 短径波と正弦波で押下シュミレーションを行った。エアコンプレッサの圧力を40psiに設定したとき、目標力値と検出された力値は0.8sの遅延と1.5N未満の圧力誤差で一致した
  • 膨張位置とユーザの認識調査のため、圧力を感じたところをクリックしてもらい、クリックしたx-y座標を記録した
    • 応答の中心点が適切なエアバッグの境界内にあり、位置標準偏差の誤差が境界を越えない傾向があることがわかる
    • 知覚的変位置を帰るために空気圧バッグの位置を帰ることによって補える研究のバイアスが出ているとのこと
      • 例えば、下腕の位置を手首の方に感じる傾向があったらしい
      • ユーザが示した肩の位置は、肩の上部の中央ではなく、背中の上部に偏っていた
      • ユーザーはバッグの中央線より上の中央前面のコンパートメントを認識する傾向があるとのこと
    • 位置特定精度を確認するためにはさらなる知覚研究が必要。
      • 個別のエアバッグのいちをはっきり感じられることができることを確認できたら、より複雑な触覚感覚を開発できる
      • エアバッグの位置によって、補正できる偏りもありそうとのこと
        • 例えば、下腕が手首の方に知覚的にずれていることを補正するには、対応するバッグを肘の方に同じ量だけ移動させる
  • 空気の膨張料と圧力の関係性についても実験した
    • 被験者に1つの場所がマークされた体の画像を提示し、ジャケット内の対応するエアバッグが目標値まで膨らまさせ、その後縮めた。
    • 1.6N ~ 8.5Nの力の強度幅で7つの等間隔で強度を変化させ、被験者には自由な小数/分数を提示した
    • 心理物理学的伝達関数の本質を発見するには、自由な大きさが必要である。心理物理学的伝達関数は、べき乗法則に従う傾向がある [28]。
    • 個々の被験者(実験参加者)のデータに適合する指数の分散分析では、場所の有効性のみが見つかった。F(12, 168) =3.20, p < .001.
      • 肩は意外と触覚を感じやすいとわかった
  • 前腕背部、背中中盤及び胸部上部は鈍感にハプティクスを感じられるらしい
  • エアバッグで以下の画像のように体験を作り出してみた

Table 1. Feel Effect Families grouped based on shared refinement parameters. Gray denotes vibrotactile effects. のスクリーンショット



  • 振動触覚と触圧感覚を持たせており、より精度の高いインタラクションを作成できた(オートバイ、心臓の鼓動、ヘビの動きなど)

Table 3. Feel effects ordered based on goodness rating out of 5, where 5 is perfect and 1 is unacceptable. Greenほど評価が高く、Redほどユーザからの評価が低かった

 

関連研究

  • 振動によるアクチュエーション、器械によるアクチュエーションのインターフェースは既に実装されている
  • 触覚インタラクションで「やわらかさ」を表現できるから結構人気
    • One research group produced the Synesthesia Suit which utilizes 26 vibrotactile actuators on a full-body suit for enhancing VR gaming experiences [13].
    • Electro Muscle Stimulation (EMS) is another increasingly popular approach for haptic VR experiences.
    • 力の要素がないので、ハグや押すことができない
    • 押す、抱きしめるといった力、圧力、圧迫を身体に与えることは従来のものだと無い。
  1. 力感知センサを使用した閉ループ制御を用いたエアバッグ制御システムが実装された
  2. 振動触覚モータの代わりに圧縮空気と真空源の両方を利用して迅速な変形と作動圧力の可変域を広げることができた

という3点が他の研究と大きく違うところらしい

  • 新しいシステムでは空気供給がアクチュエータから切り離された。
  • 時間とともに変化する圧力シーケンスが実装され、ユーザー研究で確認されたように、(多少の誤差はあるものの)識別可能な触覚パターンが作成された[7]。
    • A novel control system decoupled the air-supply from the actuator. Time-varying pressure sequences were implemented to create discriminable tactile patterns (with some error), as confirmed in a user study [7].

参考文献(興味あるもののみ記載)

[6] Morgan T Gillespie, Charles M Best, and Marc D
Killpack. 2016. Simultaneous position and stiffness
control for an inflatable soft robot. In Robotics and
Automation (ICRA), 2016 IEEE International Conference
on. IEEE, 1095–1101.

[11] Ali Israr and Ivan Poupyrev. 2011. Tactile brush: drawing
on skin with a tactile grid display. In Proceedings of the
SIGCHI Conference on Human Factors in Computing
Systems. ACM, 2019–2028.

[13] Yukari Konishi, Nobuhisa Hanamitsu, Kouta
Minamizawa, Ayahiko Sato, and Tetsuya Mizuguchi.
2016. Synesthesia suit: the full body immersive
experience. In ACM SIGGRAPH 2016 VR Village. ACM,
20.

[16] Yosuke Kurihara, Taku Hachisu, Katherine J
Kuchenbecker, and Hiroyuki Kajimoto. 2013.
Jointonation: robotization of the human body by
vibrotactile feedback. In SIGGRAPH Asia 2013
Emerging Technologies. ACM, 11.

[20] Jun Nishida, Hikaru Takatori, Kosuke Sato, and Kenji
Suzuki. 2015. CHILDHOOD: wearable suit for
augmented child experience. In Proceedings of the 2015
Virtual Reality International Conference. ACM, 22.

[21] Jifei Ou, Mélina Skouras, Nikolaos Vlavianos, Felix
Heibeck, Chin-Yi Cheng, Jannik Peters, and Hiroshi Ishii.
2016. aeroMorph-Heat-sealing Inflatable Shape-change
Materials for Interaction Design. In Proceedings of the
29th Annual Symposium on User Interface Software and
Technology. ACM, 121–132

[24] Henning Pohl, Peter Brandes, Hung Ngo Quang, and
Michael Rohs. 2017a. Squeezeback: Pneumatic
Compression for Notifications. In Proceedings of the
2017 CHI Conference on Human Factors in Computing
Systems. ACM, 5318–5330.

 

[28] Stanley S Stevens. 1957. On the psychophysical law.
Psychological review 64, 3 (1957), 153.

[34] Lining Yao, Ryuma Niiyama, Jifei Ou, Sean Follmer,
Clark Della Silva, and Hiroshi Ishii. 2013. PneUI:
pneumatically actuated soft composite materials for
shape changing interfaces. In Proceedings of the 26th
annual ACM symposium on User interface software and
Technology. ACM, 13–22.

[36] Yongjae Yoo, Taekbeom Yoo, Jihyun Kong, and
Seungmoon Choi. 2015. Emotional responses of tactile
icons: Effects of amplitude, frequency, duration, and
envelope. In World Haptics Conference (WHC), 2015
IEEE. IEEE, 235–240.

感想

実装・検証の部分はだいぶ端折った。長すぎだったので構造理解に務めることにした。触覚理論、触覚心理学を論文内で結構触れていたのでその系統の論文を読んでみても良さそうだと感じた。

エアバッグで力をアクチュエートするのは、どちらかといえばAR、VR分野の方面に空気圧以外の要素と組み合わせることでより機能性の高いインターフェースを作る1アイデアになりそうだと感じた。

—以上—

 

論文AdventCalendar3日目: inDepth

論文AdventCalendar3日目: inDepth

AdventCalendar 3日目です。

nヶ月ぶりに筋トレをして体力の低下をめちゃめちゃ感じました。

運動大事。

 

さて、今回は力センサを用いた深度入力インターフェースの論文についてまとめていきます。

今回読んだ論文

Ken Nakagaki, Udayan Umapathi, Daniel Leithinger, Hiroshi Ishiiによる

”inDepth: Force-based Interaction with Objects beyond A Physical Barrier”

を読みました。

Figure 6: Bakery shop application scenario のスクリーンショット
プロダクトのシステム図とineDepthを使ったアプリの例

アブスト

  • バリア(ものを隔てるアクリル板・ガラス)をTangibilityのあるInputインターフェースにする
  • 実現するためにバリアの下にある3つの力センサで加えられた力を方向ベクトルにし、空間座標に変換する。
  • inDepthを使ったアプリケーション例を示す

結論

  • 力センサを使って物理的な境界を超えて力ベースの入力を実現した
  • 物体の奥にある情報を人々に提供できる未来を目指している

実装・検証

  • 力を計測するには少なくとも3つの力センサが必要。

  • バリアに接したときの指からのベクトルの強さを入力ベクトルの深さに、バリアに触れている座標を入力ベクトルの開始地点としている

  • FNZ100N, Forsentek.inc(10kgまで計測できる)の力センサを使っている

  • 力とトルクは各センサの入力値から以下のように導くことができる(piはi番目の力センサ、fiはi番目の力センサ):

    4.2  Algorithm, 5行目の数式のスクリーンショット。力とトルクを求める式
  • また、測定した力ベクトルの成分を用いて接触点を定式化することもできる(dは力の正規化ベクトル、pは設置点xのパラメータ、xは力ベクトルとバリア表面の交点である):

4.2 Algorithm, 15行目の数式のスクリーンショット。ベクトルの構成要素を導出している
  • 力を深さに変換するために、Weber-Fechnerの法則[3]に基づく対数変換式を実験的に設計した:

4.2 Algorithm, 22行目の数式のスクリーンショット。力を奥行きの入力に変換している
  • 定数d0とf0はアプリケーションごとに異なるが、力から深さへの変換は1.5Nから始まり、10.3Nの力は100mmのベクトルの深さに変換された。

Figure 4: Force-to-depth conversion. のスクリーンショット。力と奥行きに関する図式

関連研究

  • 接触れるインターフェースは、指輪型、リストバンド型、グローブ型、体につけるものが実装されている
  • 触らないインターフェースとしては、視覚できるもの、容量性レイヤー、音響入力、IRセンサ、電磁誘導、力入力を取り入れたものが作られている
    • この研究ではユーザの手から離れた場所にある物体と相互作用するための力センサの利用を探求することを目的としている。
    • 力センサを使っているかつnon-touchなインターフェースは存在していないとのこと
  • 奥行きのある画像とインタラクションを取るインターフェースは2D, 3Dデバイスで実装されているとのこと
    • スクリーン膜やハンドヘルドデバイスなどの物理的な変形を利用して、スクリーンに直接触れるインタラクションの研究も行われている。
    • これらの研究は力の強さが奥行き入力として解釈できることを示している。
      • 物理的な距離を置いたオブジェクトとのインタラクションも、典型的には画像の重ね合わせで表現することが研究されてきた。
      • よってユーザとオブジェクトの間にあるsee-throughのバリアはインタラクションの場とすることができる。

参考文献(興味あるもののみ記載)

[3] Laura Dipietro, Angelo M Sabatini, and Paolo Dario. 2008. A survey of glovebased systems and their applications. Ieee transactions on systems, man, and cybernetics, part c (applications and reviews) 38, 4 (2008), 461–482.

 

[5] Chris Harrison, Hrvoje Benko, and Andrew D. Wilson. 2011. OmniTouch: Wearable Multitouch Interaction Everywhere. In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology (Santa Barbara, California, USA) (UIST ’11). Association for Computing Machinery, New York, NY, USA, 441–450. https://doi.org/10.1145/2047196.2047255

 

[18] Wolf Kienzle and Ken Hinckley. 2014. LightRing: always-available 2D input on any surface. In Proceedings of the 27th annual ACM symposium on User interface software and technology. 157–160.

 

[6] Eisuke Fujinawa, Kenji Goto, Atsushi Irie, Songtao Wu, and Kuanhong Xu. 2019. Occlusion-aware Hand Posture Based Interaction on Tabletop Projector. In The Adjunct Publication of the 32nd Annual ACM Symposium on User Interface Software and Technology. 113–115.

 

[28] Makoto Ono, Buntarou Shizuki, and Jiro Tanaka. 2013. Touch & activate: adding interactivity to existing objects using active acoustic sensing. In Proceedings of the 26th annual ACM symposium on User interface software and technology. ACM, 31–40.

  • 振動スピーカでオブジェクトを振動、圧電マイクで接触時の波の変化を機械学習させ、各波形に応じて反応を返すものとなっている
  • 結構認識度高いっぽい
  • Our approach employs machine learning to label acoustic response (i.e., frequency response in our study) as touch gestures.
    • ユーザが装着するのではなく、オブジェクト自体がセンサに変換できるようにする→「なんでもセンサ化」ができるのでプロトタイプしやすい
  • ただのマイクとスピーカの構成だったら誤差がでかいので、振動と圧電素子を使って、「音」ではなく「振動」を計測し精度を上げている

[11] Chris Harrison and Scott Hudson. 2012. Using shear as a supplemental twodimensional input channel for rich touchscreen interaction. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 3149–3152.

 

[38] Takatoshi Yoshida, Xiaoyan Shen, Koichi Yoshino, Ken Nakagaki, and Hiroshi Ishii. 2019. SCALE: Enhancing Force-based Interaction by Processing Load Data from Load Sensitive Modules. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology. 901–911.

 

[31] Jürgen Steimle, Andreas Jordt, and Pattie Maes. 2013. Flexpad: Highly Flexible Bending Interactions for Projected Handheld Displays. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Paris, France) (CHI ’13). Association for Computing Machinery, New York, NY, USA, 237–246. https: //doi.org/10.1145/2470654.2470688

 

[22] Jinha Lee and Hiroshi Ishii. 2010. Beyond: collapsible tools and gestures for computational design. In CHI’10 Extended Abstracts on Human Factors in Computing Systems. ACM, 3931–3936.

感想

接触時の力からベクトルの奥行きが導出できるとは思わなかったので、バリアを挟んだディスプレイ、展示・販売環境がスマートに少ないセンサで表現できるのがすごいと感じた。

論文を読んでいて感じたのが、私が興味のあるのはI/Oのできるインターフェースの開発だという気もしてきた。

——以上——

論文AdventCalendar2日目: inFORCE

論文AdventCalendar2日目: inFORCE

AdventCalendar 2日目です。

8時間睡眠で体調が悪くなっていた(?)ので午後起きというやらかしをしてしまいました。やはり4時間睡眠を保つべきか...

 

それでは今回もHCIの論文読んだ感想を書きます。

今回は昨日書いたinFORMの発展版の論文みたいです。

しばらくはHiroshi Ishii先生の論文or論文引用リストからサーベイしてみたほうが最新の論文を見られそうだなぁという気がしてきました。

それではやっていき。

 

 

今回読んだ論文

Ken Nakagaki, Daniel Fitzgerald, Zhiyao (John) Ma, Luke Vink, Daniel Levine, Hiroshi Ishiiによる

"inFORCE: Bi-directional `Force' Shape Display for Haptic Interaction"

を読みました。

アブスト

  • これまでのピンベースのインターフェースは可変的な「力」のフィードバックという形での触感品質に限界があった。「inFORCE」では個々のピンごとに可変で異なる力を加えることができる。
  • それによって材料エミュレーション・レンダリングされた内部構造の把握・階層的な立体表現・摩擦を再現できる。
  • マテリアルの物性キャプチャも実証する。

結論

  • 力検出とフィードバック制御をピン型立体形状ディスプレイで行った
  • 「力」を取り入れることで体積データ・材料スキャン・触覚マテリアル表現ができるようになった

実装

  • 10 x 5 array of pins where each pin has a size of 19.2mm square with spacing of 0.8 mmでピンを配置
  • 「QUICKSHAFT」をアクチュエータとして使用する。
    • このアクチュエータはホールセンサがついていて、Teensy(マイコン)からCAN経由でコマンドを受信し、位置と電流を含む独自でPID制御を行うセンサデータで独自のPID処理をしてモータを回転させる
    • CAN経由でTeensyから伝わった描画データに応じて力を検知する。
    • モータ式なので電流が変化すると、ピーク時は10.7Nまで力を表現できる
    • 3.6N ~ 10.7Nまで検知でき、制度 120µm、最速 3.2m/sでモータが回転するとなっている。 28V で動作し、1.2A を最大で消費する。計1680W消費。
  • Current ∝ (ExternalForce+ Movement)· Magnetic となる関係性がある
    •  Movementはピンを動かすのに必要な追加電流
    • キャリブレーションをかけて重さなしのときのデータ収集ー>重さがついてからのデータ収集というルーチンを回して、モータにかける力を変更している
  • TargetForce = SpringConstant ·PinHeight でForceが事前にキャリブレーション時にわかっているので、そこからピンの高さを調整している
  • 材料をピンの上に置き、高さを変えたときに材料からピンにかかる力を求めれば材質を特定できるようになっているとのこと
  • 連続動作なら380gまで、瞬間にかかる力なら680gまでピンのモータが動作停止せずに力を図れる基準になっている
  • 層が表現でき、硬さは 130 - 2800g、厚さは5 - 25mmの範囲で表現できた

関連研究

  • 将来的な形状変形インターフェースでは触覚的な材料特性を表現する必要があるとも論じられている
  •  二重機能(「形状」+「触覚特性」)がこれからは必要な要素となるらしい
    • 空気圧+jamming[34, 27, 11]で材料特性を表現している実例がある
    • ARによって錯覚的な触覚も表現できているようだが、タッチ検出が粗いとのこと。
  • 形状変形インターフェースで、マテリアル物性のスキャンと再現を同時に行えるものは存在していなかった
    • inFORCEではCADとシュミレーションができるらしい
      • 材質工学・医療分野で応用できるらしい

参考文献(興味あるもののみ記載)

  • Ken Nakagaki, Luke Vink, Jared Counts, Daniel Windham, Daniel Leithinger, Sean Follmer, and Hiroshi Ishii. 2016. Materiable. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems - CHI ’16. ACM Press, New York, New York, USA, 2764–2772. DOI: http://dx.doi.org/10.1145/2858036.2858104

 

  • Alexandra Delazio, Ken Nakagaki, Roberta L Klatzky, Scott E Hudson, Jill Fain Lehman, and Alanson P Sample. 2018. Force Jacket: Pneumatically-Actuated Jacket for Embodied Haptic Experiences. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. ACM, 320.

 

  • Daniel Leithinger, Sean Follmer, Alex Olwal, and Hiroshi Ishii. 2015. Shape displays: Spatial interaction with dynamic physical form. IEEE computer graphics and applications 35, 5 (2015), 5–11.

 

 

  • Jifei Ou, Lining Yao, Daniel Tauber, Jürgen Steimle, Ryuma Niiyama, and Hiroshi Ishii. 2014. jamSheets: thin interfaces with tunable stiffness enabled by layer jamming. In Proceedings of the 8th International Conference on Tangible, Embedded and Embodied Interaction. ACM, 65–72.

 

  • Sean Follmer, Daniel Leithinger, Alex Olwal, Nadia Cheng, and Hiroshi Ishii. 2012. Jamming user interfaces: programmable particle stiffness and sensing for malleable and shape-changing devices. In Proceedings of the 25th annual ACM symposium on User interface software and technology. ACM, 519–528.

感想

「力」を取り入れることで材質・層のInput/Outputができるようになったのが本当にすごいとしか言えないなぁと感じました。すごく未来を感じる。

例えば、CAD的にも使えるし、地図の標高が表現できるようになったり、脈や心拍といったメディカルデータのI/Oもできるとのこと。

形状変化ディスプレイによるTangibilityの拡張はコンピュータのインターフェースを相当変えそうだなと感じているので結構興味が出てきました。

論文AdventCalendar1日目: inForm

論文AdventCalendar1日目: inForm

こんにちは。もう12月ですね(絶望)

先日1on1をtomioさんとやりまして、

「AdventCalendarで論文を読んだ感想書けばいいじゃん」

と言われて書く気が起きたのでやっていきます。

 

最近、自分のやりたいことを考えたときに、

HCI分野になんとなく興味がありそうな感じがしてはいるものの

具体的にどんなことなのかを言語化できていないので

アウトプットとしてブログを書こう、というのが目的です。

それではやっていき。

 

 

今回読んだ論文

H.Ishii先生の

"inFORM: dynamic physical affordances and constraints through shape and object actuation"

を読みました。直近一番気になる論文でしたのでウキウキしながら読んでました。

 

アブスト

リアルタイムに映像を投影し、ユーザが触れってI/Oのできる、新しい立体形状ディスプレイを作成した。

 

結論

・形が変わる立体ディスプレイを開発した

・動的な形状変化ができ、汎用的に使えるインターフェースを目指した

・デザイナーたちが物理的に形を変えられるディスプレイを作るようインスパイアの源になると期待しているとのこと

 

実装

・9.25㎡の面のピンを30×30使用、またナイロン線でアクチュエータとピンを接続した

・外部設置のカメラの画像深度から物体の位置・変化を特定している

・モータを使ってピンを上下動作させている

 

関連研究

個人的にはアフォーダンスを "動物と物の間には何かしら可能なアクションが存在している状態のこと" と認識しています。(((Wikipediaより引用)affordance: ギブソンの提唱した本来の意味でのアフォーダンスとは、動物と物の間に存在する行為についての関係性をあらわす言葉である。(略)このように、通常ある物体に存在するアフォーダンスは一つに限定されるものではない。))

 

 

・結構、知覚心理学アフォーダンスの視点から考えているらしい

・触れるorつまめる、触覚、動的制御なインターフェースは結構実装されているらしい

・ダイナミックで計算制御されたアフォーダンスでは用途が限られていることが多く、汎用的なUIや立体でのインタラクションができるわけではなかったらしい

・シェイプ・ディスプレイは、より一般的なトポロジーと、より大きな自由度を可能にする、ということに目をつけてinFormを開発したらしい

 

参考文献(興味あるもののみ記載)

Pangaro, G., Maynes-Aminzade, D., and Ishii, H. The actuated
workbench: computer-controlled actuation in tabletop tangible
interfaces. In UIST ’02, ACM (2002), 181–190.

  • 磁石を使った2Dディスプレイの開発となっているっぽい

 

Weiss, M., Schwarz, F., Jakubowski, S., and Borchers, J.
Madgets: actuating widgets on interactive tabletops. In UIST
’10, ACM (2010), 293–302.

  • 磁石を使ってアクチュエーションする研究らしい
  • I/Oできる専用デバイスの底面に丸型の反射板がいくつか貼ってあるらしく、反射している相対座標からどんな機能のデバイスかを見極めて、それに対する画面投影なんかをしているらしい

 

感想

2015年にできる代物なのか...?という印象。ヤバい。各家庭に1個ほしい。

Tangibilityは結構興味があるので、どんな手法でインターフェースを作るのかも色々見ていきたい。

落合陽一先生のフェムト光レーザとか、超音波・磁力による空間中のTangibility表現といったようにアプローチが結構多い印象。