手触りの物理的な測り方とHCIへの活かし方
本記事はHuman-Computer Interaction (HCI) Advent Calender 2022 11日目の記事です。昨日(10日)の記事はkn1chtさんのマルチプラットフォーム対応の触覚設計ツールHaptic Composerを触るでした。
はじめに
こんにちは。電通大の金子です。普段は博士課程学生として触覚、特に触覚の計測技術中心に研究を行っております。今回はタイトルにもあるように、我々がモノを触った際に生じる感覚（以下手触り）を物理的にどのように計測するかに関してまとめていきます。また（HCIアドカレということなので）、これらの技術がどのように触覚xHCI領域に対して活用できるかに関して自分なりの私見を少しだけ綴ってみたいと思います。
手触りを測る意義
私達の身の回りには様々なモノが存在し、そのものに触れた際には必ずそのものの手触りを知覚します。例えば今私が使っているキーボードやマウス、ノートやペン、スマートフォンの表面に貼っている保護フィルムなどすべて手触りが異なっています。このような商品を設計する側では、”どのような物性ないし形状であれば狙った手触りが出せるのか”を明確化することが非常に重要な課題として存在しています。また、VRで用いられる触覚ディスプレイでも同様の課題、つまり”どのような信号を人間に入力すれば狙った手触りが提示できるか”を明らかにする必要性が存在しています。
このような課題に対し、人間の知覚（粗さやなめらか）と対応する指標を明らかにすることを目的とし、様々な形で手触りを計測する試みが行われています。
手触りの物理的な測り方
手触りの計測を考える際には、人間が手触りを知覚する流れに関して考えていく必要があります。これは大きく４ステップに分けることができ、それぞれ
- 様々な物性を持つ物体によって、物理的に皮膚が変形する
- 物理的な皮膚の変形が、指内部の受容器によって電気信号に変換される
- 信号が神経を伝い、脳に入力される
- 脳によって信号が解釈され、手触りが生じる
のように表されます。手触りの計測とは、この４ステップの間の関係性を明確化する作業と言い換えることができます。今回はこの４ステップの関係性のうち、”モノの物性がどのような皮膚の動き（あるいは振動）をもたらすか”に関して注目していきます。人は物体に触れると指の皮膚は変形したり、せん断したり、振動したりなど様々な振る舞いを見せます。この時空間的なパターンを使って人は手触りを得ています。この皮膚変形現象が物性と紐づくことで、どんな物性がどんな変形として変換されるかが明らかになり、触覚ディスプレイ上で手触り再現をする際の入力として利用することができます。
従来使われてきた計測手法としては、皮膚上の振動や変位をマイクや加速度センサ、力センサを使って間接的に計測する方法が取られてきました。この手法は構成がシンプルで小型なため、簡単な振動計測手法として多く用いられています。例えば一次元的な凹凸をなぞったときの振動を爪に装着した加速度センサから計測したり[1]、ペンに加速度センサをつけることで材質ごとの振動の違いを計測する研究[2]が存在しています。これらの研究は記録を目的としています。一方で記録と再生を同時に行った例が存在します。例えば、マイクによりコップ内の振動を音として記録し、その情報を振動子によってコップに提示するTechtile Toolkit[3]が存在します。
このような間接的な計測手法は有効である一方、皮膚の空間的な変形を観察できないという欠点を抱えています。例えば机の角に指を押し当ててなぞる状況ではどの部分が大きく変形しているかを計測することが非常に重要ですが、加速度センサなどの情報から刺激位置ないし変形量を推定することは非常に困難となります（もしかしたらできるのかもしれませんが…）。
このため、物体に触れた際の皮膚変形をカメラなどを用いて計測する方法が多数提案され、実際の計測も多数行われています。本手法は間接的な計測方法と比較するとセットアップが若干複雑となるデメリットはあるものの、人の手触りに用いられる時空間的な変形をすべて計測することが可能となります。最近では触覚で一番大きい学会の一つEurohaptics2022にて皮膚変形に関するワークショップが開かれるなど非常にHotな領域になりつつあります。
数点実際の計測例を挙げてみましょう。よく用いられる計測方法として、プリズムを用いる手法が挙げられます。これは指に対してインクの塗布等が必要なく、板に対して指を押し当てるだけで指紋形状を明瞭に計測することができます[8]。また、手触りに対して大きな影響を与える接触領域も明らかにすることができます。
2000年代の研究では、皮膚の局所的な変化を図示するような形で結果の報告がなされていましたが[4]、現在(2022年現在)では、この局所的な変化を空間的な歪み(strain)として捉え、皮膚にかかるエネルギー量やその分布をより定量的な形で報告する論文が多数投稿[5]されています。これまでに行われている計測対象としては、平たい板の移動[1][6]・回転[7]、大きな凹凸[1]などがあります。ちなみに私はこのような直接的な計測のうち、非常に粗い面での計測方法を提案しております[9]。
他にはステレオカメラを用いることで、皮膚の変形を３次元的に捉える手法も提案されています[10]。これは主に柔らかい物体や大きな凹凸など、垂直方向の皮膚変形が特に重要な対象物に対して用いられています。
物理的な計測が触覚xHCI領域にどう活用できるか？
ではこのような物理的な計測はどのように触覚xHCI領域に活用できるのでしょうか？
個人的にありうるだろうなと思う方法としては、作成した触覚提示デバイスの評価方法としての利用が考えられます。現状提案されているデバイスの評価を行う際には、そのデバイス自体が持つ性能（提示できる力、トルク、解像度、外部負荷をかけた際の反応、周波数特性等）を示す、ないしそのデバイスがどの程度ユーザーの体験を向上させたかに関して評価を行う方法があると感じています。これに加えてデバイスが皮膚に与える刺激などを計測することで、デバイスが人に与える影響が明らかになるのではないかなと思っています。もちろんこの部分を有効なものとしていくためには、皮膚変形と手触りの対応性に関してより様々な知見が深まる必要があるわけですが…
おわりに
非常に簡単にですが、手触りの物理的な測り方に関して概観しました。読んでいただいて興味を持っていただければ幸いです。
実際に読んでいて”この部分はどうなっているの？”など疑問等がありましたらぜひtwitterなどでコメントいただければと思います。知ってる範囲で答えさせていただければと思います。
参考文献
[1] Martinot, F., Houzefa, A., Biet, M., & Chaillou, C. (2006, March). Mechanical responses of the fingerpad and distal phalanx to friction of a grooved surface: Effect of the contact angle. In 2006 14th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (pp. 297-300). IEEE.
[2] Romano, J. M., & Kuchenbecker, K. J. (2011). Creating realistic virtual textures from contact acceleration data. IEEE Transactions on haptics, 5(2), 109-119.
[3] Minamizawa, K., Kakehi, Y., Nakatani, M., Mihara, S., & Tachi, S. (2012, March). TECHTILE toolkit: a prototyping tool for design and education of haptic media. In Proceedings of the 2012 Virtual Reality International Conference (pp. 1-2).
[4] Levesque, V., & Hayward, V. (2003, July). Experimental evidence of lateral skin strain during tactile exploration. In Proceedings of EUROHAPTICS (Vol. 2003, pp. 6-9). Dublin: IEEE.
[5] Delhaye, B. P., Schiltz, F., Barrea, A., Thonnard, J. L., & Lefèvre, P. (2021). Measuring fingerpad deformation during active object manipulation. Journal of Neurophysiology, 126(4), 1455-1464.
[6] Delhaye, B. P., Jarocka, E., Barrea, A., Thonnard, J. L., Edin, B., & Lefevre, P. (2021). High-resolution imaging of skin deformation shows that afferents from human fingertips signal slip onset. Elife, 10, e64679.
[7] de Dunilac, S. D. B., Bulens, D. C., Lefevre, P., Redmond, S. J., & Delhaye, B. P. (2022). Biomechanics of Finger Pad Response under Torsion. bioRxiv.
[8] Nam, S., Vardar, Y., Gueorguiev, D., & Kuchenbecker, K. J. (2020). Physical variables underlying tactile stickiness during fingerpad detachment. Frontiers in neuroscience, 14, 235.
[9] Kaneko, S., & Kajimoto, H. (2020). Measurement System for Finger Skin Displacement on a Textured Surface Using Index Matching. Applied Sciences, 10(12), 4184.
[10] Li, B., Hauser, S., & Gerling, G. J. (2020, March). Identifying 3-D spatiotemporal skin deformation cues evoked in interacting with compliant elastic surfaces. In 2020 IEEE Haptics Symposium (HAPTICS) (pp. 35-40). IEEE.
個人的に好きな、音楽と関係する研究３選
こんにちは、gissyuです。
この記事は、UECDTM Advent Calender 2022 7日目の記事です。
前回はkewasaさんのプラグイン紹介の記事でした。EQとかディレイとか機能はちょっと知ってるけど未だに使い方よくわかってないんですよね。今度discordで質問してみよう…
あ、あとケバブはうまいんで食ってください。大学にたまに来てるキッチンカーのケバブはうまいっす。最近は来てるのかな…
はじめに
gissyuと申します。音楽製作に興味あるんですよね〜〜〜と言ってたらregunさんに誘っていただき入る事になりました。チョロチョロDAWはいじっているものの、最近はサンクラをひたすら漁ったり、（身内で）DJをする比率が高くなっています。どっかでちゃんとものを出したいな〜〜〜〜〜〜〜〜〜〜と思いながら日常が過ぎていきます。
そんなこんなでアドカレの募集をみつけ気軽な気持ちで登録したものの、サラリと書ける音楽ネタが研究関連の話しかありませんでした。”サラリと書けるのが研究？はぁ？”と驚かれたと思いますが自分も話題提供できるレンジの狭さに驚いています。研究に入り浸る時間が長いとこうなってしまうようです。おそろしいね。
さて、今回は自分が最近みた音楽関連の研究で面白かったものを３つ紹介します。音楽に関する研究といっても、音楽史や音響技術に関するものではなく、音楽を聞いた際に得られる（生物含む）人間の反応に関するものをピックアップしています。面白い論文だな〜と思ったらぜひ元論文を参照していただけるとより深く理解していただけるかなとおもっております。それでは行ってみよ〜〜〜〜〜〜〜
早いBPMの曲を聞きながら運転すると事故する度合いが上がる研究
元論文：Brodsky, W. (2001). The effects of music tempo on simulated driving performance and vehicular control. Transportation research part F: traffic psychology and behaviour , 4 (4), 219-241. https://doi.org/10.1016/S1369-8478(01)00025-0
2002年と古めの研究ですがタイトルのインパクトがすごいです。この研究をFeatureした記事もいくつか投稿されていたりします。
この研究は、バラード（BPM56）からハウス(BPM137）の音楽を聞かせた状態でドライビングシミュレーターでの運転を計測しました。結果、テンポが早い曲を聞かせている状態では信号無視や急発進などの危険な運転動作が増えることが示されました。
この研究の個人的に好きなポイントは使用した楽曲の一覧が表としてまとめられているところです。もちろん研究の再現性を担保するために記述しているとは思いますが、個人的にはこういうところから出会う楽曲が一番うれしかったりするわけです。
詳細は論文を参照いただきたいんですが、今回使用している早めの楽曲群はなぜかすべてDJ Jurgen – His Favourite Tracks Part 2のアルバム内から選択されています。全く聞いたことがなかったのでyoutubeで聞いてみたところ、非常に良質なハウス音楽の集合体でした。His Favourite Tracksというぐらいだから神曲がたくさん入ってるのは当然か…みんなも聞いてね！
ちなみにこの著者、現在でも精力的に研究されてるみたいです。詳しく論文読めてないので気になったらいますぐCheck it!
ラットがビートに合わせて体を動かす研究
元論文：Ito, Y., Shiramatsu, T. I., Ishida, N., Oshima, K., Magami, K., & Takahashi, H. (2022). Spontaneous beat synchronization in rats: Neural dynamics and motor entrainment. Science Advances, 8(45), eabo7019. https://doi.org/10.1126/sciadv.abo7019
人間がビートを取りやすいテンポの音楽(120-140BPM)で、ラットも同じように体を動かすことが発見されています。詳しい論文の内容はプレスリリースに委ねようと思いますのでそちらを参照頂ければ。
プレスリリース：https://www.i.u-tokyo.ac.jp/news/files/ist_pressrelease_20221107_takahashi_r2.pdf
個人的に好きなのはプレスリリースP4に記載されている動画2です。ラットにモーツァルトを聞かせたりレディーガガ聞かせたりクイーン聞かせたりして実際にその運動を計測している様子が収録されています。ぜひ見て頂ければ。かわいいです。
クリック後に発生する音を遅らせると”重み”を生じる
元論文：Kaneko, S., Yokosaka, T., Kajimoto, H., & Kawabe, T. (2022). A Pseudo-Haptic Method Using Auditory Feedback: The Role of Delay, Frequency, and Loudness of Auditory Feedback in Response to a User’s Button Click in Causing a Sensation of Heaviness. IEEE Access, 10, 50008-50022. https://ieeexplore.ieee.org/document/9766314
この研究では、パソコン上に表示されるボタンをクリックした後、音が発生するまでの時間、音の高さ、音の大きさを変え、感じる”重み”を回答してもらう実験を行っています。結果、発生するまでの時間が長い、音が低い、音量が大きいときに強い重さの感覚が生起することが示されました。最近記事に取り上げていただきました。
https://note.com/screenless/n/n6261a77153ac
これ自分が主著で書いた論文です。ええそうです宣伝です。頑張って書いたのでみんな読んでね！よかったら記事化とか引用とか実用化のお話とかお待ちしておりますので！！！
おわりに
ほかにも色々あるんでしょうが脳みそからパッと出てこないので今回はここまで。めちゃくちゃ久々にブログ記事を書いたのでどんな感じのノリで書けばいいのかわかんないなかでつらつら書いてみました。駄文を連ねるの、だ～いすき！
次はまさドゥさんの記事です。ためにならない自分語りなんてあるわけないじゃない！！！！！楽しみにしております。
linuxbean12.04の環境構築メモ
今回emacs24.4のewwを使おうとしてビルドで詰んだ（できたけどlibxml2がないとかでewwが起動できなかった）ので、現状の環境をメモってlinuxbean14にした時にスムーズに移行できるようにする私的メモ。
（１）byobu+zsh+oh-my-zsh&powerlineテーマ導入
この記事参考にしたよ。
基本的にこの通りやれば大丈夫。
ちなみにchshやったあとに自分の場合rebootしてやっとこさzshがログインシェルになった思い出あり。
そうするとこまんなくて済むかも。
byobuの使い方はここ。
で、よくわからんが、LinuxBeanで三角の位置がずれてたので、いろいろググってたらここの解決法で出来た。（フォントが入ってなかっただけっぽい）
(2)elisp関連
これは環境引き継げるからいいか…
まとめる気があったらまとめようかな。（クソザコだけど）
ちなみにemacsにもpowerline.elは導入済みです。(auto-install-from-emacswiki使った）
(3).sshとか
configだけコピーしてあとはssh-keygenして終わりでいいんじゃない？
(4)Vimtutor IS GOD
終わり。またなんかあったら追記するかもしれない。
