手触りの物理的な測り方とHCIへの活かし方
本記事はHuman-Computer Interaction (HCI) Advent Calender 2022 11日目の記事です。昨日(10日)の記事はkn1chtさんのマルチプラットフォーム対応の触覚設計ツールHaptic Composerを触るでした。
はじめに
こんにちは。電通大の金子です。普段は博士課程学生として触覚、特に触覚の計測技術中心に研究を行っております。今回はタイトルにもあるように、我々がモノを触った際に生じる感覚（以下手触り）を物理的にどのように計測するかに関してまとめていきます。また（HCIアドカレということなので）、これらの技術がどのように触覚xHCI領域に対して活用できるかに関して自分なりの私見を少しだけ綴ってみたいと思います。
手触りを測る意義
私達の身の回りには様々なモノが存在し、そのものに触れた際には必ずそのものの手触りを知覚します。例えば今私が使っているキーボードやマウス、ノートやペン、スマートフォンの表面に貼っている保護フィルムなどすべて手触りが異なっています。このような商品を設計する側では、”どのような物性ないし形状であれば狙った手触りが出せるのか”を明確化することが非常に重要な課題として存在しています。また、VRで用いられる触覚ディスプレイでも同様の課題、つまり”どのような信号を人間に入力すれば狙った手触りが提示できるか”を明らかにする必要性が存在しています。
このような課題に対し、人間の知覚（粗さやなめらか）と対応する指標を明らかにすることを目的とし、様々な形で手触りを計測する試みが行われています。
手触りの物理的な測り方
手触りの計測を考える際には、人間が手触りを知覚する流れに関して考えていく必要があります。これは大きく４ステップに分けることができ、それぞれ
- 様々な物性を持つ物体によって、物理的に皮膚が変形する
- 物理的な皮膚の変形が、指内部の受容器によって電気信号に変換される
- 信号が神経を伝い、脳に入力される
- 脳によって信号が解釈され、手触りが生じる
のように表されます。手触りの計測とは、この４ステップの間の関係性を明確化する作業と言い換えることができます。今回はこの４ステップの関係性のうち、”モノの物性がどのような皮膚の動き（あるいは振動）をもたらすか”に関して注目していきます。人は物体に触れると指の皮膚は変形したり、せん断したり、振動したりなど様々な振る舞いを見せます。この時空間的なパターンを使って人は手触りを得ています。この皮膚変形現象が物性と紐づくことで、どんな物性がどんな変形として変換されるかが明らかになり、触覚ディスプレイ上で手触り再現をする際の入力として利用することができます。
従来使われてきた計測手法としては、皮膚上の振動や変位をマイクや加速度センサ、力センサを使って間接的に計測する方法が取られてきました。この手法は構成がシンプルで小型なため、簡単な振動計測手法として多く用いられています。例えば一次元的な凹凸をなぞったときの振動を爪に装着した加速度センサから計測したり[1]、ペンに加速度センサをつけることで材質ごとの振動の違いを計測する研究[2]が存在しています。これらの研究は記録を目的としています。一方で記録と再生を同時に行った例が存在します。例えば、マイクによりコップ内の振動を音として記録し、その情報を振動子によってコップに提示するTechtile Toolkit[3]が存在します。
このような間接的な計測手法は有効である一方、皮膚の空間的な変形を観察できないという欠点を抱えています。例えば机の角に指を押し当ててなぞる状況ではどの部分が大きく変形しているかを計測することが非常に重要ですが、加速度センサなどの情報から刺激位置ないし変形量を推定することは非常に困難となります（もしかしたらできるのかもしれませんが…）。
このため、物体に触れた際の皮膚変形をカメラなどを用いて計測する方法が多数提案され、実際の計測も多数行われています。本手法は間接的な計測方法と比較するとセットアップが若干複雑となるデメリットはあるものの、人の手触りに用いられる時空間的な変形をすべて計測することが可能となります。最近では触覚で一番大きい学会の一つEurohaptics2022にて皮膚変形に関するワークショップが開かれるなど非常にHotな領域になりつつあります。
数点実際の計測例を挙げてみましょう。よく用いられる計測方法として、プリズムを用いる手法が挙げられます。これは指に対してインクの塗布等が必要なく、板に対して指を押し当てるだけで指紋形状を明瞭に計測することができます[8]。また、手触りに対して大きな影響を与える接触領域も明らかにすることができます。
2000年代の研究では、皮膚の局所的な変化を図示するような形で結果の報告がなされていましたが[4]、現在(2022年現在)では、この局所的な変化を空間的な歪み(strain)として捉え、皮膚にかかるエネルギー量やその分布をより定量的な形で報告する論文が多数投稿[5]されています。これまでに行われている計測対象としては、平たい板の移動[1][6]・回転[7]、大きな凹凸[1]などがあります。ちなみに私はこのような直接的な計測のうち、非常に粗い面での計測方法を提案しております[9]。
他にはステレオカメラを用いることで、皮膚の変形を３次元的に捉える手法も提案されています[10]。これは主に柔らかい物体や大きな凹凸など、垂直方向の皮膚変形が特に重要な対象物に対して用いられています。
物理的な計測が触覚xHCI領域にどう活用できるか？
ではこのような物理的な計測はどのように触覚xHCI領域に活用できるのでしょうか？
個人的にありうるだろうなと思う方法としては、作成した触覚提示デバイスの評価方法としての利用が考えられます。現状提案されているデバイスの評価を行う際には、そのデバイス自体が持つ性能（提示できる力、トルク、解像度、外部負荷をかけた際の反応、周波数特性等）を示す、ないしそのデバイスがどの程度ユーザーの体験を向上させたかに関して評価を行う方法があると感じています。これに加えてデバイスが皮膚に与える刺激などを計測することで、デバイスが人に与える影響が明らかになるのではないかなと思っています。もちろんこの部分を有効なものとしていくためには、皮膚変形と手触りの対応性に関してより様々な知見が深まる必要があるわけですが…
おわりに
非常に簡単にですが、手触りの物理的な測り方に関して概観しました。読んでいただいて興味を持っていただければ幸いです。
実際に読んでいて”この部分はどうなっているの？”など疑問等がありましたらぜひtwitterなどでコメントいただければと思います。知ってる範囲で答えさせていただければと思います。
参考文献
[1] Martinot, F., Houzefa, A., Biet, M., & Chaillou, C. (2006, March). Mechanical responses of the fingerpad and distal phalanx to friction of a grooved surface: Effect of the contact angle. In 2006 14th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (pp. 297-300). IEEE.
[2] Romano, J. M., & Kuchenbecker, K. J. (2011). Creating realistic virtual textures from contact acceleration data. IEEE Transactions on haptics, 5(2), 109-119.
[3] Minamizawa, K., Kakehi, Y., Nakatani, M., Mihara, S., & Tachi, S. (2012, March). TECHTILE toolkit: a prototyping tool for design and education of haptic media. In Proceedings of the 2012 Virtual Reality International Conference (pp. 1-2).
[4] Levesque, V., & Hayward, V. (2003, July). Experimental evidence of lateral skin strain during tactile exploration. In Proceedings of EUROHAPTICS (Vol. 2003, pp. 6-9). Dublin: IEEE.
[5] Delhaye, B. P., Schiltz, F., Barrea, A., Thonnard, J. L., & Lefèvre, P. (2021). Measuring fingerpad deformation during active object manipulation. Journal of Neurophysiology, 126(4), 1455-1464.
[6] Delhaye, B. P., Jarocka, E., Barrea, A., Thonnard, J. L., Edin, B., & Lefevre, P. (2021). High-resolution imaging of skin deformation shows that afferents from human fingertips signal slip onset. Elife, 10, e64679.
[7] de Dunilac, S. D. B., Bulens, D. C., Lefevre, P., Redmond, S. J., & Delhaye, B. P. (2022). Biomechanics of Finger Pad Response under Torsion. bioRxiv.
[8] Nam, S., Vardar, Y., Gueorguiev, D., & Kuchenbecker, K. J. (2020). Physical variables underlying tactile stickiness during fingerpad detachment. Frontiers in neuroscience, 14, 235.
[9] Kaneko, S., & Kajimoto, H. (2020). Measurement System for Finger Skin Displacement on a Textured Surface Using Index Matching. Applied Sciences, 10(12), 4184.
[10] Li, B., Hauser, S., & Gerling, G. J. (2020, March). Identifying 3-D spatiotemporal skin deformation cues evoked in interacting with compliant elastic surfaces. In 2020 IEEE Haptics Symposium (HAPTICS) (pp. 35-40). IEEE.
