簡易檢索 / 詳目顯示

研究生: 羅翊寧
Lo, Yi-Ning
論文名稱: μsic -透過音訊增強共感體驗
μsic - Sound Facilitates Synesthesia Tactile Experience
指導教授: 陳明惠
Turner, Ming
何俊亨
Ho, Chun-Heng
學位類別: 碩士
Master
系所名稱: 規劃與設計學院 - 科技藝術碩士學位學程
Master Program on Techno Art
論文出版年: 2017
畢業學年度: 105
語文別: 中文
論文頁數: 107
中文關鍵詞: 觸覺音訊共感跨感官體驗
外文關鍵詞: haptic, sound, vinyl records, synesthesia, cross-modal perception
相關次數: 點閱:212下載:14
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 依據人類感官感受所產生的感性中,可畫分為視覺、聽覺、觸覺、味覺、嗅覺等意象。感官體驗在任何與人有關的領域十分重要,而觸覺作為五感中分佈最廣的感受,甚至會影響人們對事件的看法及行動,卻被人們視為自身最不敏銳的感覺;為了找尋幫助觸覺更受注意的方法,我參考整合觸覺與其他感官的研究與應用,發現聽覺與觸覺的反應關聯性相較於其他五感更高,因此本創作論文以跨感官體驗為出發點,延續我前一件「類比故事」以聽覺角度探討材質觸感與視覺間關係的作品,本作品主要目標將探尋人們自認為較不敏銳的感受─觸覺,經過編譯材質的音訊影響觸覺的共感體驗,過程實驗現有互動技術與跨感官的心理感受,展出時觀察並訪問觀眾對觸感感受和聽覺音訊的關聯性。
    本篇創作論文想透過其他感官(聽覺)的刺激,喚起人們重視觸覺的感受和統合複數感官的體驗。經過蒐羅心理認知及感性對觸覺、跨感覺及音樂相關研究資料和應用,其中發現觸覺、聽覺皆有產生情緒的關聯性,因此以情緒做為跨接感官的橋梁,同時分析黑膠唱片為媒材之作品、近代跨感官體驗作品與設計領域融合觸覺與其他感官的案例,試圖建立觸覺和聲音的關聯,以科技藝術創作的方式挑戰現代人的經驗,創造聽覺對觸覺跨感官的感受,作品《μsic》以觸覺刺激分為〈hardness〉和〈roughness〉兩部分,皆為觸摸得到音樂回饋的觸覺聲音作品,〈hardness〉以材質軟硬程度作為刺激並傳遞樂曲的軟硬度感受,〈roughness〉以音樂訊號呼應材料表面紋理觸感及粗糙度。展覽後,從回饋中發現觀眾對音樂的背景經驗會影響辨認作品音樂內容的差異,介紹的內容也會影響觀眾對觸感與聲音間關聯的理解程度,然而作品創造的共感現象效果並不明顯,推測是情緒的影響力較不足,也有可能是主動接觸作品並戴上耳機的動作使得心理產生聽覺期待而非產生非預期聲響,以此作為後續系列作品發展的基礎,希望這個創作的研究、過程和結果,能夠貢獻給想整合觸覺聽覺、共感、五感體驗和經驗的各個領域的人們。

    This thesis aims to explore the experience between the senses of touching and hearing. It starts on searching the researches and information of sense of touch, cross-modal perception and music. Then it learns by my previous artwork “analog stories” which discusses the non-word subtle information in languages and communications. Moreover it investigates the particular artists and their works. The artwork has been inspired by their experience.

    Based on the experience of sensory perception, especially tactile and auditory stimulation, in this thesis, I create a series of artworks named “μsic”, then the goal of this work is that audiences can experience both haptic and sound in synesthesia-like way on it. The artwork emphasizes the haptics and hearing that human usually ignore in daily life. Due to the different feeling of touch, “μsic” is divided into “hardness” and “roughness” two parts. Both of them are installation and interactive artworks with vinyl-like records and mixed music. When audiences press or touch the surface of record, they can know the music with haptics.

    “μsic” was displayed in NCKU art gallery. The visitors interacted with and commented on the work that some of them thought they could experience the cross-modal perception between touch and hearing. In conclusion, the thesis and “μsic” can achieve the goal that build a new experience in tactile performance, yet the artwork still needs to try more experiments and different express ways in the future.

    摘要 i μsic - Sound Facilitates Synesthesia Tactile Experience iii 誌謝 vii 目錄 viii 表目錄 xiii 圖目錄 xiv 符號與縮寫列表 xviii 第1章 緒論 1 1.1 前言 1 1.2 創作動機 2 1.3 創作目的 4 1.4 創作步驟 4 1.5 創作架構 5 第2章 文獻探討 7 2.1 感覺 7 2.1.1 觸覺 7 2.1.2 視覺與聽覺比較 10 2.1.3 小結 11 2.2 跨感官 11 2.2.1 跨感官連結研究 12 2.2.2 共感覺 14 2.2.3 小結 15 2.3 音樂與情緒 16 2.3.1 音樂特徵與情緒 17 2.3.2 音樂與注意力 19 2.4 結論 20 第3章 作品分析 21 3.1 創作經驗 21 3.1.1 經驗分析 24 3.2 類比唱片相關作品 25 3.2.1 城一裕 Laser Cut Record experiment (2012) 25 3.2.2 Graham Dunning Mechanical Techno: Ghost in the Machine Music (2014) 26 3.2.3 Yuri Suzuki The Sound of the Earth(2013) 27 3.2.4 Bartholomaus Traubeck Years (2011) 28 3.2.5 Matthew Herbert Edible Sounds (2015) 29 3.2.6 Julia Drouhin Sweet Tribology (2015) 30 3.3 跨感官關連作品 32 3.3.1 Synesthesia Suit (2016) Konishi, Hanamitsu, Minamizawa, Sato & Mi-zuguchi 日本慶應大學媒體設計研究所及Rhizomatiks公司 32 3.3.2 VEST:A Vibrotactile Sensory Substitution Device for the Deaf (2015) Novich & Eagleman 33 3.3.3 Jackson McConnell Ripple - A Speaker for the Hearing Impaired(2010) 34 3.3.4 Seaboard (2016) ROLI Ltd. 35 3.3.5 Alaska's Chichagof Island as Sheet Music(2015) 36 3.3.6 Tania Candiani Five Variations of Phonic Circumstances and a Pause(2013) 37 3.4 平面類觸覺相關作品 38 3.4.1 石上純也 春(2015- subtle展) 38 3.4.2 葛西薰 試著貫穿紙張的石頭,或是不讓它得逞的紙張(2015 - subtle展) 39 3.4.3 原研哉 長野冬季奧運會開幕式紀錄封面(1998) 40 3.4.4 Gill Wilson Paper works 41 3.4.5 Roanna Wells Interpersonal spatial arrangements 42 3.4.6 Jennifer Cantwell Letter home (2011) 43 3.5 結論 44 第4章 作品創作 45 4.1 創作理念 45 4.1.1 未來主義啟蒙 46 4.1.2 視覺形象 46 4.1.3 激浪派手法詮釋〈hardness〉系列 47 4.1.4 解構派手法與〈roughness〉系列 48 4.2 創作方法 49 4.2.1 音樂畫面共感覺實驗 49 4.2.2 hardness媒材分析與製作 52 4.2.3 roughness媒材分析與製作 53 4.2.4 roughness音樂特徵與情緒變化分析 56 4.2.5 hardness音樂訊號處理 57 4.2.6 roughness音樂訊號處理 59 4.2.7 作品實體結構製作 63 4.2.8 互動技術製作 65 4.3 操作步驟 66 4.4 展場規劃 67 4.5 佈展情況 69 4.6 作品展出紀錄 72 4.7 展覽觀察與回饋 78 4.7.1 互動觀察 78 4.7.2 訪問回饋 78 第5章 結論 80 5.1 創作結論 80 5.2 未來展望 81 5.2.1 材質發展 81 5.2.2 音訊發展 82 5.2.3 科技發展 82 參考文獻 84 附錄A 音樂畫面共感覺實驗 91 A.1 音樂對畫面文字紀錄 91 A.1.1 Apollon Blue [02:45] 作/編曲:菅野よう子 95 A.1.2 float(featuring mabanua) [1:27] 作/編曲:mabanua Jazz 95 A.1.3 Rosario [2:20] 作/編曲:菅野よう子 95 A.1.4 Chick‘s Diner [2:03] 作/編曲:菅野よう子 96 A.1.5 Moanin‘ [4:44] 作曲:Bobby Timmons(funk) 編曲:松永貴志 Jazz piano 96 A.1.6 Justice [4:37]作曲Casiopea vs T-Square 97 附錄B roughness、hardness系列觸感音樂介紹 98 B.1 〈roughness〉系列 98 B.2 〈hardness〉系列 102 附錄C 互動音訊裝置程式碼 103 C.1 Bare Conductive Touch Board Arduino程式 開發code 103 附錄D 作品與展覽列表 107 D.1 作品參展列表 107

    D. Ackerman. (1993). 感官之旅. 莊安琪譯。台北市:時報文化。
    John Powell. (2016). 好音樂的科學. 全通翻譯社譯. 台北市:大雁文化。
    Levitin DJ. (2006). 迷戀音樂的腦. 台北:大家出版。
    R. L. Gregory. (1997). 視覺心理學. 瞿錦春、張芬芬譯(2006). 台北市:五南圖書。
    SA編輯部The Editors of SA(2015). 觸覺的情感力量. 陳瑀葳譯. 科學人,第165期,第88-91頁。
    王署君、宋秉文(1998). 神經生物學淺談. 台北:台灣書店。
    呂明泉(2002). 觸覺與視覺對意象差異研究—以塑膠材質咬花為例. 台南市:國立成功大學工業設計研究所。
    林其蔚(2012). 超越聲音藝術:前衛主義、聲音機器、聽覺現代性. 台北市:藝術家。
    林東龍、張東裕(2005). 混合材質在視觸覺上差異之研究.國立高雄師範大學學報,第19期,頁1-15。
    林寶蓮(2002). 造形之視覺與觸覺意象研究-以塑膠容器形態為例. 桃園市:銘傳大學設計管理研究所。
    柯超茗(1997). 材料視覺與觸覺質感意象的研究. 雲林:國立雲林技術學院工業設計技術研究所。
    原研哉(2005). 設計中的設計 DESIGN OF DESIGN. 台北:磐築創意有限公司。
    原研哉、日本デザインセンター原デザイン研究所企画構成,株式会社竹尾編(2004). HAPTIC-五感の覚醒. 朝日新聞。
    常和主編(2006). 人體百科:瞭解人體知識必備優良叢書. 台北:漢宇國際文化。
    張文裕、林東龍(2005). 混合材質在視覺上的形容詞研究. 第十屆中華民國滸學會學術研究成果論文集。
    張育銘、陳鴻源、林可欣、洪子娟(2005). 材質表面屬性與振動屬性對觸覺感性意象影響. 設計學報,第十捲第一期,第73-86頁。
    張春興(2003). 心理學原理. 台北:台灣東華書局。
    郭泓伶(2010). 以擬態語彙探討材質視觸覺感性意象之研究. 台南市:國立成功大學工業設計研究所。
    陳又甄(2011). 視覺引起之誘觸性研究. 台南市:國立成功大學工業設計研究所。
    陳安君(2010). 產品視觸覺複合之感性意象研究. 台南市:國立成功大學工業設計研究所。
    博報堂生活總和研究所(2006). 五感的時代 視、聽、嗅、味、觸覺的消費社會學. 鍾霓譯. 台北市:財團法人中衛發展中心。
    蔡承諭(2004). 視、觸覺之形態與材質對產品意象影響研究. 雲林:國立雲林科技大學工業設計系碩士班。
    蔡振家(2015). 音樂與科學:音樂與情緒反應. 取自https://scitechvista.nat.gov.tw/c/vEV9.htm。
    蔣勳(2006). 美的覺醒. 台北市:遠流出版社。
    魏伯倫(2009). 觸覺記憶之創作研究. 台中市:國立東海大學工業設計學系研究所。

    Ackerley R, Saar K, McGlone F, Backlund Wasling H. (2014). Quantifying the sensory and emotional perception of touch: differences between glabrous and hairy skin. Front Behav Neurosci. 2014 Feb 11;8:34. doi: 10.3389/fnbeh.2014.00034.
    Ackerman, D. (1991). A natural history of the senses. New York: Vintage.
    Ackerman, J. M., Nocera, C. C., & Bargh, J. A. (2010). Incidental haptic sensations influence social judgments and decisions. Science. 2010 Jun 25; 328(5986): 1712–1715. doi: 10.1126/science.1189993
    Banissy MJ, Jonas C, Kadosh RC. (2014). Synesthesia: an introduction. Frontiers in Psychology 5:1414.
    Beverley Fredborg, Jim Clark, and Stephen D. Smith. (2017). An Examination of Personality Traits Associated with Autonomous Sensory Meridian Response (ASMR). Front Psychol. 2017; 8: 247.
    Botvinick M, Cohen J. (1998). Rubber hands 'feel' touch that eyes see. Nature. 1998 Feb 19;391(6669):756.
    Cannon, Walter (December 1927). "The James-Lange Theory of Emotions: A Critical Examination and an Alternative Theory". The American Journal of Psychology. 39: 106–124.
    Choi K. and Jun C., (2007). A systematic approach to the Kansei factors of tactile sense regarding the surface roughness, Applied Ergonomics 38, pp.53–63.
    Dinse, H.R. (2008). “Haptic banknote design, In Human Haptic Perception: Basics and Applications” (Eds Martin Grunwald), Birkhäuser Basel, pp 537-547.
    Ehrsson HH, Spence C, Passingham RE. (2004). That's my hand! Activity in premotor cortex reflects feeling of ownership of a limb. Science. 2004 Aug 6;305(5685):875-7.
    Emma L. Barratt, Nick J. Davis. (2015). Autonomous Sensory Meridian Response (ASMR): a flow-like mental state. PeerJ. 2015 Mar 26;3:e851. doi: 10.7717/peerj.851.
    Ernst, M.O., &Banks, M.S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion. Nature, 415, 429-433. doi:10.1038/415429a
    Foxe JJ, Wylie GR, Martinez A, Schroeder CE, Javitt DC, Guilfoyle D, Ritter W, Murray MM. (2002). Auditory-somatosensory multisensory processing in auditory association cortex: an fMRI study. J Neuro-physiol. 88:540-543.
    Frederick Sachs. (1988). The Intimate Sense. The Sciences, Volume 28(1), 28–34. doi: 10.1002/j.2326-1951.1988.tb02993.x.
    Guest S, Catmur C, Lloyd D, Spence C. (2002). Audiotactile interactions in roughness perception. Exp Brain Res. 146:161-171.
    H. Olausson, Y. Lamarre, H. Backlund, C. Morin, B.G. Wallin, G. Starck, S. Ekholm, I. Strigo, K. Worsley, Å.B. Vallbo & M.C. Bushnell. (2002). Unmyelinated tactile afferents signal touch and project to insular cortex. Nature Neuroscience 5, 900 - 904. doi:10.1038/nn896
    Jousmaki V, Hari R. (1998). Parchment-skin illusion: sound-biased touch. Curr Biol. 8:R190.
    Juslin PN, Timmers R. (2010) Expression and communication of emotion in music performance. In Handbook of Music and Emotion: Theory, Rsearch, Applications(edited by P. N. Juslin & J. Sloboda), pp.453-489. Oxford/NewYork: Oxford University Press.
    Kayser C, Petkov CI, Augath M, Logothetis NK. (2005). Integration of touch and sound in auditory cortex. Neuron. 48:373-384.
    Kazuhiro Jo, Mitsuhito Ando. (2013, May). cutting record -a record without (or with) prior acoustic information. Conference paper presented at the 13th International Conference on New Interfaces for Musical Expression, NIME 2013, Daejeon, Republic of Korea.
    László Moholy-Nagy, «New Plasticism in Music,» in Der Sturm, 7, 1923; English transl. in Broken Music. Artists' Recordworks, Ursula Block/Michael Glasmeier (eds.), Berlin, 1989, pp. 54–55.
    Löken LS1, Wessberg J, Morrison I, McGlone F, Olausson H. (2009). Coding of pleasant touch by unmyelinated afferents in humans. Nat Neurosci. May;12(5):547-8. doi: 10.1038/nn.2312.
    Mackevicius EL, Best MD, Saal HP, & Bensmaia SJ (2012). Millisecond precision spike timing shapes tactile perception. The Journal of neuroscience : the official journal of the Society for Neuroscience, 32 (44), 15309-17 PMID: 23115169
    McKellar,P. (1965), The investigation of mental images. In S. A. Barnett & A. McClaren(Eds.)Penguin Science Survey. Harmondsworth, England: Penguin Books.
    Michael J. Banissy, Clare Jonas, and Roi Cohen Kadosh. (2014). Synesthesia: an introduction. Front Psychol. 2014; 5: 1414.
    Pick, H., Warren, D., &Hay, J. (1969). Sensory conflict in judgments of spatial direction. Attention, Perception, &Psychophysics, 6, 203-205.
    Prytherch, David and McLundie, Mairghread,(2002). "So what is haptics anyway?". Research issues in art design and media. Issue No.2, Spring 2002.
    Ro, T., Hsu, J., Yasar, N. E., Elmore, L. C., &Beauchamp, M. S. (2009). Sound enhances touch perception. Experimental Brain Research, 195, 135-143. doi:10.1007/s00221-009-1759-8
    Ro, Tony; Ellmore, Timothy M.; Beauchamp, Michael S. (2013). A Neural Link Between Feeling and Hearing , Cerebral Cortex;Jul2013, Vol. 23 Issue 7, p1724
    Rochelle Ackerley. (2014). Human C-Tactile Afferents Are Tuned to the Temperature of a Skin-Stroking Caress. J Neurosci. 2014 Feb 19; 34(8): 2879–2883. doi: 10.1523/JNEUROSCI.2847-13.2014
    Rock, I., &Victor, J.(1964). Vision and touch: An experimentally created conflict between the two senses. Science, 143, 594-596. doi:10.1126/science.143.3606.594
    Schultz, L. M. & Petersik, J. T. (1994). Visual-haptic relations in a two-dimensional size- matching task. Perceptual and Motor Skills, 78(2), pp.395-402.
    Schurmann M, Caetano G, Hlushchuk Y, Jousmaki V, Hari R. (2006). Touch activates human auditory cortex. Neuroimage. 30:1325-1331.
    Schurmann, M., Caetano, G., Jousmaki, V., &Hari, R. (2004). Hands help hearing: Facilitatory audiotactile interaction at low sound-intensity levels. Journal of the Acoustical Society of America, 115, 830-832. doi:10.1016/j.neuroimage.2005.11.020
    Smith SD, Katherine Fredborg B, Kornelsen J. (2016). An examination of the default mode network in individuals with autonomous sensory meridian response (ASMR) Soc Neurosci. 2016;31:1–5.
    Smith SD, Katherine Fredborg B, Kornelsen J. (2017). An examination of the default mode network in individuals with autonomous sensory meridian response (ASMR). Soc Neurosci. 2017 Aug;12(4):361-365. doi: 10.1080/17470919.2016.1188851. Epub 2016 May 31.
    Spence, C., & Driver, J. (2004). Crossmodal Space and Crossmodal Attention., Oxford University Press.
    Summers I. R., Irwin R.J., and Brady A.C. (2008), “Haptic discrimination of paper, In Human Haptic Perception: Basics and Applications” (Eds Martin Grunwald), Birkhäuser Basel, pp 525-535, 2008.
    Wilson EC, Reed CM, Braida LD. (2010). Integration of auditory and vibrotactile stimuli: effects of frequency. J Acoust Soc Am. 127:3044-3059.
    Wilson, E. C., Reed, C. M., &Braida, L. D. (2010). Integration of auditory and vibrotactile stimuli: Effects of frequency. Journal of the Acoustical Society of America, 127, 3044-3059. doi:10.1121/1.3365318
    Yau JM, Olenczak JB, Dammann JF, Bensmaia SJ. (2009). Temporal frequency channels are linked across audition and touch. Curr Biol. 19:561-566.
    Zampini, M. & Spence, C. (2004). The role of auditory cues in modulating the perceived crispness and staleness of potato chips. Journal of Sensory Studies, 19, 347-363.
    Zampini, M., Torresan, D., Spence, C., &Murray, M. M. (2007). Auditory-somatosensory multisensory interactions in front and rear space. Neuropsychologia, 45, 1869-1877. doi:10.1016/j.neuropsychologia.2006.12.004

    下載圖示 校內:立即公開
    校外:2021-12-01公開
    QR CODE