声化——当你超越数据的视觉表示时

以声音为指导进行交流和寻找模式

“没有声音，庆祝和悲伤看起来几乎一样。” （本·马库斯）[0]

声音为我们对周围环境的感知提供了一些独特的东西。

我总是记得走进所有这些历史地标，看到它们完全布置和漂亮，但同时又呆滞而死气沉沉。

然而，一旦你在这些房间里播放当代音乐（或音效），它们就会突然变得活跃起来。你会立即被传送到那个时间点。

您可能正在参加纪念路易十四的盛大舞会或见证独立宣言的撰写。

声音为原本处于休眠状态的物体、地点和时刻带来生机。当您对数据进行声处理时，也会发生同样的情况。

它是健全发展的下一个前沿。

什么是数据声化？

这是传递信息的另一种方式。

当您展示数据时，您通常使用视觉提示来展示您对工作的分析。但在这种情况下，您使用声音使某些东西更容易理解。

想想盖革计数器。这是一种测量周围辐射水平的电子设备。如果您去切尔诺贝利，您可能会选择其中之一，并避免离可能（永久）损害您健康的地方太近。

为了确保您的安全，此设备将发出代表您所接触辐射水平的音频咔嗒声。您听到的咔嗒声越多（它们之间的空间越小），辐射就越高。

那将是你的“滚出去”的信号。

这是将数据转换为声音的更直观的表示。在这种情况下，作曲家和计算机科学家 Brian Foo 想要用声音和视觉来表现北京在 3 年的时间范围内空气污染的变化。

在基础音乐层（节奏适中的重复钢琴声）之上，Brian 创建了一种算法，根据城市的日常空气质量测量值来改变这首歌的声音和光学元素。

一方面，当空气质量恶化时，您会在音乐中听到更多的打击乐和嘈杂的元素 [截图 1]。这也将伴随着快节奏的音符和图表中更高密度的点。

另一方面，当空气污染得到改善时[屏幕截图 2]，这些有节奏的部分会逐渐消失，音乐会变得更悦耳，这也导致图表的饱和度降低。

通过这个声化实验，Brian 对紧迫问题创造了独特的视角，并帮助提高了人们对该问题的认识。

这些只是声音反馈如何帮助您以不同方式感知世界的两个示例，有时甚至更容易。声音既可以是传达数据序列的有用工具，也可以是强大的工具。

您使用什么技术将数据转化为声音？

您可以从中创建可视图表的相同数据，也可以将其转化为声音和音乐。您可以使用不同的声音元素（音高、音量、节奏）来让用户意识到您试图传达的信息的变化。

例如，Ambrose Soehn 是一家名为 ChirpShop 的音频品牌公司的联合创始人，他利用音调的变化来提高人们对气候变化的认识。[0]

通过获取全球温度变化的历史数据，他将较高的音调分配给更极端的气候事件（例如热浪），将较低的音调分配给较冷的年份。

换句话说，对于 1880 年到 2016 年之间的每一年，他都会为温度值分配一个特定的音高（以 MIDI 格式）。

一旦他将它们映射出来，他就会将该文件导入 DAW（数字音频工作站），在那里他会将虚拟乐器分配给该音高序列（实际上是音符），以将它们变成音乐。

瞧！这是这个实验的结果声音图。[0]

这样做有什么好处？数据变得生动起来！曾经只是对图表的概念掌握，现在变成了对信息的更深入理解的情感旅程。你会参与到你所听到的并且能够感受到数据的过程中。

它不再只是一串数字，而是与它们背后的智慧的个人联系。

还有其他听取信息的方式：

• 听觉：这是一种将数据值表示为我们听觉范围内（20Hz 到 20kHz）的声音的方式。例如，当您的医生将听诊器放在您的皮肤上时，他们能够听到心脏、肺、肠甚至血流通过您的静脉和动脉发出的声音。他们正在将管风琴的声音变成他们可以轻松听到的东西。[0]
• 基于模型的声化：它是当有人与之交互时产生的声学响应系统。您建立一组指令（例如，当用户接近时，增加音调），并告诉用户如何与之交互。例如，如果你曾经见过一种叫做 theremin 的乐器，你就会知道，根据你在它周围挥动双手的方式，你会弹奏不同的音高、发音和音量，从而产生非常特殊的音色。[0][1]

我敢打赌你以前没有想过这样的声音，是吗？

音频表示的味道

我们对声音的感知与图像不同。人家说一张图抵千言，一个声音就让你无语。它超出了文字的范围，很多时候你会发现自己无法描述你所听到的。

但是，直到您找到一个可以引导您获取有价值信息的参考框架。

让我们看一些例子来更好地理解这一点。

最基本的是时钟滴答作响。如果没有对时间划分的参考，这种声音将无法传达任何有用的数据。但是，一旦您了解它每秒滴答一次，每小时响一次，您就可以更恰当地使用这些信息。基本上，您听到的是一个听觉提示（滴答声/响声）来表示一段数据（秒/小时）。[0]

然后你有不同程度的复杂性。

您可以使用声音来表示图像。

想象一下，你有一张照片，你想把它变成声音。一个名为 Photosounder 的软件允许您将像素转换为低音和高音。您在此软件上从左到右处理图像。[0]

照片主要人物中包含的每个像素都将获得独特的音调。因此，如果它是一个圆圈，您首先会听到中间的一个音高，然后是两个相反方向的音高（一个更高，一个更低）并以中间音高结束。

这是一个香蕉的例子，让你更容易。[0]

一组更复杂的数据正在将 Covid-19 刺突蛋白的氨基酸序列转化为声音。感谢麻省理工学院工程学教授兼音乐作曲家 Markus Buehler 的工作，研究人员现在可以通过声音的镜头听到它的结构。

这可以激发科学家从另一个角度看待问题并增强横向思维。如果你好奇，这里是病毒的实际声音表现。[0]

The takeaway

我们用来理解数据的技巧之一是将其显示为图表、图形、信息图表等。除了以视觉方式显示数据之外，为什么不尝试将其表示为声音呢？

有一个称为声化的整个发展领域，它不仅可以帮助人们与他人交流想法，还可以帮助我们感知传统可视化可能不会注意到的模式和趋势。

它有助于使信息生动起来。当您能够听到而不是仅仅看到它们时，您会有不同的感觉。你周围的空间充满了可以到达你灵魂最深处的振动。感觉很有意义。

通过声化，您可以为科学添加情感理解。

当你开始体验它时，声音和音乐就会成为强大的工具，但前提是我们学会了如何恰当地使用它们。

如果您喜欢这篇文章，请尝试阅读以下内容：

如果您喜欢阅读此类故事并希望支持 Medium 上的作者，请考虑注册成为 Medium 会员。每月只需​​ 5 美元，您就可以无限制地访问来自世界各地优秀作家的文章。[0]