我目前有几千个音频剪辑需要通过机器学习进行分类。
经过一番挖掘,我发现如果对音频进行短时傅立叶变换,它就会变成二维图像,因此我可以对这些图像而不是音频文件本身使用各种图像分类算法。
为此我找到了一个python package这就是 STFT,我所需要的就是绘制它,这样我就可以获得图像。为了绘图,我发现 this github repo非常有用。
最后我的代码如下:
import stft
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab
def save_stft_image(source_filename, destination_filename):
fs, audio = wav.read(source_filename)
X = stft.spectrogram(audio)
print X.shape
fig = pylab.figure()
ax = pylab.Axes(fig, [0,0,1,1])
ax.set_axis_off()
fig.add_axes(ax)
pylab.imshow(scipy.absolute(X[:][:][0].T), origin='lower', aspect='auto', interpolation='nearest')
pylab.savefig(destination_filename)
save_stft_image("Example.wav","Example.png")
代码有效,但是我观察到,当 print X.shape
行执行时,我得到 (513L, 943L, 2L)
。所以结果是 3 维的。因此,当我只写 X[:][:][0]
或 X[:][:][1]
时,我会得到一个图像。
我一直在阅读 STFT 的“冗余”,您可以删除一半,因为您不需要它。第三维度是多余的还是我在这里做错了什么?如果是这样,我该如何正确绘制它?
谢谢。
编辑: 所以新的代码和输出是:
import stft
import os
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab
def save_stft_image(source_filename, destination_filename):
fs, audio = wav.read(source_filename)
audio = scipy.mean(audio, axis = 1)
X = stft.spectrogram(audio)
print X.shape
fig = pylab.figure()
ax = pylab.Axes(fig, [0,0,1,1])
ax.set_axis_off()
fig.add_axes(ax)
pylab.imshow(scipy.absolute(X.T), origin='lower', aspect='auto', interpolation='nearest')
pylab.savefig(destination_filename)
save_stft_image("Example.wav","Example.png")
在左边我看到一列几乎看不见的颜色。我正在研究的声音是呼吸声,因此它们的频率非常低。也许这就是为什么可视化是一个非常薄的颜色列。
最佳答案
您可能有立体声音频文件?因此 X[:][:][0]
和 X[:][:][1]
对应于每个 channel 。
您可以通过scipy.mean(audio, axis=1)将多声道转换为单声道
。
关于python - 在Python中绘制音频频谱图,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36893767/