音を扱うための仕組み

[karoterra]

vertexshaderart のように音に応じて変化するようなシェーダーの為の仕組みがあるとよいかも。

いわゆる GLSL Sound のような音を作るための仕組みは無くてもよいと思う。
さすがに動画編集ソフトの機能としてはテクニカルすぎる。
もし実装するとすれば、拡張編集フィルタから呼べるように関数をエクスポートする感じか？

[karoterra]

拡張編集の lua.txt より

	○obj.getaudio(buf,file,type,size)
		音声ファイルからオーディオデータを取得します。
		オブジェクトの時間を基準とした位置のデータを取得します。
		buf	: データを受け取るテーブルを指定します。
			　※nilを指定すると第3戻り値でテーブルを返します。
		file	: 音声ファイル名("audiobuffer"を指定すると編集中の音声データが取得出来ます)
		type	: 取得データの種類
			  "pcm"=PCMサンプリングデータ(16bitモノラル)
			  "spectrum"=周波数毎の音量データ
			  "fourier"=音声を離散フーリエ変換したデータ(sizeの指定は不要)
			　 ※元周波数の1/2048～1/2まで1/2048刻みの1024個のデータになります(たぶん…
		size	: 取得するデータ数(指定した値より少ない場合があります)
		戻り値	: 取得したデータ数,サンプリングレート
		例：n = obj.getaudio(buf,"audiobuffer","spectrum",32)
		    n,rate = obj.getaudio(buf,"c:\\test.wav","pcm",1000)
		    n,rate,buf = obj.getaudio(nil,"c:\\test.wav","pcm",1000)

rikkey_moduleの使い方.txt より

audiobuffer関数
	obj.getaudioよりも詳しく複雑にいろいろすることができます
	table [, table] = rikky_module.audiobuffer(number [, string, string, string, number, number, table])
	第1引数は音声を取得したいフレーム数を指定する数値です
	取得するタイプによってフレーム数が現在の位置から相対的な位置なのか、プロジェクト全体の絶対的な位置なのかを決めることができます
	第2引数は取得する波形の種類を決める文字列です
	"PCM"      : 音の波の形を時間で表したものです(サイン波のようなうねうねしたものです)
	"FOURIER"  : PCM波形をフーリエ変換して周波数の強さを表したものです
	"SPECTRUM" : PCM波形をフーリエ変換したものを見やすく対数表で表したものです
	"DESIBEL"  : 基準音からのパワーの強さの割合で、大きいほど0に近づき、小さいほどマイナスになります
		ただし、パワーが0のとき(無音)はデシベルが-∞になって数値では表現できないので、nilが入るようになります

	第3引数はフレーム数が相対的か絶対的かを決める文字列です
	"relative" : 常に今のフレーム数からの相対的なフレーム数の音声を取得するようになります
	"absolute" : プロジェクトの指定したフレーム数の音声を取得するようになります

	第4引数は戻り値を1つにするか2つにするかを決める文字列です
	"stereo"   : 左右それぞれの音声波形を取得するようになります
	"monaural" : 左右の音の平均の音声波形を取得するようになります

	第5引数は取得するテーブルの要素数を決める数値です
	波形の種類によってサイズの上限があります
	"PCM"の場合は、サンプル周波数 / フレームレート数の値です
	"FOURIER"と"DECIBEL"の場合は、サイズ指定できません
	"SPECTRUM"の場合は、フーリエ変換したときのデータ数です
	チャンネル数の数値とサンプリング数の数値を返します

	第6引数は分解能を決める数値です
	フーリエ変換をする際の細かさのことで、0,1,2,3のいずれかを指定します
	わかり易く説明するとサンプル周波数が44100だとすると分解能が1の場合
	1データ当たり44100/2048でおよそ21.5Hzごとに周波数を区切って計算することになります
	22Hzの音と23Hzの音などは同じ音として見なされて、43Hzとして扱われます
	あんまりよくわからないと思いますが基本のラ音は440Hzでラ♯は466.2Hzなのでこの分解能だと同じ音として扱われます
	要は計算が軽い代わりに音の区別があいまいになるということです
	0は分解能1024です、細かさはおよそ43Hz
	1は分解能2048です、細かさはおよそ21.5Hz
	2は分解能4096です、細かさはおよそ10.7Hz
	3は分解能8192です、細かさはおよそ5.3Hz
	分解能の半分の値がフーリエ変換したときの得られるデータ数になります

	第7引数は"FOURIER"や"SPECTRUM"や"DECIBEL"で取得する範囲を指定するテーブルです
	{下限値、上限値}のように指定します
	下限値、上限値ともに周波数の数値を指定します
	指定できる数値の範囲は0からサンプル周波数の半分(いわゆるナイキスト周波数)です
	この範囲を指定すると"FOURIER"と"DECIBEL"のサイズも変化します
	"SPECTRUM"はこの範囲内でsize分だけ分割されます
	戻り値は左側と右側の音声波形のテーブルです
	第4引数が"monaural"の場合は1つだけになります
	引数をなしで呼び出すと
	number, number = rikky_module.audiobuffer()
	チャンネル数とサンプル周波数の数値2つを返します