HOME | Raspberry Pi | ビジネス書籍紹介 | 2021-09-19 (Sun) Today's Access : 132 Total : 354126. Since 10 Sep. 2019

波形処理 第4回コード演奏
2021.01.16

YouTube でも紹介しています。画像をクリックすると再生できます。

波形処理第4回では、深層学習第3回コード進行解析 で得られたコード進行を例として、音を合成する仕組みを考察してみました。
まだ、試行錯誤の状況なので、未完成な内容です。

今回使用するコード進行パターンです。
B→E→A→EonG#→F#m
詳細は後回しにして、このコード進行を分散和音、続けてアルペジオにして鳴らしてみます。
※1オクターブの範囲内での処理を行っているので、正しい分散和音にはなっていません。

■サイン波をベースに合成したコード演奏


ここで使用している波形は単純なサイン波です。


サイン波を音源とする場合、その周波数の値を変更すれば簡単に別の音を作成することができます。しかし、いかにも電子音といった感じです。

■ピアノ・サンプリング音源ドの音をベースに合成したコード演奏

こちらはネットからダウンロードできるフリーのピアノ音源を用いた演奏です。
Ref.魔王魂 フリー効果音素材
公開されている音源はドの音1つだけなので、これを利用して別の音を作成して演奏させてみました。


ピアノ音源のドの音の波形です。


それでは解説にはいります。

■開発環境

パソコンから、TeraTeamでラズパイにSSH接続、python によるコーディングを行います。 DACとの接続設定は、 I2S通信によるハイレゾ音源再生 を参照してください。
以前はOSに、Python3.5系を実装している Raspbian Stretch を使用していましたが、3.5系はすでにサポート切れとなっています。
Python 3.7, 3.8, 3.9系のソースコードをビルドしてみましたが安定しません。 そこで今回は無駄を省くため、Python3.7系の Raspberry Pi OSを使用します。
OSのインストール・環境設定に関しては、深層学習 第1回環境整備 を参考にしてください。

ここでは手っ取り早く、Raspberry Pi 3 model B に実装したものを、SD Card Copier を使って複製、Raspberry Pi Zero W に挿して、起動後にIPアドレスを書き換えています。

深層学習第1回環境整備において、インストールされている各種パッケージのバージョンは下記の通りです。
$ pip3 list
Package              Version
-------------------- -----------
Keras                2.4.3
matplotlib           3.3.2
numpy                1.16.2
pip                  18.1
scikit-learn         0.23.2
scipy                1.5.4
tensorflow           1.14.0
$ python3 --version
Python 3.7.3

さらに、pyaudio と pychord をインストールします。

$ sudo pip3 install pyaudio
Successfully installed pyaudio-0.2.11

$ sudo pip3 install pychord
Successfully installed pychord-0.5.1

Pythonのサンプルコードはあとで説明しますが、実行しようとするとエラーが発生します。
$ python3 sample.py
ImportError: libportaudio.so.2: cannot open shared object file: No such file or directory

python-pyaudioの有無を確認します
$ apt list --installed | grep python-pyaudio
存在する場合は削除します
$ sudo apt-get purge --remove python-pyaudio

他のパッケージも確認します
$ apt list --installed | grep portaudio19-dev
$ apt list --installed | grep python-all-dev
python-all-dev/stable,now 2.7.16-1 armhf [インストール済み、自動]

portaudio をインストールします
$ sudo apt install portaudio19-dev

さらに、libatlas-base-dev も追加します
$ python3 sample.py
ImportError: libf77blas.so.3: cannot open shared object file: No such file or directory
$ sudo apt install libatlas-base-dev

■基準となる音の作成

サイン波であれば、言うまでもなく簡単です。1秒間のド(C4)の音は下記の通りです。
import numpy as np

C4 = 261.626
samplingRate = 44100
range = 2 * np.pi * C4
slice = range / samplingRate
radian = np.arange(0, range, slice)
wavC4 = np.sin(radian)
周波数を変更するだけで、新たに別の音が作れます。

次にピアノ・サンプリング音源の場合です。
from scipy.io import wavfile

samplingRate = 44100
rate, data = wavfile.read(filename)
wavC4 = data[0:samplingRate]
ここでは、サンプリング音源ドのファイルを読み込んで、先頭の1秒間を抜き出しています。
本来であれば、波形解析を行って、波を重ね合わせ、類似の波形を作りあげたいところですが、サンプリング音源の波形をフーリエ変換により周波数解析してみると以下のようになります。
黒線グラフからわかるように、ドの音の倍音付近にも小さなピークが存在しています。 赤線のグラフは、横軸のレンジを絞って表示したものです。強度のピークが260Hz付近を指していますが、このフーリエ変換結果からは、ピアノの音色を決定付ける要素を検出することはできません。

この解析には、HK29さんのpython ソースコードを用いています。多少の変更で簡単に動きます。
Ref.Python 高速フーリエ変換(FFT)による周波数解析「SciPy」

ピアノ音源の合成は簡単にはできそうにないので、かなり手抜きの処理を考えました。 ソースコードは試作中なので、かなり雑です。
  stack = []
  shape = []
  breakKey = 0
  cnt = 0
  rate = 1.122
  tmpWav = wavC4.tolist()
  for key, amplitude in enumerate(tmpWav):
    matchKey = int(key/rate+0.5)
    if breakKey != matchKey:
      pos = len(stack)//2
      #print("pos=",pos)
      shape.append(stack[pos])
      cnt += 1
      breakKey = matchKey
      stack = [amplitude]
    else:
      stack.append(amplitude)
この処理では波形を縮めています。つまり、配列データを間引いています。 レの音の周波数は、ドの音の1.122倍ですので、1/1.122に縮小します。
そうすると、再生時間が1秒未満のデータになってしまうので、この縮めたデータを再活用して、不足分をデータ末尾に追加します。
  freqWav = shape
  rest = samplingRate - cnt
  while rest > 0:
    if rest > cnt:
      range = cnt
    else:
      range = rest
    freqWav.extend(shape[0:range])
    rest -= cnt
  wavD4 = np.array(freqWav).astype(np.int16)
この要領で1オクターブ分の音を作成します。さらに1オクターブ上の音も同様に生成可能です。
また、1オクターブ下げる場合は、音を引き延ばすことになります。 ある音の1オクターブ下を作る場合、配列データに1個ずつ隙間ができるので、この隙間を隔てた両側の振幅の平均値で埋め合わせます。

■分散和音を作る

Cメジャーであれば、構成音はド・ミ・ソなので、この3つの音を足し合わせます。numpy配列であれば、簡単に操作できます。 この際、振幅幅が大きくなりますので、足し合わせた構成音の数で振幅を割っています。
  broken = wavC4/3
  broken += wavE4/3
  broken += wavG4/3
  Cmajor = broken.astype(np.int16)
■コードを鳴らす
import pyaudio

p = pyaudio.PyAudio()
stream = p.open(format=pyaudio.paInt16,
          channels=1,
          rate=samplingRate,
          output=True,
          output_device_index=0)

stream.write(Cmajor)

stream.stop_stream()
stream.close()
p.terminate()
strem.write() 部分をコード進行を読み込んでループさせるように変更することで、演奏させることができます。

■補足

先ほどのフーリエ変換で得られた倍音に現れるピークをその強度とともに足し合わせてみます。
    C4 = 261.626
    range = 2 * np.pi * C4
    slice = range / samplingRate

    # Oscillator-1: サイン波
    radian = np.arange(0, range, slice)
    wav = np.sin(radian)

    # Oscillator-2: サイン波
    intensity = 0.45 # 強度
    overtone  = 2.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-3: サイン波
    intensity = 0.1 # 強度
    overtone  = 3.0 # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-4: サイン波
    intensity = 0.25 # 強度
    overtone  = 4.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-5: サイン波
    intensity = 0.12 # 強度
    overtone  = 5.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    max = np.max(wav)
    wav /= max

    wavC4 = (wav * float(2**14)).astype(np.int16)
重ね合わされた波形は下図のようになります。

サンプリング音源とはまだまだかけ離れた波形ですが、1つのサイン波よりは穏やかな音質になっています。

これより先の詳しい内容については、FM音源YMF825+micro:bit編 で若干触れています。
単純なサイン波の合成だけではなく、さまざまな波形

アルゴリズムとオペレータが深く絡んできます。


いつもでしたら、使用した全ソースコードを掲載するのですが、もうちょっと考察が進んでから公開する予定です。

■参考文献
Python で音楽を作って楽しもう
yuma-m/pychord
Pythonでwavファイルを読み込む
Pythonで音声解析 – 音声データの周波数特性を調べる方法
Python ねこふんじゃったを演奏する「PyAudio」

 Raspberry Pi(ラズベリー パイ)は、ARMプロセッサを搭載したシングルボードコンピュータ。イギリスのラズベリーパイ財団によって開発されている。
2020.01.05 第1回 abcjs 楽譜作成・演奏スクリプト
2020.01.09 I2S通信によるハイレゾ音源再生
2020.01.18 MIDI再生:FM音源YMF825+Arduino編
2020.01.24 FM音源YMF825+micro:bit編
2020.02.13 Piano Hat & Rosegarden
2020.03.18 テキスト読み上げ gTTS
2020.05.19 テキスト読み上げ AquesTalk pico LSI
2020.06.22 波形処理 第1回 音の波と三角関数
2020.07.22 波形処理 第2回 平均律と純正律
2020.08.26 波形処理 第3回 黒鍵と白鍵
2020.11.21 深層学習 第1回環境整備
2020.12.19 深層学習 第2回マルコフ連鎖・自動歌詞生成
2021.01.02 深層学習 第3回コード進行解析
2021.01.16 波形処理 第4回 コード演奏
2021.08.07 MIDI制御/Adafruit Music Maker
2021.08.23 MIDIフォーマット解析
2021.08.24 オーディオアンプ・スピーカー


ニーア オートマタ PLAY ARTS改 <ヨルハ 二号 B型 DX版> PVC製 塗装済み可動フィギュア
「NieR:Automata」より、ヨルハ二号B型こと2BがPLAY ARTS改に新たに登場! 高級感の感じられるコスチュームや髪の質感、洗練されたボディバランス、細かなデティールに至るまでこだわり抜かれた逸品。 DX版には通常版のラインナップに加え2Bの随行支援ユニット ポッド042などをはじめ“純白の美しい太刀"白の約定やエフェクトパーツ、自爆モードを再現できる換装用ボディパーツ、シーンに合わせて変えられる顔パーツ2種も付属する豪華な仕様に。 作中のあらゆるシーンを再現することが可能なファン必見の一品となっている。

DIPスイッチで動作電圧を3.3Vと5Vに切り替えられるUNO互換ボード
KEYESTUDIO Plus Board for Arduino UNO R3 with Type-C USB Cable, 3.3V 5V 1.5A Output Current, More Powerful Controller Board USB-シリアルチップ:CP2102 / 動作電圧:5Vまたは3.3V(DIPスイッチ制御)/ 外部電源:DC 6-15V(9V推奨)/ デジタルI / Oピン:14(D0〜D13)/ PWMチャネル:6(D3 D5 D6 D9 D10 D11)/ アナログ入力チャネル(ADC):8(A0-A7)/ DC出力機能の各I / Oポート:20 mA / 3.3Vポートの出力能力:50 mA / フラッシュメモリ:32 KB(うち0.5 KBはブートローダーによって使用されます)/ SRAM:2 KB(ATMEGA328P-AU)/ EEPROM:1 KB(ATMEGA328P-AU)/ クロック速度:16MHz / オンボードLEDピン:D13

エレクトロクッキー Leonardo R3 ATmega32u4 ボード DIY Arduino工作用 - ピンクエディション


Newtonライト2.0 ベイズ統計
ベイズ統計は,結果から原因を推定する統計学です。AIや医療などの幅広い分野で応用されています。その基礎となるのは18世紀に考えだされた「ベイズの定理」です。 この本では,ベイズ統計学のきほんをやさしく紹介していきます。

Interface 2021年10月号
☆特集:~ 格好良さアップ! 機能&信頼性アップ ! ~「 3Dプリンタ & メカ設計入門 」
☆特集2:Pico達人への道…「 C/C++でMicroPython拡張 」


トランジスタ技術 2021年9月号
☆特集:~ 直流・交流・非接触・センサ微小電流の測定ノウハウ ~「電流を正しく測る技術」

トランジスタ技術スペシャル 2021年7月号 宇宙ロケット開発入門
これから開発・活用が進むと期待されている宇宙空間への交通・物流インフラとして、小型・低価格ロケットが注目を集めています。本書では、基本構造から制御メカニズムまで、小型宇宙ロケット開発の基礎知識を実例を交えて解説します。

日経Linux 2021年9月号
【特集1】おうち時間をLinuxデスクトップで楽しむ! Linux環境を作るワザ
【特集2】徹底図解で丸わかり! 「WSL2」入門   Windows 11の新機能を速報!
【特集3】IT自動化ツール AnsibleでWeb導入を自動化
【特集4】ラズパイで楽しむLinuxライフ 「今、会議中」と家族に伝えるプレートをPythonで作ろう


ラズパイマガジン2021年秋号
特集1 サクッと動くパーツ&ライブラリ総覧
特集2 ArduinoライブラリでラズパイPicoを動かす
特集3 古いラズパイをフル活用! Node-REDで 楽しい電子工作
特集4 空気の汚れをラズパイで検知しよう
特集5 ラズパイで楽しむLinuxライフ
特集6 NVIDIAのAIボードが6000円台に!
特集7 M5StickCで始める電子工作 iPhoneからサーボモーターを制御しよう


トランジスタ技術スペシャル 2021年 4月号 No.154「達人への道 電子回路のツボ」
初学者が実用的な電子回路を設計できるようになるためのポイントをまとめました。学校の教科書だけではつかめない基本電子回路やOPアンプ/トランジスタの使い方の実際を、いろいろな視点から解説しています。


Raspberry Pi 3 Model B V1.2 (日本製) 国内正規代理店品
【仕様概要】CPU:ARM 1.2GHz 4コア、GPU:2コア 3D・動画支援、RAM:1GB、ネットワーク:LAN/Wi-Fi/Bluetooth、インターフェース:USB/HDMI/オーディオ/GPIO(UART/I2C/I2S/SPI...)。

ELEGOO Arduino用 Nanoボード V3.0 CH340/ATmega328P、Nano V3.0互換 (3)


ESPr Developer 32
スイッチサイエンス(Switch Science)

協和ハーモネット UL1007 AWG24 耐熱ビニル絶縁電線 リール巻 100m 黒


白光(HAKKO) ダイヤル式温度制御はんだ吸取器 ハンディタイプ FR301-81


サンハヤト TTW-203 テストワイヤ
ブレッドボードとスルーホール間の接続に便利なワイヤですブレッドボード用のオスピンと基板のスルーホール用のバネ性のある端子を組み合わせたテストワイヤです

無水エタノールP 500mlx2個パック(掃除)


ケイバ(KEIBA) マイクロニッパー MN-A04


熱収縮チューブφ1.5
印字無しで綺麗☆ シュリンクチューブ 絶縁チューブ 防水 高難燃性 収縮チューブ (2m, ブラック(黒))


サンハヤト SAD-101 ニューブレッドボード


白光(HAKKO) HEXSOL 巻はんだ 精密プリント基板用 150g FS402-02


【Amazon.co.jp限定】エーモン 電工ペンチ 全長約255mm (1452)


[Amazon限定ブランド]【指定第2類医薬品】PHARMA CHOICE 解熱鎮痛薬 解熱鎮痛錠IP 100錠


Copyright © 2011-2022 Sarako Tsukiyono All rights reserved®.