HOME | Raspberry Pi | ビジネス書籍紹介 | 2021-03-08 (Mon) Today's Access : 269 Total : 262540. Since 10 Sep. 2019

 波形処理 第4回コード演奏
2021.01.16

YouTube でも紹介しています。画像をクリックすると再生できます。

波形処理第4回では、深層学習第3回コード進行解析 で得られたコード進行を例として、音を合成する仕組みを考察してみました。
まだ、試行錯誤の状況なので、未完成な内容です。

今回使用するコード進行パターンです。
B→E→A→EonG#→F#m
詳細は後回しにして、このコード進行を分散和音、続けてアルペジオにして鳴らしてみます。
※1オクターブの範囲内での処理を行っているので、正しい分散和音にはなっていません。

■サイン波をベースに合成したコード演奏


ここで使用している波形は単純なサイン波です。


サイン波を音源とする場合、その周波数の値を変更すれば簡単に別の音を作成することができます。しかし、いかにも電子音といった感じです。

■ピアノ・サンプリング音源ドの音をベースに合成したコード演奏

こちらはネットからダウンロードできるフリーのピアノ音源を用いた演奏です。
Ref.魔王魂 フリー効果音素材
公開されている音源はドの音1つだけなので、これを利用して別の音を作成して演奏させてみました。


ピアノ音源のドの音の波形です。


それでは解説にはいります。

■開発環境

パソコンから、TeraTeamでラズパイにSSH接続、python によるコーディングを行います。 DACとの接続設定は、 I2S通信によるハイレゾ音源再生 を参照してください。
以前はOSに、Python3.5系を実装している Raspbian Stretch を使用していましたが、3.5系はすでにサポート切れとなっています。
Python 3.7, 3.8, 3.9系のソースコードをビルドしてみましたが安定しません。 そこで今回は無駄を省くため、Python3.7系の Raspberry Pi OSを使用します。
OSのインストール・環境設定に関しては、深層学習 第1回環境整備 を参考にしてください。

ここでは手っ取り早く、Raspberry Pi 3 model B に実装したものを、SD Card Copier を使って複製、Raspberry Pi Zero W に挿して、起動後にIPアドレスを書き換えています。

深層学習第1回環境整備において、インストールされている各種パッケージのバージョンは下記の通りです。
$ pip3 list
Package              Version
-------------------- -----------
Keras                2.4.3
matplotlib           3.3.2
numpy                1.16.2
pip                  18.1
scikit-learn         0.23.2
scipy                1.5.4
tensorflow           1.14.0
$ python3 --version
Python 3.7.3

さらに、pyaudio と pychord をインストールします。

$ sudo pip3 install pyaudio
Successfully installed pyaudio-0.2.11

$ sudo pip3 install pychord
Successfully installed pychord-0.5.1

Pythonのサンプルコードはあとで説明しますが、実行しようとするとエラーが発生します。
$ python3 sample.py
ImportError: libportaudio.so.2: cannot open shared object file: No such file or directory

python-pyaudioの有無を確認します
$ apt list --installed | grep python-pyaudio
存在する場合は削除します
$ sudo apt-get purge --remove python-pyaudio

他のパッケージも確認します
$ apt list --installed | grep portaudio19-dev
$ apt list --installed | grep python-all-dev
python-all-dev/stable,now 2.7.16-1 armhf [インストール済み、自動]

portaudio をインストールします
$ sudo apt install portaudio19-dev

さらに、libatlas-base-dev も追加します
$ python3 sample.py
ImportError: libf77blas.so.3: cannot open shared object file: No such file or directory
$ sudo apt install libatlas-base-dev

■基準となる音の作成

サイン波であれば、言うまでもなく簡単です。1秒間のド(C4)の音は下記の通りです。
import numpy as np

C4 = 261.626
samplingRate = 44100
range = 2 * np.pi * C4
slice = range / samplingRate
radian = np.arange(0, range, slice)
wavC4 = np.sin(radian)
周波数を変更するだけで、新たに別の音が作れます。

次にピアノ・サンプリング音源の場合です。
from scipy.io import wavfile

samplingRate = 44100
rate, data = wavfile.read(filename)
wavC4 = data[0:samplingRate]
ここでは、サンプリング音源ドのファイルを読み込んで、先頭の1秒間を抜き出しています。
本来であれば、波形解析を行って、波を重ね合わせ、類似の波形を作りあげたいところですが、サンプリング音源の波形をフーリエ変換により周波数解析してみると以下のようになります。
黒線グラフからわかるように、ドの音の倍音付近にも小さなピークが存在しています。 赤線のグラフは、横軸のレンジを絞って表示したものです。強度のピークが260Hz付近を指していますが、このフーリエ変換結果からは、ピアノの音色を決定付ける要素を検出することはできません。

この解析には、HK29さんのpython ソースコードを用いています。多少の変更で簡単に動きます。
Ref.Python 高速フーリエ変換(FFT)による周波数解析「SciPy」

ピアノ音源の合成は簡単にはできそうにないので、かなり手抜きの処理を考えました。 ソースコードは試作中なので、かなり雑です。
  stack = []
  shape = []
  breakKey = 0
  cnt = 0
  rate = 1.122
  tmpWav = wavC4.tolist()
  for key, amplitude in enumerate(tmpWav):
    matchKey = int(key/rate+0.5)
    if breakKey != matchKey:
      pos = len(stack)//2
      #print("pos=",pos)
      shape.append(stack[pos])
      cnt += 1
      breakKey = matchKey
      stack = [amplitude]
    else:
      stack.append(amplitude)
この処理では波形を縮めています。つまり、配列データを間引いています。 レの音の周波数は、ドの音の1.122倍ですので、1/1.122に縮小します。
そうすると、再生時間が1秒未満のデータになってしまうので、この縮めたデータを再活用して、不足分をデータ末尾に追加します。
  freqWav = shape
  rest = samplingRate - cnt
  while rest > 0:
    if rest > cnt:
      range = cnt
    else:
      range = rest
    freqWav.extend(shape[0:range])
    rest -= cnt
  wavD4 = np.array(freqWav).astype(np.int16)
この要領で1オクターブ分の音を作成します。さらに1オクターブ上の音も同様に生成可能です。
また、1オクターブ下げる場合は、音を引き延ばすことになります。 ある音の1オクターブ下を作る場合、配列データに1個ずつ隙間ができるので、この隙間を隔てた両側の振幅の平均値で埋め合わせます。

■分散和音を作る

Cメジャーであれば、構成音はド・ミ・ソなので、この3つの音を足し合わせます。numpy配列であれば、簡単に操作できます。 この際、振幅幅が大きくなりますので、足し合わせた構成音の数で振幅を割っています。
  broken = wavC4/3
  broken += wavE4/3
  broken += wavG4/3
  Cmajor = broken.astype(np.int16)
■コードを鳴らす
import pyaudio

p = pyaudio.PyAudio()
stream = p.open(format=pyaudio.paInt16,
          channels=1,
          rate=samplingRate,
          output=True,
          output_device_index=0)

stream.write(Cmajor)

stream.stop_stream()
stream.close()
p.terminate()
strem.write() 部分をコード進行を読み込んでループさせるように変更することで、演奏させることができます。

■補足

先ほどのフーリエ変換で得られた倍音に現れるピークをその強度とともに足し合わせてみます。
    C4 = 261.626
    range = 2 * np.pi * C4
    slice = range / samplingRate

    # Oscillator-1: サイン波
    radian = np.arange(0, range, slice)
    wav = np.sin(radian)

    # Oscillator-2: サイン波
    intensity = 0.45 # 強度
    overtone  = 2.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-3: サイン波
    intensity = 0.1 # 強度
    overtone  = 3.0 # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-4: サイン波
    intensity = 0.25 # 強度
    overtone  = 4.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    # Oscillator-5: サイン波
    intensity = 0.12 # 強度
    overtone  = 5.0  # 倍音
    wav += np.sin(radian * overtone) * intensity

    max = np.max(wav)
    wav /= max

    wavC4 = (wav * float(2**14)).astype(np.int16)
重ね合わされた波形は下図のようになります。

サンプリング音源とはまだまだかけ離れた波形ですが、1つのサイン波よりは穏やかな音質になっています。

これより先の詳しい内容については、FM音源YMF825+micro:bit編 で若干触れています。
単純なサイン波の合成だけではなく、さまざまな波形

アルゴリズムとオペレータが深く絡んできます。


いつもでしたら、使用した全ソースコードを掲載するのですが、もうちょっと考察が進んでから公開する予定です。

■参考文献
Python で音楽を作って楽しもう
yuma-m/pychord
Pythonでwavファイルを読み込む
Pythonで音声解析 – 音声データの周波数特性を調べる方法
Python ねこふんじゃったを演奏する「PyAudio」


【深層学習関連】
20.11.21 深層学習 第1回環境整備
20.12.19 深層学習 第2回マルコフ連鎖・自動歌詞生成
21.01.02 深層学習 第3回コード進行解析

【画像処理関連】

20.05.28 画像処理 第1回トイカメラ
20.06.09 画像処理 第2回カメラモジュール制御
20.06.28 画像処理 第3回リアルタイムクロック
20.07.08 画像処理 第4回電源回路
20.10.27 画像処理 第5回自作デジカメ初号機完成
20.11.10 画像処理 第6回ドーナツデジカメ
【音楽関連】

20.01.05 第1回 abcjs 楽譜作成・演奏スクリプト
20.01.09 I2S通信によるハイレゾ音源再生
20.01.18 MIDI再生:FM音源YMF825+Arduino編
20.01.24 FM音源YMF825+micro:bit編
20.02.13 Piano Hat & Rosegarden
20.06.22 波形処理 第1回 音の波と三角関数
20.07.22 波形処理 第2回 平均律と純正律
20.08.26 波形処理 第3回 黒鍵と白鍵
21.01.02 深層学習 第3回 コード進行解析
21.01.16 波形処理 第4回 コード演奏
【WEBサイト構築関連】

19.10.15 第1回 前準備
19.10.20 第2回 Ubuntu Server インストール
19.10.27 第3回 Ubuntu Server 詳細設定
19.10.28 番外編 無線LAN接続設定
19.11.02 第4回 Apache WEBサーバ設定
19.11.05 第5回 PHP 設定
19.11.10 第6回 MySQL 設定
19.11.11 第7回 DNS (bind) 設定
19.11.16 第8回 メールサーバ(Postfix)設定・前編
19.11.21 第9回 メールサーバ(Postfix)設定・後編
19.11.24 第10回 ファイアウォール(iptables) 設定
19.11.25 第11回 crontab 設定
19.12.01 第12回 運用準備
19.12.03 第13回 Windowsパソコンに開発環境を作る
19.12.05 第14回 WEBサーバー公開
19.12.10 第15回 動的サイト制作
19.12.11 第16回 簡単なアクセスカウンターを作る
20.03.04 TTGO-Camera による定点観測・WEB公開
【開発環境関連】

19.12.19 Raspbian Stretch LITE インストール
19.12.19 ファイル共有 dokany + Win-sshfs
19.12.26 Arduino開発環境構築 PlatformIO
【SNS関連】

20.03.18 テキスト読み上げ gTTS
20.04.24 Twitter-LINE連携によるビジネス活用
20.05.19 テキスト読み上げ AquesTalk pico LSI
21.02.27 TweLite Neural Network 第1回環境設定
【周辺機器関連】

20.01.01 1280x800 HDMI MONITOR
20.01.12 micro:bitをコマンドラインで使う
20.02.04 サーマルプリンタを使う
20.03.27 M5Stackキーボードを利用する
20.06.29 液晶キャラクターディスプレイLCD1602A
20.08.03 Seeeduino XIAO
20.08.09 LGT8F328P - Arduino clone
20.09.18 電流計測モジュール INA219
21.02.09 Raspberry Pi Pico 開発環境構築
21.03.06 疑似コンソール
【その他】

19.12.13 モバイルバッテリーによる瞬間停電対策
20.02.04 電子組版 upLaTeX
20.04.10 電卓を制御して数字を表示する
20.05.06 箱庭回路 蓄電&昇圧回路
20.09.04 箱庭回路 センサーライト
20.09.29 シガーライターIC s090c
20.10.13 自動給水装置 LM393+NE555
20.12.05 FM放送受信 TEA5767
21.01.30 DVD Player LED
21.02.16 癒しの電子回路

 Interface 2021年4月号
リアルタイムOS新時代に突入! クラウド接続もスタンドアロンも! ~ ☆特集「 Amazon×マイコン FreeRTOS入門 」 ☆新連載: 逆引きMicroPythonプログラム集
ラズパイマガジン2021年春号
モーターやLED、小型ディスプレイ、スイッチなど、多様な電子パーツ450種を一挙に紹介します。 特性や価格の一覧表を用意したので、用途に合った適切な製品を選べます。
トランジスタ技術 2021年3月号
☆特集~ 周辺素子,シリアル通信,アナログ入出力, CPUの活用~「FPGAを全方位に使いこなす」
日経Linux 2021年3月号
【特集 1】まる分かり50ステップ Linux 超入門
【特集 2】あなたのワガママかなえます! WindowsのアプリをLinuxで使いたい
【特集 3】公衆Wi-Fiは危険がいっぱい!? パスワードの盗聴を実験してみた
【特集 4】キーボード一体型の新モデル Raspberry Pi 400を検証
【特集 5】ラズパイで楽しむLinuxライフ オンラインのドキュメント編集をNextcloudとCollabora Onlineで実現

15Stepで踏破 自然言語処理アプリケーション開発入門
エンジニアの実務に役立つ知識に絞り、独自に15の学習ステップを体系化しました。 数値計算にNumPy、形態素解析にMeCab、機械学習にscikit-learn、ディープラーニングに Keras等を使い、Pythonのコードを記述し動かしていきます。
プログラミング・ビットコイン ―ゼロからビットコインをプログラムする方法

Linuxサーバーがゼロから作れる本
このLinuxを使いこなす上で一番手っ取り早いのが自分でLinuxサーバーを構築してみることです。 WindowsやMacのパソコンしか使ったことが無い人でも理解できるよう、 しくみや手順の解説を丁寧にまとめ上げた、ゼロからのサーバー入門ガイドです。

Raspberry Pi 3 Model B V1.2 (日本製) 国内正規代理店品
【仕様概要】CPU:ARM 1.2GHz 4コア、GPU:2コア 3D・動画支援、RAM:1GB、ネットワーク:LAN/Wi-Fi/Bluetooth、インターフェース:USB/HDMI/オーディオ/GPIO(UART/I2C/I2S/SPI...)。

Arduino Nano
ATmega328搭載/ 動作電圧: 5V/ 入力電源電圧(推奨):7~12V/ デジタル入出力ピン: 14本/ PWMチャンネル: 6本/ アナログ入力チャンネル: 8本/ 直流電流(1ピン当り最大): 40 mA/ 直流電流(3.3Vピン、1ピン当り最大): 50 mA/ Flashメモリ: 32 KB (ATmega328) 内2KBはブートローダーで使用/ SRAM: 2 KB (ATmega328)/ EEPROM: 1 KB (ATmega328)/ Clock Speed: 16 MHz
逆引き PIC電子工作 やりたいこと事典
機能が豊富で、速度・アナログ制御・省電力性・コストの面でもアドバンテージをもつPICマイコン。そんなPICマイコンの使い方を、目的別にやりたいことから引ける、逆引きタイプのガイドブックです。
C言語による PICプログラミング大全
2002年に初版、2009年に第2版を発売した名著『C言語によるPICプログラミング入門』 が大幅リニューアルし「大全」として生まれ変わりました。 本書では、機能豊富なPIC16F1シリーズを使いこなすために、統合開発環境を MPLAB X IDEに、CコンパイラはMicrochip Technology社純正のXC8に、それぞれ変更しました。 C言語でPICマイコンのプログラミングを始めたい方から、最新のPICマイコンの機能をとことん使い倒したい方まで、必ず役に立つ1冊です。
PICと楽しむRaspberry Pi活用ガイドブック
「PICマイコン+Raspberry Pi3B」という組み合わせで、高機能な電子工作を簡単に実現し、電子工作を各段に高度化する方法について解説していきます。
ESP32&Arduino 電子工作 プログラミング入門
電子工作ファンに人気のマイコンArduino、そしてWiFiとBluetooth内蔵でネットワーク接続しやすいESP32。それらのマイコンでプログラムを組む際に使うのが「Arduino言語」です。
超特急Web接続!ESPマイコン・プログラム全集
IoT技術の回路とプログラムを解説しました. トランジスタ技術2016年9月号と2017年3月号の特集に 最新の情報を加筆して一冊に仕上げました. 回路とプログラムのサンプル資料として最適です. ラズベリー・パイやIchigoJamを連動させた例も紹介しています
M5Stack用カード型キーボードユニット
M5Stackにフル機能のQWERTY配列キーボードを実装できるユニットです。複数のボタンの組み合わせ(Sym + Key、Shift + Key、Fn + Key)や豊富なキーの値を出力することが可能です。
Ubuntu サーバー徹底構築
サーバー用UbuntuでLinuxサーバーを構築しよう! 導入からLinuxやコマンドの基本、各種サーバー構築、バックアップやストレージ管理まで! サーバー用Linuxディストリビューションとして定評のあるUbuntu Serverの中でも、 10年長期サポート版であるUbuntu Server 18.04 LTSに対応!
[改訂第3版]Linuxコマンドポケットリファレンス
本書はLinux操作に必要なコマンドを収録したポケットリファレンスです。機能別にコマンドを分類し、各コマンドページでは書式/使用例などをコンパクトにまとめています。またアルファベット順索引も用意しており、名前しかわからなくてもすぐに目的のコマンドを探すことができます。今回の改訂では仮想化、データベース、クラウド時代に対応したネットワークコマンドなどを追加しています。おもなLinuxディストリビューションのCentOS、Fedora、Debian GNU/Linux、Ubuntuに対応し、初心者から上級者まで必携の1冊です。
できるPRO Apache Webサーバー 改訂版 Version 2.4/2.2/2.0対応
番のApache独学書を改訂しました! CentOS、Ubuntu、Windows、Mac OS Xに対応しています。できるPROシリーズは、実際の画面や詳細なイラスト、概念図などで構成。 はじめての方でも理解しやすくなっています。 インストール、アクセス制限、CGI、モジュール拡張、ログ管理など、基本的なことから実践的なことまでていねいに解説しています。
[改訂第3版]PHPポケットリファレンス
PHPを利用したいすべての方必携の「PHPポケットリファレンス」最新版がついに登場! PHP 5/4による開発の際によく利用される機能を集約し、必要な知識を目的別、逆引きでまとめました。PHP5.3以降を対象とし、PHP4からある機能はPHP4でも利用できることがわかるようになっています。またオブジェクト指向型のAPI解説を大幅に強化。開発の現場には1冊置いておきたい書籍です。
MySQL ポケットリファレンス
MySQLはさまざまなWebサービスの中核を担うデータベースです。本書はMySQLの基礎的な内容を中心に、日常的によく使うちょっとしたコマンドや、外部管理ツールとの連携など、MySQLの管理/運用にあたって便利な情報を素早く探し出すことができます。MySQL自体の操作、MySQL特有のコマンド、MySQL専用管理ツール、PHPからの操作など、MySQLを実際に使っているユーザーに役立つ内容となっています。
Postfix詳解―MTAの理解とメールサーバの構築・運用
電子メールの配送システムの中核を担うプログラム「MTA」(Message Transfer Agent)のひとつが、「Postfix」です。 この全容を記した本です。 すところなく解説していきます。
DNSがよくわかる教科書
本書では、DNSの仕組みから、ドメイン名のルール、主なリソースレコードの内容、コマンドによる動作確認、DNSの運用ノウハウ、DNSSECの基礎知識まで、順を追ってやさしく解説します。

Copyright © 2011-2022 Sarako Tsukiyono All rights reserved®.