HOME | Raspberry Pi | ビジネス書籍紹介 | 2024-11-22 (Fri) Today's Access : 182 Total : 1098262. Since 10 Sep. 2019

NANO ESP32 USB MIDI
2024.10.10 / 2024.10.14更新

YouTube でも紹介しています。画像をクリックすると再生できます。

以前、ESP32-S3-DevkitC-1 を使って、USB MIDIキーボードを接続しました。 今回は、Arduino NANO ESP32 を使って USB MIDIキーボードを利用します。

2024.10.14 追記 PlatformIO によるアップロードに関して
下記環境においては正常にビルドおよびアップロード可能です
・Raspberry Pi OS with desktop (bookworm) 64bit版
・PlatformIO Core, version 6.1.16
- framework-arduinoespressif32 @ 3.20017.0 (2.0.17)
- tool-dfuutil-arduino @ 1.11.0
 
●Arduino Nano ESP32

MCU:NORA-W106 (ESP32-S3)/240MHz/ROM:384KB/RAM:512 KB
PSRAM:8MB/FLASH:16MB
Wi-Fi:2.4GHz帯,IEEE802.11 b/g/n対応
Bluetooth:Bluetooth LE v5.0対応
1x UART x1/SPI x1/I2C x1
Analog:8/Digital:14
各I/Oピンの出力電流:40 mA(ソース)・28 mA(シンク)
USBポート:MCUのUSBインターフェースを利用、Type-Cコネクタ
LED:電源(緑)、SCK(黄)、RGB-LED(7色またはフルカラー)
動作電圧:3.3 V
電源入力(VIN):6~21 V

●Pinouts


うぷ主は、コマンドライン・インターフェイス派なので、ソースコードのビルドには、PlatformIOを使用しています
Arduino IDE を使用されている方は読み飛ばしてください
Arduino開発環境構築 PlatformIO

ビルドには、Raspberry Pi 3 model B を使用しています
$ cat /proc/cpuinfo | grep model
model name : ARMv7 Processor rev 4 (v7l)

●arduino_nano_esp32.json

$ pio boards 'NANO ESP32'
========================================================================
ID                  MCU      Frequency  Flash  RAM    Name
------------------  -------  ---------  -----  -----  ------------------
arduino_nano_esp32  ESP32S3  240MHz     16MB   320KB  Arduino Nano ESP32
$ pio init -b arduino_nano_esp32
UnknownBoard: Unknown board ID 'arduino_nano_esp32'

ボード情報が存在しないので、gitHub からダウンロードします

platform-espressif32/boards/arduino_nano_esp32.json

ボード情報の内容を確認します
{
  "build": {
    "arduino":{
      "ldscript": "esp32s3_out.ld",
      "partitions": "app3M_fat9M_fact512k_16MB.csv",
      "memory_type": "qio_opi"
    },
    "core": "esp32",
    "extra_flags": [
      "-DARDUINO_NANO_ESP32",
      "-DBOARD_HAS_PIN_REMAP",
      "-DBOARD_HAS_PSRAM",
      "-DUSB_MANUFACTURER=\\\"Arduino\\\"",
      "-DUSB_PRODUCT=\\\"NanoESP32\\\"",
      "-DARDUINO_USB_CDC_ON_BOOT=1",
      "-DARDUINO_USB_DFU_ON_BOOT=1",
      "-DARDUINO_RUNNING_CORE=1",
      "-DARDUINO_EVENT_RUNNING_CORE=1"
    ],
    "f_cpu": "240000000L",
    "f_flash": "80000000L",
    "flash_mode": "qio",
    "hwids": [
      [
        "0x2341",
        "0x0070"
      ]
    ],
    "mcu": "esp32s3",
    "variant": "arduino_nano_nora"
  },
  "connectivity": [
    "bluetooth",
    "wifi"
  ],
  "debug": {
    "openocd_target": "esp32s3.cfg"
  },
  "frameworks": [
    "arduino",
    "espidf"
  ],
  "name": "Arduino Nano ESP32",
  "upload": {
    "flash_size": "16MB",
    "maximum_ram_size": 327680,
    "maximum_size": 16777216,
    "require_upload_port": true,
    "speed": 460800,
    "protocol": "dfu"
  },
  "url": "https://docs.arduino.cc/hardware/nano-esp32",
  "vendor": "Arduino"
}
指定されているパーティション情報のCSVファイルとピン情報が格納されているディレクトリは下記のようになっています
・"partitions": "app3M_fat9M_fact512k_16MB.csv",
・"variant": "arduino_nano_nora"

$ pio run
..........
PACKAGES:
- framework-arduinoespressif32 @ 3.20009.0 (2.0.9)
..........
/home/pi/.platformio/packages/framework-arduinoespressif32/cores/esp32/esp32-hal-gpio.h:29:10: fatal error: pins_arduino.h: No such file or directory

ビルドに使用されているESP32のフレームワーク・バージョンは、3.20009.0 (2.0.9) で、 pins_arduino.h が存在しないことがわかります

$ ls ~/.platformio/packages/framework-arduinoespressif*
/home/pi/.platformio/packages/framework-arduinoespressif32:
CMakeLists.txt     boards.txt  libraries     platform.txt     tools
Kconfig.projbuild  cores       package.json  programmers.txt  variants

/home/pi/.platformio/packages/framework-arduinoespressif8266:
LICENSE    boards.txt   keywords.txt  platform.txt     variants
POLICY.md  bootloaders  libraries     programmers.txt
README.md  cores        package.json  tools

該当するプラットフォームを特定します
$ ls ~/.platformio/platforms/espressif*
/home/pi/.platformio/platforms/espressif32@src-5f117260f75b328038ec9d3fd0e14a68:
LICENSE    __pycache__  builder   monitor        platform.py
README.md  boards       examples  platform.json

/home/pi/.platformio/platforms/espressif8266:
LICENSE    __pycache__  builder   monitor        platform.py
README.md  boards       examples  platform.json
$ cat ~/.platformio/platforms/espressif32@src-5f117260f75b328038ec9d3fd0e14a68/platform.json
   "framework-arduinoespressif32": {
      "type": "framework",
      "optional": true,
      "owner": "platformio",
      "version": "~3.20009.0"
    },
ボード情報を該当するプラットフォーム・ディレクトリに配置します
$ cp arduino_nano_esp32.json ~/.platformio/platforms/espressif32@src-5f117260f75b328038ec9d3fd0e14a68/boards/

パッケージ内の該当するframeworkディレクトリを確認します
$ cat ~/.platformio/packages/framework-arduinoespressif32/package.json
{
  "name": "framework-arduinoespressif32",
  "version": "3.20009.0",
  "description": "Arduino Wiring-based Framework ....
  "keywords": [
    "framework",
    "arduino",
    "espressif",
    "esp32"
  ],
  "license": "LGPL-2.1-or-later",
  "repository": {
    "type": "git",
    "url": "https://github.com/espressif/arduino-esp32"
  }
}
変数情報ファイルを gitHub からダウンロードします

pins_arduino.h

#if defined(BOARD_HAS_PIN_REMAP) && ....

static constexpr uint8_t D0         = 0; // also RX
static constexpr uint8_t D1         = 1; // also TX
static constexpr uint8_t D2         = 2;
static constexpr uint8_t D3         = 3; // also CTS
static constexpr uint8_t D4         = 4; // also DSR
static constexpr uint8_t D5         = 5;

#else

static constexpr uint8_t D0         = 44; // also RX
static constexpr uint8_t D1         = 43; // also TX
static constexpr uint8_t D2         = 5;
static constexpr uint8_t D3         = 6;  // also CTS
static constexpr uint8_t D4         = 7;  // also DSR
static constexpr uint8_t D5         = 8;
arduino_nano_esp32.json で"-DBOARD_HAS_PIN_REMAP",が定義されているので、上段の部分が解釈されてしまいます。 プログラミングの際は、GPIO番号で指定したほうが無難です。

変数情報ファイルを配置するディレクトリを作成します
$ mkdir -p ~/.platformio/packages/framework-arduinoespressif32/variants/arduino_nano_nora

$ cp pins_arduino.h ~/.platformio/packages/framework-arduinoespressif32/variants/arduino_nano_nora

パーティション・テーブルを gitHub からダウンロードします

app3M_fat9M_fact512k_16MB.csv

パーティション・テーブル情報ファイルを配置します
$ cp app3M_fat9M_fact512k_16MB.csv ~/.platformio/packages/framework-arduinoespressif32/tools/partitions

環境設定ファイルを生成します
$ pio init -b arduino_nano_esp32
Resolving arduino_nano_esp32 dependencies...
Already up-to-date.
Project has been successfully updated!

Arduino NANO ESP32を接続して、ポートを確認します
$ pio device list
/dev/ttyACM0
------------
Hardware ID: USB VID:PID=2341:0070 SER=4827E2FC4524 LOCATION=1-1.2:1.1
Description: ARDUINO_NANO_NORA - TinyUSB CDC

/dev/ttyAMA0
------------
Hardware ID: 3f201000.serial
Description: ttyAMA0

$ pio run -t upload
embedded:startup.tcl:26: Error: Can't find interface/ftdi/dfu.cfg

USB DFUプロトコル
DFUは、ベンダー及びデバイスに依存しないメカニズムで、USBデバイスのファームウェアアップデートを行う方法等を提供します
arduino_nano_esp32.json 内のアップロード・プロトコルを確認します
"upload": {
    "flash_size": "16MB",
    "maximum_ram_size": 327680,
    "maximum_size": 16777216,
    "require_upload_port": true,
    "speed": 460800,
    "protocol": "dfu"
  },

platformio/tool-dfuutil by PlatformIO

$ vi platformio.ini
platform_packages =
  platformio/tool-dfuutil@^1.11.0

$ pio run -t upload
embedded:startup.tcl:26: Error: Can't find interface/ftdi/dfu.cfg
in procedure 'script'
at file "embedded:startup.tcl", line 26
*** [upload] Error 1

アップロードに失敗します。 framworkのバージョンが 2.0.14以上であれば、問題は発生しないかもしれません。 対応が面倒そうだったので、Arduino IDE でプログラム・セレクタを書き込みます。
●ESP32 PROGRAM SELECTOR

ESP32 PROGRAM SELECTOR

その後は、任意のプログラムをPlatformIOでビルドした firmware.bin をリネームして microSDカード に書き込んで実行させます。



※補足:Arduino IDEでのビルドに関して

Arduino IDEのメニュー編集

Arduino IDEのパーティション設定メニューでパーティション・テーブルを追加できなかったので、ボード情報ファイルを編集します。

ボード情報ファイルの場所
C:\Users\xxxxxxxx\AppData\Local\Arduino15\packages\arduino
   \hardware\esp32\2.0.17\boards.txt

パーティション・メニューのデフォルト設定を変更します
nano_nora.menu.PartitionScheme.default=With FAT partition (default)
     ↓
nano_nora.menu.PartitionScheme.default=app3M_fat9M_fact512k_16MB

パーティション・テーブルは下記の場所にあります
C:\Users\xxxxxxxx\AppData\Local\Arduino15\packages\arduino
   \hardware\esp32\2.0.17\tools\partitions

●ESP32-S3 USB MIDI
USB MIDIキーボードのソースコードは下記をご覧ください

ESP32-S3 USB MIDI


Arduino NANO ESP32 はUSB端子が1つです。 USB MIDIキーボードと NANO ESP32 に5Vを供給するためのコネクタを作成しました。


モバイル・バッテリーからVBUSに5Vを供給するとともにUSB MIDIキーボードとNANO ESP32を繋ぎます、

モバイル・バッテリーから5Vを供給し,TeraTerm で接続します。

microSD に保存した実行形式ファイルの一覧が表示されるので、USB MIDIを選択します


app1/ota_1のフラッシュ領域にプログラムがロードされ、リブートします
app3M_fat9M_fact512k_16MB.csv
# Name,   Type, SubType,  Offset,   Size,     Flags
nvs,      data, nvs,        0x9000,   0x5000,
otadata,  data, ota,        0xe000,   0x2000,
app0,     app,  ota_0,     0x10000, 0x300000,
app1,     app,  ota_1,    0x310000, 0x300000,
ffat,     data, fat,      0x610000, 0x960000,
factory,  app,  factory,  0xF70000,  0x80000,
coredump, data, coredump, 0xFF0000,  0x10000,
ビルドして、デバイスモニターを起動します。

USB MIDIキーボードの鍵盤を押すと、ノート番号が表示されます。
※usbhmidi.inoのESP_LOGI()を書き換え、Telnet経由でTeraTermに表示するようにしています。

次に、VS1053ボードを使って、音を出してみます。

●VS1053 Codec + MicroSD Breakout - MP3/WAV/MIDI/OGG Play + Record - v4

VS1053 Codec + MicroSD Breakout

シリアル接続によりMIDIデータをNANO ESP32からVS1053に送信します。
 NANO ESP32  -  VS1053  -  SPEAKER 
5V   -  VCC       
GND  -  GND       
GND  - GPIO-0       
TX1  -  RX       
D3   -  RST       
    3.3V - GPIO-1      
     AGND -  speaker(G) 
     LOUT -  speaker(L) 
     ROUT -  speaker(R) 


ブレッドボード1枚に収まるようにVS1053を立体的に配置しています。

VS1053のサンプルプログラムをダウンロードします。

●examples/player_miditest/player_miditest.ino

adafruit/Adafruit_VS1053_Library

コード変更のポイント

Arduino NANO ESP32のシリアルポート番号を明示的に記載します。

#define VS1053_MIDI Serial1
  ・・・・・

void setup() {
  ・・・・・
  VS1053_MIDI.begin(31250);
    ↓
  VS1053_MIDI.begin(31250, SERIAL_8N1, 44, 43);

「ESP32-S3 USB MIDI」で解説している usbhmidi.ino と組み合わせます。
static void midi_transfer_cb(usb_transfer_t *transfer)
{
	if (Device_Handle == transfer->device_handle) {
		int in_xfer = transfer->bEndpointAddress & USB_B_ENDPOINT_ADDRESS_EP_DIR_MASK;
		if ((transfer->status == 0) && in_xfer) {
			uint8_t *const p = transfer->data_buffer;
			for (int i = 0; i < transfer->actual_num_bytes; i += 4) {
				if ((p[i] + p[i+1] + p[i+2] + p[i+3]) == 0) break;

				switch ( p[i+1] & 0xF0 ) {
					case 0x90: midiNoteOn (p[i+1] & 0x0F, p[i+2], p[i+3]); break;
					case 0x80: midiNoteOff(p[i+1] & 0x0F, p[i+2], p[i+3]); break;
					default:                                               break;
				}
			}
			esp_err_t err = usb_host_transfer_submit(transfer);
		}
	}
}
p[i+1] & 0xF0:MIDIコマンドの下位4ビットが示すCHANNEL番号を無効にしています
p[i+1] & 0x0F:MIDIコマンドの下位4ビットが示すCHANNEL番号を抽出しています


VS1053のオーディオ出力を左上のラジオのLINE-INに繋いでいます。

●応用例

TeraTermに打鍵情報を表示するとともにログ保存を行っています。 鍵盤の状態のほかに音の間隔(デルタ・タイム)も算出しています。 デルタ・タイムがゼロの箇所は同時に複数の鍵盤を押しています。 記録したメロディーのお気に入り箇所を抜き出し、先頭部分のMIDIコードを用いて再現できるので便利です。
 Raspberry Pi(ラズベリー パイ)は、ARMプロセッサを搭載したシングルボードコンピュータ。イギリスのラズベリーパイ財団によって開発されている。
2020.01.05 第1回 abcjs 楽譜作成・演奏スクリプト
2020.01.09 I2S通信によるハイレゾ音源再生
2020.01.18 MIDI再生:FM音源YMF825+Arduino編
2020.01.24 FM音源YMF825+micro:bit編
2020.02.13 Piano Hat & Rosegarden
2020.03.18 テキスト読み上げ gTTS
2020.05.19 テキスト読み上げ AquesTalk pico LSI
2020.06.22 波形処理 第1回 音の波と三角関数
2020.07.22 波形処理 第2回 平均律と純正律
2020.08.26 波形処理 第3回 黒鍵と白鍵
2020.11.21 深層学習 第1回環境整備
2020.12.19 深層学習 第2回マルコフ連鎖・自動歌詞生成
2021.01.02 深層学習 第3回コード進行解析
2021.01.16 波形処理 第4回 コード演奏
2021.08.07 MIDI制御/Adafruit Music Maker
2021.08.23 MIDIフォーマット解析
2021.08.24 オーディオアンプ・スピーカー
2021.10.10 音声ファイルの切貼り
2022.09.16 USB-MIDI
2023.01.16 MAX98537 & PCM5102
2023.03.15 音源サンプリング
2023.06.16 ヤマハ音源IC YMZ294
2024.01.07 内蔵DACによるWAV再生
2024.03.23 Piano Hat for MIDI
2024.08.08 シンプルな16bit DAC
2024.09.09 ESP32-S3 USB MIDI
2024.10.10 NANO ESP32 USB MIDI
2024.11.10 音声変換・参照音声編集


Arduinoで学ぶ組込みシステム入門(第2版)
●Arduinoを使って組込みシステム開発を理解する
・ハードウェアやソフトウェアなどの基礎知識/ ・設計から実装までを系統的に説明するモデルベース開発/ ・Arduinoを用いた実際の開発例

最新 使える! MATLAB 第3版
◆◆すぐに「使える!」 全ページフルカラー!◆◆
・MATLAB R2022bに対応し、解説もより詳しく!/ ・コマンド・スクリプトの例が豊富で、動かして学べる!/ ・超基本から解説。これから使いはじめる人にぴったり!/ ・全編フルカラー、スクリーンショットも豊富!

Amazon Web Services基礎からのネットワーク&サーバー構築改訂4版
1.システム構築をインフラから始めるには/ 2.ネットワークを構築する/ 3.サーバーを構築する/ 4.Webサーバーソフトをインストールする/ 5.HTTPの動きを確認する/ 6.プライベートサブネットを構築する/ 7.NATを構築する/ 8.DBを用いたブログシステムの構築/ 9.TCP/IPによる通信の仕組みを理解する

C言語は第二の母国語: 独学学生時代から企業内IT職人時代に培った、独立のための技術とノウハウ 平田豊著
学生時代から独学でプログラミングをはじめ、企業内でデバイスドライバを開発し、そして独立後もたくさんのアプリケーション開発や技術書制作に携わってきた著者。その筆者が大事に使い続ける「C言語」の“昔と今”について、気づいたことや役立つ知識、使ってきたツールなどについて、これまで記してきたことを整理してまとめました。 本書では、現役プログラマーだけでなく、これからプログラミングを学ぶ学生などにも有益な情報やノウハウを、筆者の経験を元に紹介しています。

1冊ですべて身につくJavaScript入門講座
・最初の一歩が踏み出せる! 初心者に寄り添うやさしい解説 ・最新の技術が身につく! 今のJavaScriptの書き方・使い方 ・絶対に知っておきたい! アニメーションとイベントの知識 ・プログラミングの基本から実装方法まですべて学べる

図解! Git & GitHubのツボとコツがゼッタイにわかる本
ソフトウェア開発では欠かすことのできないGit、GitHub。 これからGit、GitHubを使いたいという入門者の方でも、実際に手を動かしながら使い方を学べます。

C自作の鉄則!2023 (日経BPパソコンベストムック)
メーカー製のパソコンはスペックが中途半端で、自分が本当に欲しい機種がない――。そう思っている人には、ぜひ自作パソコンをお薦めします。自作パソコンのパーツは進化が速く、しかも驚くほど種類が豊富。価格も性能も、幅広く用意されているため、満足度100%の“自分だけの1台”を手に入れることができます。

Interface 2023年6月号
特集:第1部 フィルタ設計 基礎の基礎/ 第2部 係数アプリや波形観測アプリで合点!FIR&IIRフィルタ作り/ 第3部 配布プリント基板で体験!マイコンで動くフィルタ作り

日経Linux 2023年5月号
【特集 1】 AI時代の最強フリーソフト ~ 25のやりたいを実現! 【特集 2】 AWS、Azureのうまみを無料で体感!面倒なことはクラウドに任せよう 【特集 3】 新しいRaspberry Pi Cameraで遊んでみよう 【特集 4】 Linuxで旧型PCを復活! 1kg切るモバイルPCを「ChromeOS Flex」でChromebook化

ラズパイマガジン2022年秋号
特集:5大人気ボード 電子工作超入門
「半導体不足で在庫が不足し、電子工作のボードがなかなか買えない…」。そんな今にふさわしい特集を企画しました。5種の人気ボードにすべて対応した電子工作の入門特集です。「GPIO」や「I2C」を使った電子パーツの制御方法は、どのボードでも同じです。手に入れられたボードを使って、今こそ電子工作を始めましょう。

地方で稼ぐ! ITエンジニアのすすめ
学歴、理系の知識、専門スキル……全部なくてもITエンジニアになれる! 地方でも高収入でやりがいをもって働ける!ITエンジニアの魅力を一挙大公開

Raspberry Piのはじめ方2022
本書は、ラズパイやPicoの買い方やインストール、初期設定といった基本から、サーバー、電子工作、IoT、AIといったラズパイならではの活用方法まで、1冊でお届けします。 ラズパイをこれから始める方向けに、全36ページの入門マンガ「女子高生とラズベリーパイ」も巻末に掲載。これを読むだけでラズパイがどんなものなのか、すぐに分かって触れるようになります。

ハッカーの学校 IoTハッキングの教科書
生活にとけこみ、家電機器を便利にするIoT技術。 Webカメラなど、便利の裏側に潜むセキュリティの危険性をハッキングで検証。 専門家がパケットキャプチャからハードウェアハッキングまで、その攻撃と防御を徹底解説。 本書は2018年7月に刊行された「ハッカーの学校IoTハッキングの教科書」に一部修正を加えた第2版です。

攻撃手法を学んで防御せよ! 押さえておくべきIoTハッキング
本書は、経済産業省から2021年4月にリリースされた、IoTセキュリティを対象とした『機器のサイバーセキュリティ確保のためのセキュリティ検証の手引き』の『別冊2 機器メーカに向けた脅威分析及びセキュリティ検証の解説書』をもとに、IoT機器の開発者や品質保証の担当者が、攻撃者の視点に立ってセキュリティ検証を実践するための手法を、事例とともに詳細に解説しました。

ポチらせる文章術
販売サイト・ネット広告・メルマガ・ブログ・ホームページ・SNS… 全WEB媒体で効果バツグン! カリスマコピーライターが教える「見てもらう」「買ってもらう」「共感してもらう」すべてに効くネット文章術

プログラマーは世界をどう見ているのか 西村博之著
イーロン・マスク(テスラ)、ジェフ・べゾス(Amazon)、ラリー・ペイジ(Google)…etc. 世界のトップはなぜプログラマーなのか?

ニーア オートマタ PLAY ARTS改 <ヨルハ 二号 B型 DX版> PVC製 塗装済み可動フィギュア
「NieR:Automata」より、ヨルハ二号B型こと2BがPLAY ARTS改に新たに登場! 高級感の感じられるコスチュームや髪の質感、洗練されたボディバランス、細かなデティールに至るまでこだわり抜かれた逸品。 DX版には通常版のラインナップに加え2Bの随行支援ユニット ポッド042などをはじめ“純白の美しい太刀"白の約定やエフェクトパーツ、自爆モードを再現できる換装用ボディパーツ、シーンに合わせて変えられる顔パーツ2種も付属する豪華な仕様に。 作中のあらゆるシーンを再現することが可能なファン必見の一品となっている。

Newtonライト2.0 ベイズ統計
ベイズ統計は,結果から原因を推定する統計学です。AIや医療などの幅広い分野で応用されています。その基礎となるのは18世紀に考えだされた「ベイズの定理」です。 この本では,ベイズ統計学のきほんをやさしく紹介していきます。

白光(HAKKO) ダイヤル式温度制御はんだ吸取器 ハンディタイプ FR301-81


無水エタノールP 500mlx2個パック(掃除)


ケイバ(KEIBA) マイクロニッパー MN-A04


サンハヤト SAD-101 ニューブレッドボード


白光(HAKKO) HEXSOL 巻はんだ 精密プリント基板用 150g FS402-02


[Amazon限定ブランド]【指定第2類医薬品】PHARMA CHOICE 解熱鎮痛薬 解熱鎮痛錠IP 100錠


Copyright © 2011-2024 Sarako Tsukiyono All rights reserved®.