画像処理・基本変換
2021.05.16
YouTube でも紹介しています。画像をクリックすると再生できます。
Interface 2020年11月号特集「ESP32で画像処理プログラム100」では画像処理の仕組みをソースコードとともに解説しています。
画像処理ライブラリを使用しないで、pixel単位での変換処理を行っているので、画像処理の本質を理解するのには最適です。
pythonでは扱えないポインタを使ったプログラミングになるので、C/C++言語の知識が必要になりまが、
短時間に幅広く学習されたい方にはよい教材だと思います。
画像処理用ソースコードは少しの変更で別環境への転用・応用も可能です。
Interface 2020年11月号
特集「ESP32で画像処理プログラム100」
第1章 画像処理プログラムを試す準備
第2章 明るさ&色
第3章 形&大きさ変換
第4章 フィルタ
第5章 拡大/回転/移動/膨張
第6章 画像分析
第7章 特殊加工
まずは、この特集で紹介しているプログラムの実行環境を整えます。
特集では、M5StackとESP32-DevKitCでの実装方法を紹介しています。
ここでは、ESP32-DevKitC (ESP32 General Development Kit)を使用します。
■実行環境
ノートパソコンから、TeraTermによりラズベリーパイにSSH接続して操作します。
■Sparkfun ESP32 Thing Plus
Espressif Systems社のESP32-WROOM-32Dモジュールを搭載し、強力なWi-FiとBluetooth MCUを備えた開発プラットフォームThing Plusの新しいバージョンです。Featherボード互換で、Qwiicシステムの利用によりハンダ付けやシールドなしで接続が可能です。
静電容量式タッチセンサ、ホール（磁気）センサ、SDカードインターフェース、イーサネット、高速SPI、UART、I2S、 I2Cなど、豊富な周辺機器を統合し、16 MBのフラッシュメモリ、520 KBの内蔵SRAM、802.11 b/g/n Wi-Fi、デュアルモードBluetooth機能、およびLiPoバッテリー用JST型コネクタを特徴としています。
・Dimensions: 2.30 x 0.90 Inches
・Xtensa® dual-core 32-bit LX6 microprocessor
・Up to 240MHz clock frequency
・16MB of flash storage
・520kB internal SRAM
・Integrated 802.11 BGN WiFi transceiver
・Integrated dual-mode Bluetooth (classic and BLE)
・2.3 to 3.6V operating range
・21 GPIO
・8-electrode capacitive touch support
・Hardware accelerated encryption (AES, SHA2, ECC, RSA-4096)
・2.5 µA deep sleep current
■Pinout
↑クリックで拡大、再クリックで元に戻ります。
プログラムのビルドには、Platformioを使用します。
まずは、ラズベリーパイに繋いで、接続デバイスを確認します
$ pio device list
/dev/ttyUSB0
------------
Hardware ID: USB VID:PID=21F3:EC73 SER=86B13DA3 LOCATION=1-1.3
Description: CP2104 USB to UART Bridge Controller
/dev/ttyAMA0
------------
Hardware ID: 4e836500.serial
Description: ttyAMA0
利用できるボードを確認します
$ pio boards "sparkfun"
.....
Platform: espressif32
==========================================================================
ID MCU Frequency Flash RAM Name
--------------- ----- --------- ----- ----- -------------------------
esp32thing ESP32 240MHz 4MB 320KB SparkFun ESP32 Thing
esp32thing_plus ESP32 240MHz 16MB 320KB SparkFun ESP32 Thing Plus
.....
プロジェクトを作成します
$ mkdir ~/Interface521
$ cd ~/Interface521
$ pio init -b esp32thing_plus
■Adafruit 2.2" 18-bit color TFT LCD display with microSD card breakout
・2.2" diagonal true TFT LCD display has 320x240 colour pixels
・The TFT driver (ILI9340) can display full 18-bit color (262,144 shades!)
・ultra-low-dropout 3.3V regulator and a 3/5V level shifter so you can use it with 3.3V or 5V power and logic.
・comes with a microSD card holder so you can easily load full color bitmaps from a FAT16/FAT32 formatted microSD card (card not included)
ILI9340搭載の解像度240x320、TFT液晶モジュールを使用しました。ILI9341ライブラリが使用できます。
microSDカードスロットが付いています。
| SparkFun ESP32 | - | Adafruit TFT display |
|---|
| GND | - | GND |
| 3V3 | - | VIN |
| GPIO[26] | - | DC:SPI data / command selection |
| 3V3 | - | RESET |
| GPIO[16] | - | SD CS:Chipselect |
| GPIO[17] | - | LCD CS:Chipselect |
| MOSI[18] | - | SDI(MOSI):SPI data line |
| MISO[19] | - | SDO(MISO):SPI data line |
| SCK[5] | - | SCK:SPI clock line |
描画テスト
■adafruit/Adafruit_ILI9341 - graphictest.ino
Ref.graphictest.ino
$ vi graphictest.ino
#include "SPI.h"
#include "Wire.h" ← 追加
#include "Adafruit_GFX.h"
#include "Adafruit_ILI9341.h"
//#define TFT_DC 9
//#define TFT_CS 10
#define TFT_DC 26
#define TFT_CS 17
$ pio lib search "header:Adafruit_ILI9341.h"
Adafruit ILI9341
================
#ID: 571
Library for Adafruit ILI9341 displays
Keywords: display
Compatible frameworks: Arduino
Compatible platforms: Infineon XMC, Kendryte K210, GigaDevice GD32V, ASR Microelectronics ASR650x, Atmel AVR, Atmel SAM, Espressif 8266, Intel ARC32, Microchip PIC32, Nordic nRF51, ST STM32, Teensy, TI MSP430, TI TIVA, Espressif 32, Nordic nRF52, ST STM8, Atmel megaAVR, Logic Green boards, HWLogic, LOGICROM Development Platform
Authors: Adafruit
$ pio lib install 571
$ pio lib search "header:Adafruit_GFX.h"
Adafruit GFX Library
====================
#ID: 13
Adafruit GFX graphics core library, this is the 'core' class that all our other graphics libraries derive from. Install this library in addition to the display library for your hardware.
Keywords: display
Compatible frameworks: Arduino
Compatible platforms: Infineon XMC, Kendryte K210, GigaDevice GD32V, ASR Microelectronics ASR650x, Atmel AVR, Atmel SAM, Espressif 8266, Intel ARC32, Microchip PIC32, Nordic nRF51, ST STM32, Teensy, TI MSP430, TI TIVA, Espressif 32, Nordic nRF52, ST STM8, Atmel megaAVR, Logic Green boards, HWLogic, LOGICROM Development Platform
Authors: Adafruit
$ pio lib install 13
$ pio lib search "header:Adafruit_I2CDevice.h"
Adafruit BusIO
==============
#ID: 6214
This is a library for abstracting away UART, I2C and SPI interfacing
Keywords: signal, input, output
Compatible frameworks: Arduino
Compatible platforms: Infineon XMC, Kendryte K210, GigaDevice GD32V, ASR Microelectronics ASR650x, Atmel AVR, Atmel SAM, Espressif 8266, Intel ARC32, Microchip PIC32, Nordic nRF51, ST STM32, Teensy, TI MSP430, TI TIVA, Espressif 32, Nordic nRF52, ST STM8, Atmel megaAVR, Logic Green boards, HWLogic, LOGICROM Development Platform
Authors: Adafruit
$ pio lib install 6214
Library Manager: Adafruit BusIO @ 1.7.3 is already installed
$ pio run -t upload
画像基本変換
CQ出版社 Interface のサイトからソースプログラムをダウンロードします。
https://www.cqpub.co.jp/interface/download/2020/11/IF2011T.zip
IF2011T.zip を解凍→[IF2011T]→[ESP32_LCD]→[ImageProcessing]
この中のファイルすべてをプロジェクトのsrcディレクトリ(~/Interface521/src)に配置します。
DCとCSのGPIO番号を配線に合わせて変更します。
$ vi src/LcdWrapper.cpp
//#define TFT_DC 5
//#define TFT_CS 16
#define TFT_DC 26
#define TFT_CS 17
ino ファイルにヘッダーファイルを追記します。
$ vi ImageProcessing.ino
#include "LcdWrapper.h"
#include "ModeManage.h"
#include <FS.h>
#include <SPIFFS.h>
#include <Wire.h> ← 追加
■画像ファイルのアップロード
PlatformIOでESP32のSPIFFS(SPI Flash File System)にサンプル画像ファイルを書き込みます。
1.プロジェクト直下に data という名前で新しいフォルダーを作成します
$ cd ~/Interface521
$ mkdir data
2.ダウンロードしたソースコードを解凍すると、オリジナル画像というディレクトリ内に、サンプル画像が格納されています。
これらのファイルをdataディレクトリー内にコピーします。
3.ファイルアップロード用オプションを付加して、コマンドを実行します
$ pio run --target uploadfs
削除する場合は
$ pio run --target erase
自分の好みで画像を変更する場合は、画像ファイル名を、src/Original.h 記載のファイル名に変更するか、
SPIフラッシュ・メモリーに書き込む画像ファイル名に合わせて、ヘッダーファイルを修正します。
$ vi src/Original.h
class Original {
public:
const char* fname = "/mandrill.jpg";
const char* noise_fname = "/mandrill_noise.jpg";
const char* small_fname = "/mandrill_small.jpg";
const char* lena_fname = "/lena.jpg";
// const char* interface_fname = "/interface_noise_white.jpg";
const char* interface_fname = "/interface_noise_black.jpg";
オリジナル画像ディレクトリーにあるマンドリルというサルの画像では向学心に火が付かないと思いますので、サンプル画像に三乳亭しん太さんのカバーイラストを使わせていただきました。
本当はやってはいけない刑罰マニュアル
ギロチン、絞首刑、電気椅子、ガス殺、断手。あまたの刑罰を既に絶滅したもの、未だに行われているもの、現実には存在しなかったものに分類し、刑罰が発明・採用された当時の法典、社会情勢、宗教的な意義、登場する作品を解説した刑罰本がついに登場。この本を読んでも、絶対に真似をしないでください……。
三乳亭 しん太 (イラスト)
$ pio run -t upload
10秒ごとにオリジナル画像の画像変換処理が切り替わって表示されます。
その中のいくつかの変換処理を紹介します。
Chchange
チャネル入れ替え
画素のRGBをBGRに入れ替えています。
ReverseColor
色の反転
画素のRGB値それぞれを、最大値(255)から引いて反転させています。
R = 255 - R
G = 255 - G
B = 255 - B
GrayScale
グレー・スケール化
CIE(国際照明委員会) XYZ を用いた、輝度変換です。
RGBとは別の色空間XYZを用います。この空間では、XとZが色味、Yが輝度になります。
Y = 0.2126 * R + 0.7152 * G + 0.0722 * B
ThreshBinary
2値化
しきい値(Thresh)を決めて、画素の輝度がしきい値より大きければ白、小さければ黒に変換します。
AvePooling
平均プーリング化
グリッド・サイズを、8x8 にして、各領域内の平均値で領域を埋めています。
■応用
今回の説明の中で用いている変換処理画像は、Interface掲載プログラムを書き換え、変換処理画像をTGA画像ファイルとしてSDカードに書き出したものを、JPEG画像に変換して使用しています。
JPEG - MCU(Minimum Coded Unit)
JPEGは、画像をデータにする時に一片を8pixelの倍数の小さい画像に分割し、
個々の画像をデータに変換します。この小さい画像をMCU(Minimum Coded Unit)と呼びます。
Ref.JPEGファイルの理解を深める
特集記事では、1 MCUごとに画像情報を読み込み、その都度、画像変換をおこなっているものが多く、SRAMの少ないESP32でも処理が可能です。
例えば、掲載プログラムのOriginal.cpp に下記の太字部分を追記して、ビルドします。
$ vi src/Original.cpp
void Original::display(const char *fname){
uint8_t *pImg;
int x,y;
Lcd.clearDisplay(BLACK);
JpegDec.decode(fname);
// Image Information
Serial.print("JpegDec.width :");
Serial.println(JpegDec.width);
Serial.print("JpegDec.height :");
Serial.println(JpegDec.height);
Serial.print("JpegDec.MCUWidth :");
Serial.println(JpegDec.MCUWidth);
Serial.print("JpegDec.MCUHeight :");
Serial.println(JpegDec.MCUHeight);
Serial.print("JpegDec.MCUSPerRow :");
Serial.println(JpegDec.MCUSPerRow);
Serial.print("JpegDec.MCUSPerCol :");
Serial.println(JpegDec.MCUSPerCol);
Serial.println("");
......
platformio のデバイスモニターを起動、ESP32の[RESET]ボタンを押して、ビルドしたプログラムを再起動すると、JPEG画像の情報が表示されます。
$ pio device monitor -p /dev/ttyUSB0 -b 115200
JpegDec.width :320
JpegDec.height :240
JpegDec.MCUWidth :16
JpegDec.MCUHeight :16
JpegDec.MCUSPerRow :20
JpegDec.MCUSPerCol :15
width と height が画像サイズです。
MCUWidth と MCUHeight がMCUのブロックサイズです。
MCUSPerRow が行に含まれるMCUのブロック数、MCUSPerCol が列に含まれるMCUのブロック数になります。
MCUのブロックサイズごとに画像処理を行い、ディスプレイに表示するのは容易なことですが、
実用面で考えると、SDカードに保存したデータを読み取り、画像処理をして、SDカードに処理後の画像を書き出せれば利便性が向上します。
実用に際しては２つの点が課題となります。
1.画像情報をRGB情報を保持したまま、すべて読み込んでから処理しようとするとESP32のSRAMが足りない。
2.SDカード使用の際には、複数個のファイルを同時に開けない。
対策としては、
1.画像横サイズ分のMCUブロックに対して画像処理を行い、TGA形式の画像配列(BGRBGRBGR....)に並び替えて、メモリ上に格納します。
320x240のJPEG画像を例に取ると、
1MCU は 16x16 pixel (MCUWidth,MCUHeight)
横方向に、20ブロック(MCUSPerRow)
縦方向に15ブロック(MCUSPerCol)
となっています。
横方向１列分のブロックを格納するのに必要なメモリーは
16 x 16 x 20 x 3 → 15360バイト
SRAM 520KB の Sparkfun ESP32 Thing Plus では確保できました。
2.横１列分の処理が終わるたびに、SPI FLASHメモリー上のファイルに書き出します。
3.すべての処理が完了した時点で、SPI FLASH 上のファイルを、SDカードに書き出します。
ただし、一度に画像の全領域を処理対象にする変換に関しては、SRAMが不足して、画像ファイルを生成できない可能性があります。
ESP32-WROVER でしたら、PSRAMを使うことで回避できるかもしれません。
備考
No Brand 2.8" 240x320 SPI TFT LCD ILI9341
Interface 2020年11月号にあるようなノーブランドILI9341の場合、配線は下記のようになります(DC,CSは任意)。
| SparkFun ESP32 | - | ILI9341 |
|---|
| GPIO[17] | - | DC:SPI data / command selection |
| GPIO[16] | - | CS:Chipselect |
| MISO[19] | - | SDO(MISO):SPI data line |
| MOSI[18] | - | SDI(MOSI):SPI data line |
| SCK[5] | - | SCK:SPI clock line |
| GND | - | GND |
| 3V3 | - | RESET |
| 3V3 | - | VCC |
| VUSB(5V) | - | LED |
■参考文献
・ESP32 Thing Plus Hookup Guide
・ESP32_Thing_Plus - GitHub
・adafruit/Adafruit_ILI9341
・PlatformIO Espressif 32
・ESP32でSPIFFSにファイルを読み書きする方法
・PlatformIOでESP32のSPIFFSにファイルを書き込むコマンド
・adafruit/SD - GitHub
・Hiletgoの2.8インチ TFT液晶でBMP画像を表示してみた
・Python/OpenCVで任意色を透過させたpng画像に変換
・Adafruit_ILI9340/examples/spitftbitmap/spitftbitmap.ino
|
Raspberry Pi（ラズベリー パイ）は、ARMプロセッサを搭載したシングルボードコンピュータ。イギリスのラズベリーパイ財団によって開発されている。
Arduinoで学ぶ組込みシステム入門(第2版)
●Arduinoを使って組込みシステム開発を理解する
・ハードウェアやソフトウェアなどの基礎知識/
・設計から実装までを系統的に説明するモデルベース開発/
・Arduinoを用いた実際の開発例
最新 使える! MATLAB 第3版
◆◆すぐに「使える!」 全ページフルカラー!◆◆
・MATLAB R2022bに対応し、解説もより詳しく!/
・コマンド・スクリプトの例が豊富で、動かして学べる!/
・超基本から解説。これから使いはじめる人にぴったり!/
・全編フルカラー、スクリーンショットも豊富!
Amazon Web Services基礎からのネットワーク＆サーバー構築改訂４版
1.システム構築をインフラから始めるには/
2.ネットワークを構築する/
3.サーバーを構築する/
4.Webサーバーソフトをインストールする/
5.HTTPの動きを確認する/
6.プライベートサブネットを構築する/
7.NATを構築する/
8.DBを用いたブログシステムの構築/
9.TCP/IPによる通信の仕組みを理解する
C言語は第二の母国語: 独学学生時代から企業内IT職人時代に培った、独立のための技術とノウハウ 平田豊著
学生時代から独学でプログラミングをはじめ、企業内でデバイスドライバを開発し、そして独立後もたくさんのアプリケーション開発や技術書制作に携わってきた著者。その筆者が大事に使い続ける「C言語」の“昔と今”について、気づいたことや役立つ知識、使ってきたツールなどについて、これまで記してきたことを整理してまとめました。
本書では、現役プログラマーだけでなく、これからプログラミングを学ぶ学生などにも有益な情報やノウハウを、筆者の経験を元に紹介しています。
1冊ですべて身につくJavaScript入門講座
・最初の一歩が踏み出せる！ 初心者に寄り添うやさしい解説
・最新の技術が身につく！ 今のJavaScriptの書き方・使い方
・絶対に知っておきたい！ アニメーションとイベントの知識
・プログラミングの基本から実装方法まですべて学べる
図解！ Git & GitHubのツボとコツがゼッタイにわかる本
ソフトウェア開発では欠かすことのできないGit、GitHub。
これからGit、GitHubを使いたいという入門者の方でも、実際に手を動かしながら使い方を学べます。
C自作の鉄則！2023 (日経BPパソコンベストムック)
メーカー製のパソコンはスペックが中途半端で、自分が本当に欲しい機種がない――。そう思っている人には、ぜひ自作パソコンをお薦めします。自作パソコンのパーツは進化が速く、しかも驚くほど種類が豊富。価格も性能も、幅広く用意されているため、満足度100％の“自分だけの1台”を手に入れることができます。
Interface 2023年6月号
特集：第1部 フィルタ設計 基礎の基礎/
第2部 係数アプリや波形観測アプリで合点！FIR&IIRフィルタ作り/
第3部 配布プリント基板で体験！マイコンで動くフィルタ作り
日経Linux 2023年5月号
【特集 1】 AI時代の最強フリーソフト ～ 25のやりたいを実現！
【特集 2】 AWS、Azureのうまみを無料で体感！面倒なことはクラウドに任せよう
【特集 3】 新しいRaspberry Pi Cameraで遊んでみよう
【特集 4】 Linuxで旧型PCを復活！ 1kg切るモバイルPCを「ChromeOS Flex」でChromebook化
ラズパイマガジン2022年秋号
特集：5大人気ボード 電子工作超入門
「半導体不足で在庫が不足し、電子工作のボードがなかなか買えない…」。そんな今にふさわしい特集を企画しました。5種の人気ボードにすべて対応した電子工作の入門特集です。「GPIO」や「I2C」を使った電子パーツの制御方法は、どのボードでも同じです。手に入れられたボードを使って、今こそ電子工作を始めましょう。
地方で稼ぐ! ITエンジニアのすすめ
学歴、理系の知識、専門スキル……全部なくてもITエンジニアになれる!
地方でも高収入でやりがいをもって働ける!ITエンジニアの魅力を一挙大公開
Raspberry Piのはじめ方2022
本書は、ラズパイやPicoの買い方やインストール、初期設定といった基本から、サーバー、電子工作、IoT、AIといったラズパイならではの活用方法まで、1冊でお届けします。
ラズパイをこれから始める方向けに、全36ページの入門マンガ「女子高生とラズベリーパイ」も巻末に掲載。これを読むだけでラズパイがどんなものなのか、すぐに分かって触れるようになります。
ハッカーの学校 IoTハッキングの教科書
生活にとけこみ、家電機器を便利にするIoT技術。
Webカメラなど、便利の裏側に潜むセキュリティの危険性をハッキングで検証。
専門家がパケットキャプチャからハードウェアハッキングまで、その攻撃と防御を徹底解説。
本書は2018年7月に刊行された「ハッカーの学校IoTハッキングの教科書」に一部修正を加えた第2版です。
攻撃手法を学んで防御せよ! 押さえておくべきIoTハッキング
本書は、経済産業省から2021年4月にリリースされた、IoTセキュリティを対象とした『機器のサイバーセキュリティ確保のためのセキュリティ検証の手引き』の『別冊2 機器メーカに向けた脅威分析及びセキュリティ検証の解説書』をもとに、IoT機器の開発者や品質保証の担当者が、攻撃者の視点に立ってセキュリティ検証を実践するための手法を、事例とともに詳細に解説しました。
ポチらせる文章術
販売サイト・ネット広告・メルマガ・ブログ・ホームページ・SNS…
全WEB媒体で効果バツグン!
カリスマコピーライターが教える「見てもらう」「買ってもらう」「共感してもらう」すべてに効くネット文章術
プログラマーは世界をどう見ているのか 西村博之著
イーロン・マスク(テスラ)、ジェフ・べゾス(Amazon)、ラリー・ペイジ(Google)…etc.
世界のトップはなぜプログラマーなのか?
ニーア オートマタ PLAY ARTS改 <ヨルハ 二号 B型 DX版> PVC製 塗装済み可動フィギュア
「NieR:Automata」より、ヨルハ二号B型こと2BがPLAY ARTS改に新たに登場!
高級感の感じられるコスチュームや髪の質感、洗練されたボディバランス、細かなデティールに至るまでこだわり抜かれた逸品。
DX版には通常版のラインナップに加え2Bの随行支援ユニット ポッド042などをはじめ“純白の美しい太刀"白の約定やエフェクトパーツ、自爆モードを再現できる換装用ボディパーツ、シーンに合わせて変えられる顔パーツ2種も付属する豪華な仕様に。
作中のあらゆるシーンを再現することが可能なファン必見の一品となっている。
Newtonライト2.0 ベイズ統計
ベイズ統計は,結果から原因を推定する統計学です。AIや医療などの幅広い分野で応用されています。その基礎となるのは18世紀に考えだされた「ベイズの定理」です。
この本では,ベイズ統計学のきほんをやさしく紹介していきます。
白光(HAKKO) ダイヤル式温度制御はんだ吸取器 ハンディタイプ FR301-81
無水エタノールP 500mlx2個パック(掃除)
ケイバ(KEIBA) マイクロニッパー MN-A04
サンハヤト SAD-101 ニューブレッドボード
白光(HAKKO) HEXSOL 巻はんだ 精密プリント基板用 150g FS402-02
[Amazon限定ブランド]【指定第2類医薬品】PHARMA CHOICE 解熱鎮痛薬 解熱鎮痛錠IP 100錠
|
