デコレータ実装での実行時間計測は、何も手を打たないと再帰関数でおかしな結果がでる

デコレータで実行時間を測る例のやつ (笑) を色々試してて気になった点や欲しい機能とかをいじってたらなんか後々使えそうな代物ができたので、docstring の書き方の練習も兼ねて公開してみることに。

• どこかで sp = SimpleProfiler() とかして、

  with sp:
      pass

  とするか、

  @sp.profile
  def foo():
      pass

  とすれば sp に測った実行時間やらカウントやらが記録されます。
• 後は時期を見計らって sp の各プロパティを読んで下さい。
  また、reset() で測った記録をリセットできます。
• Python インタプリタに直接食わせると、フィボナッチ関数 (キャッシュ無しと有り) をプロファイルするデモを行います。
• Python 3.5 (Debian Stretch に入ってるバージョン) あたりから使えると思います。
  当方ではとりあえずこれ書いている時点で最新の Raspbian で使えるやつ (3.5.3) と Windows版 (3.7.3) で開発・動作確認をしてあります。

ソースコード

使いたいという奇特な方は下記をコピペして simpleprofiler.py とかで各自保管して下さい。MITライセンスで扱って貰えば特に連絡などは要りません。

#!/usr/bin/env python3

# simpleprofiler.py - Simple profiler
#
# Copyright (c) 2019 Takayuki 'January June' Suwa
#
# This software is released under the MIT License.
#  https://opensource.org/licenses/mit-license.php

# PEP 8 (for lexical)
#000000001111111111222222222233333333334444444444555555555566666666667777777777
#234567890123456789012345678901234567890123456789012345678901234567890123456789

# PEP 8 (for text)
#00000000111111111122222222223333333333444444444455555555556666666666777
#23456789012345678901234567890123456789012345678901234567890123456789012

"""Simple profiler."""

try:
    from time import perf_counter_ns as _perf_counter_ns
    _clock = lambda: _perf_counter_ns() * 1e-9
except ImportError:
    try:
        from time import perf_counter as _clock
    except ImportError:
        from time import clock as _clock

class SimpleProfiler(object):
    """Simple profiler implementation, as context mananger."""

    __slots__ = "__started", "__elapsed_time", "__nested_level", \
            "__entered_count", "__checked_count", "__raised_count", \
            "__clicked_count"

    def __init__(self):
        self.__started, self.__elapsed_time, self.__nested_level, \
                self.__entered_count, self.__checked_count, \
                self.__raised_count, self.__clicked_count = 0.0, 0.0, 0, 0, 0,\
                0, 0

    def __repr__(self):
        return "%s(%fsec, %d, %d, %d, %d)" % (self.__class__.__name__,
                self.__elapsed_time, self.__entered_count, self.__checked_count,
                self.__raised_count, self.__clicked_count)

    @property
    def elapsed_time(self):
        """Return the accumulated value of the elapsed time in second
        around the region of the code, inside of this context.
        """
        return self.__elapsed_time

    @property
    def entered_count(self):
        """Return the accumulated value of the counter which is
        incremented by 1 when this context is entered.
        """
        return self.__entered_count

    @property
    def checked_count(self):
        """Return the accumulated value of the counter which is
        incremented by 1 when each time check has finished.
        """
        return self.__checked_count

    @property
    def raised_count(self):
        """Return the accumulated value of the counter which is
        incremented by 1 when each uncaught exception has been raised.
        """
        return self.__raised_count

    @property
    def clicked_count(self):
        """Return the accumulated value of the counter which is
        incremented by 1 when each 'click()' method has been called.
        """
        return self.__clicked_count

    def click(self):
        """Increment the number of times this method was called, by 1.
        """
        self.__clicked_count += 1

    def reset(self):
        """Reset the elapsed time and each counters, to the initial
        state.
        """
        self.__elapsed_time, self.__nested_level, self.__entered_count, \
                self.__checked_count, self.__raised_count, \
                self.__clicked_count = 0.0, 0, 0, 0, 0, 0

    def __enter__(self):
        """Enter this context.

        When re-entered an identical context, results of that time check
        and counting are ignored.
        """
        self.__entered_count += 1
        self.__nested_level += 1
        if self.__nested_level == 1:
            self.__started = _clock()

    def __exit__(self, exc_type, exc_val, exc_tb):
        """Exit from this context."""
        if self.__nested_level == 1:
            self.__elapsed_time += _clock() - self.__started
            self.__checked_count += 1
        if exc_type:
            self.__raised_count += 1
        self.__nested_level -= 1

    def profile(self, func):
        """Decorate the below function as inside of this context."""
        def wrapper(*args, **kwargs):
            with self:
                return func(*args, **kwargs)
        return wrapper

if __name__ == "__main__":
    print("\n[ SimpleProfiler demo ] Profiles the Fibonacci function!\n")
    p = SimpleProfiler()

    @p.profile
    def fib(x):
        return x if x < 2 else fib(x - 1) + fib(x - 2)
    def fib_demo():
        p.reset()
        try:
            for n in range(40):
                p.reset()
                print(" profiling fib(%d) in progress..."
                        % n, end="", flush=True)
                print("\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b=%d, %f seconds elapsed\n"
                      "   %d entered, %d checked, %d raised"
                        % (fib(n), p.elapsed_time, p.entered_count, \
                           p.checked_count, p.raised_count))
        except KeyboardInterrupt:
            print("\n***** aborted by user *****\n"
                  "   %f seconds elapsed (until abort)\n"
                  "   %d entered, %d checked, %d raised"
                    % (p.elapsed_time, p.entered_count, p.checked_count,
                       p.raised_count))
    print("[normal (uncached) version]")
    fib_demo()

    from functools import lru_cache
    @p.profile
    @lru_cache()
    def fib(x):
        return x if x < 2 else fib(x - 1) + fib(x - 2)
    print("\n[cached version]")
    fib_demo()

妙な邪推はさておき、x86 な Windows で動作する最新(本稿執筆時)の H8/300 用ビルド済み

• binutils 2.30 (LTO)
• gcc 8.3.0 (C/C++, libstdc++, LTO, H8/300|H8S|H8SX multilib)
• newlib 2.5.0 (H8/300|H8S|H8SX multilib)
• gdb 8.2.1

を公開しておきます。
MSYS2 32bit 環境下でビルドしてありますが、利用に MSYS2 や他のライブラリの類のインストールは必要ありません。詳しくは同梱の readme.txt とかを見て下さい。

gcc-8.3.0_h8300-hitachi-elf_Windows.7z (SHA-1: 22a9f12535959354877ecac1e77fb94c3108653b)

• 素の gcc 8.3.0 ではコード生成に問題がある(特に H8SX で newlib や libstdc++ ですらコンパイルに失敗する)のを修正済み
• ついでに素の gcc 8.3.0 より少し良いコードを生成するよう修正
• というか巷に散見される H8/300 用 GCC は 4.9 / 4.7 / 2.9 と古かったりするので…

同梱の Windows インストーラー(*.msi) を使えば直ちにインストールできます。確認とか全く聞いてこない手抜き仕様なので注意。
アンインストールも Windows インストーラーなので簡単。

想定する構成

• 玄箱(初代)専用、玄箱/HG も対象外
• ブートローダーはフラッシュ版 U-Boot (u-boot-1.2.0-hd.flash.bin) を使う
  入手先およびフラッシュ書き込み方法は割愛
• HDD のパーティション、およびフォーマットは

  # /etc/fstab
  proc    /proc   proc    defaults        0       0
  /dev/sda3       /       ext4    defaults,noatime        0       1
  /dev/sda1       /boot   ext2    defaults,noatime        0       2
  /dev/sda2       swap    swap    defaults        0       0
  

  これは玄箱(初代)本来の割り方ではなく、他所の野良 linux 化でよくされていた割り方とも微妙に違うので、U-Boot 変数の設定とかを引き写してくる際には注意

カーネルとユーザーランド

• kuroboxHD-linux-4.4.229-powerpc.tar.xz (SHA1: b4a19ff993b358ab0fb77d5b4a86ea0f2bfacaa0)
• kuroboxHD-debian-jessie-powerpc.tar.xz (SHA1: 3a7e0c28bb9ee340b4517b509cc59bf9623f07c2)
• 他に Unix 系機材があればそれで HDD を割って上記 tarball を突っ込めばいいでしょう。ちなみに私はラジーパイでやりました。

初期設定で…

• ホスト名は kuroboxHD
• IPv4 (DHCP 自動設定)、IPv6、mDNS 応答 (kuroboxHD.local)、および ssh が有効
• netconsole は無効
• シリアルコンソール、または ssh 経由で root へログイン可能、パスワードは kuroboxHD
• セルフカーネルコンパイル(要8時間以上)が可能な程度に色々と入れてあります、あと Python3 とかも
  まあ普通に Debian Jessie なんで好みで apt-get して下さい

FA SBC にも結構使われているようで秋月にも SH2A 基板が出てくるあたり、それなりに力を入れているのかも。あと所用でその SH2A な FA SBC を評価することになったので、GCC ビルドすっか、というお話。

それで、以前の投稿ではここからビルド手順が書いてあったのですが、ややこしいのでばっさり割愛。x86 な Windows で動作する最新(本稿執筆時)の SuperH 用ビルド済み

• binutils 2.30 (LTO)
• gcc 8.3.0 (C/C++, libstdc++, LTO, SH1～4 multilib)
• newlib 2.5.0 (SH1～4 multilib)
• gdb 8.2.1

を公開しておきます。
MSYS2 32bit 環境下でビルドしてありますが、利用に MSYS2 や他のライブラリの類のインストールは必要ありません。詳しくは同梱の readme.txt とかを見て下さい。

gcc-8.3.0_sh-renesas-elf_Windows.7z (SHA-1: 985d36941f4a47708ce50985b4412958c4b7ec05)

同梱の Windows インストーラー(*.msi) を使えば直ちにインストールできます。確認とか全く聞いてこない手抜き仕様なので注意。
アンインストールも Windows インストーラーなので簡単。

• ラジーパイからはI2SとかいうD/Aコンバーター直結用インターフェース信号が出ている
• そのI2Sにぶら下げたD/Aコンバーターをラジーパイからオーディオデバイスとして扱う用意(OS/ドライバ/ミドルウェア/アプリ)が既にある
• ユニバーサル基板での手ハンダ電子工作レベルでI2S接続して実際に音を出せるD/AコンバーターICが秋葉原で安く売られている

• 2chステレオ、最大サンプルレート384kHz、32ビット分解能、SNR 112dB
• 低歪FIR/低遅延IIRを随時切り替え可能な最大8倍補間デジタルフィルタ
  (アナログ段LPFがとても簡素に)
• 負電源チャージポンプ内蔵でグランドセンター2.1Vrms ポップフリー・アナログライン出力
  (DC阻止コンデンサが不要でイヤホン規模負荷なら直接駆動可)
• システムクロックはI2S BCKから内蔵PLLで自己供給可
  (I2Sソース同期したシステムクロック発振が不要に)
• 秋葉パーツ屋での末端価格が円建てで3桁
  (価格破壊の風が語りかけます…安い、安すぎるw)

• ラジーパイ用の亀の子ユニバーサル基板と接続コネクタ。亀の子ユニバーサル基板に載せる5V電源用ジャックはお好みで
• DAC ICを載せた変換基板を挿すコネクタ。細ピンヘッダが20本、600mil幅なのでこれとかを加工して使うといい感じ。コンタクトが金メッキじゃないと嫌な人は適当なピンソケットを使うべし
• デカップル用セラコン100nFと正負電源チャージポンプ用セラコン2200nF
• アナログ出力LPF用金皮470Ωとフィルムコン2.2nF
• アナログ系安定用の低ESR電解コン。"Typical Applications"では10μFとなっていてDVDD/LDOO-DGND間に入ってたりCPGND-VNEG間に入ってなかったりと素人目にも首を捻るところが…私はCPVDD-CPGND、CPGND-VNEG、そしてAVDD-AGNDに高分子電解47μFを入れてデジタル系はデカップルだけで放置(誤動作さえしなければどうでもいいと思う)。電解コンはオーディオ用のものでも然程値段は高くないのでまあその辺はお好みで。
• ラジーパイ基板からの3.3Vはノイズ塗れかつ余裕が少ないと思われるので元電源の5Vから3.3Vを作るLDOを用意してアナログ系に使う
• 後はアナログ出力を引き出すコネクタやジャックもお好みでどうぞ

• DAC ICとセラコンとの距離を最小化するべし。"Layout Guidelines"にもそう書いてある。デカップル用100nFは変換基板ピンヘッダ実装部の隙間に配置できる。チャージポンプ用セラコン2200nFも頑張れば変換基板上に配置できる(ヒント：裏側)
• DAC ICのSCK、FMT、DEMPはDGNDに落とす(直結またはプルダウン)。ミュート制御用のXSMTは真面目に実装すると面倒なのでDVCCに上げておくに留める(直結またはプルアップ)。FLTはDGNDに落とすか、適当な手段でDVCCに上げられるようにしておくのもいい
• 各I2S信号線にはリンギング防止に200Ω程度の終端抵抗を入れたほうがいいという意見もある(シュミットトリガ入力なのでそれほどの効果はないかも)

• LPFと耳鳴りの入った耳には48kHz以上のサンプルレートの違いは正直わからない。ただ16ビット分解能と24ビット分解能の違いはわかる
• 低歪FIRフィルタ(FLT=DGND)は所謂ハイレゾオーディオ系、特にクラシックとかに向いている感じ。低遅延IIRフィルタ(FLT=DVCC)はJ-POPとか、あと不可逆圧縮されたソースに向いている感じ
  (なんか他の人の感想と逆なんだな…)

nginx

おなじみ軽量HTTP(など)サーバー。公式ダウンロードページからMainlineなりStableなりのtarballを拾ってくる。

nginx-rtmp-module

nginxでRTMPを扱うアドオン。公式GitHubからCloneするなりzipでダウンロードするなりする。

FFmpeg

おなじみマルチメディア十徳ナイフ(笑)。これも公式GitHub(ミラー)あたりを同上。まあFFmpegは毎日がエブリデイ更新状態なのでgit clone/pullしておくのも悪くはない。

1. まずはビルドの前提になるものを…

   sudo apt-get install \
    libpcre3-dev libssl-dev \
    libasound2-dev libfontconfig1-dev librtmp-dev libx264-dev libsdl2-dev

2. nginx w/RTMP…

   ./configure \
    --conf-path=/etc/nginx/nginx.conf \
    --error-log-path=/var/log/nginx/error.log \
    --pid-path=/var/run/nginx.pid \
    --lock-path=/var/lock/nginx.lock \
    --http-log-path=/var/log/nginx/access.log \
    --http-client-body-temp-path=/var/cache/nginx/body \
    --http-proxy-temp-path=/var/cache/nginx/proxy \
    --http-fastcgi-temp-path=/var/cache/nginx/fastcgi \
    --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp \
    --http-scgi-temp-path=/var/cache/nginx/scgi_temp \
    --with-http_ssl_module \
    --add-module=../nginx-rtmp-module

3. FFmpeg w/RPi OMX…

   ./configure \
    --prefix=/usr/local/ffmpeg \
    --enable-gpl \
    --enable-version3 \
    --enable-fontconfig \
    --enable-libfreetype \
    --enable-librtmp \
    --enable-libx264 \
    --enable-mmal \
    --enable-omx-rpi \
    --extra-libs=-ldl

   かつてはラジーパイ実機でFFmpegビルドとか重すぎ(苦笑)だったらしいのだが今は昔。make -j4とかすればどんどん捗る(要強制冷却)。
4. nginxをsystemd配下で稼動させる設定ファイル(nginx.service)…

   [Unit]
   Description=The NGINX HTTP and reverse proxy server
   After=syslog.target network.target remote-fs.target nss-lookup.target
   
   [Service]
   Type=forking
   PIDFile=/var/run/nginx.pid
   ExecStartPre=/usr/local/nginx/sbin/nginx -t
   ExecStart=/usr/local/nginx/sbin/nginx
   ExecReload=/bin/kill -s HUP $MAINPID
   ExecStop=/bin/kill -s QUIT $MAINPID
   PrivateTmp=true
   Nice=-10
   
   [Install]
   WantedBy=multi-user.target

5. nginx自体の設定ファイル(/etc/nginx/nginx.conf)…

   #
   worker_processes 1;
   user root staff;
   events {
       worker_connections 128;
   }
   rtmp {
       server {
           listen 1935;
           chunk_size 16384;
           buflen 1000ms;
           exec_kill_signal term;
           allow publish 127.0.0.0/8;
           allow publish 192.168.0.0/16;
           deny publish all;
           allow play 127.0.0.0/8;
           allow play 192.168.0.0/16;
           deny play all;
           application webcam {
               live on;
               exec_pull /usr/local/webcamhelper/nginx_rtmp_exec_pull_wrapper '$app' '$name';
           }
       }
   }

6. rtmp://{ラジーパイのアドレス}/webcam/* に接続した際に呼ばれるシェルスクリプト(/usr/local/webcamhelper/nginx_rtmp_exec_pull_wrapper)…

   #!/bin/bash
   
   FFMPEG=/usr/local/ffmpeg/bin/ffmpeg
   on_TERM(){
    pkill -TERM -P $$
   }
   trap 'on_TERM' TERM
   STEM=$(dirname $0)/rtmp
   DEVICE=$(readlink -f $(cat "$STEM.$1.$2.device"))
   $STEM.$1.$2.init $DEVICE
   $FFMPEG -hide_banner $(cat $STEM.$1.$2.ffmpeg_arg0) -i $DEVICE $(cat $STEM.$1.$2.ffmpeg_arg1) -f flv "rtmp://localhost:1935/$1/$2" &
   wait

7. nginx_rtmp_exec_pull_wrapper と同じ場所に rtmp.{$app}.{$name}.device という名前で使用するカメラを識別するデバイスパスを、

   /dev/v4l/by-id/*

   rtmp.{$app}.{$name}.init という名前で最初の接続の際)に呼ばれるシェルスクリプト(主にカメラ初期化用)を、

   #!/bin/bash
   
   uvcdynctrl -d $1 -s Brightness *
   uvcdynctrl -d $1 -s Contrast *
   ...

   rtmp.{$app}.{$name}.ffmpeg_arg0 / rtmp.{$app}.{$name}.ffmpeg_arg1 という名前でFFMpegに渡すパラメータを書いておく。

   -loglevel error
   -fflags nobuffer -rtbufsize *M
   -f v4l2 -video_size *x* -input_format rawvideo -framerate *

   -filter_complex hqdn3d=3,drawtext=text=%{localtime}:fontfile=/usr/share/fonts/truetype/dejavu/DejaVuSansCondensed-Bold.ttf:fontsize=32:fontcolor=white@1.0:shadowcolor=black@0.8:shadowx=3:shadowy=3:x=(w-text_w)/2:y=16,fps=*
   -c:v h264_omx -b:v *M -g * -zerocopy 1

   {$app} は上記の例だと webcam に、{$name} はわかりやすい名称や番号とかにする。あとアスタリスクになっているところは実際の機材や環境に合わせて適当に。

えっESP-WROOM-02はどうしたって? 今は元気にIPリモコンリレー装置として活躍中ですが何か。あと今更LLMNRレスポンダ公式化っておせーよ(苦笑) ラジーパイ絡みもあって結局Bonjour入れたしな。

閑話休題。余ってた8GBマイクロSDカードに公式からダウンロードしたRaspbianを頭からベタ書きしてラジーパイに食わせる。軟弱なんでもちろんGUIが使える方を。んでそれからやったことを適当に列挙。

• Windows PCからヘッドレス運用したいのでxrdpとtightvncserverを拾う。

  sudo apt-get --purge install tightvncserver xrdp

  あと日本語キーボードがまともになるように先人の知恵を丸パクリ(苦笑)

  cd /etc/xrdp/
  sudo wget http://w.vmeta.jp/temp/km-0411.ini
  sudo ln -s km-0411.ini km-e0010411.ini
  sudo ln -s km-0411.ini km-e0200411.ini
  sudo ln -s km-0411.ini km-e0210411.ini

• SDカード上にページスワップファイルを置くとか正気を疑いたくなるので止める。

  sudo dphys-swapfile swapoff

• 要らん物(個人の主観です)は撤去。

  sudo apt-get --purge autoremove \
   bluej \
   chromium-browser \
   claws-mail \
   debian-reference-en \
   dillo \
   dphys-swapfile \
   epiphany-browser \
   geany-common \
   greenfoot \
   libraspberrypi-doc \
   libreoffice-common \
   libreoffice-core \
   minecraft-pi \
   netsurf-common \
   nodered \
   python-pygame \
   python3-pygame \
   realvnc-vnc-viewer \
   scratch \
   sonic-pi \
   triggerhappy \
   wolfram-engine \
   xpdf

  これで随分と軽くなって4GB以内に余裕で収まる。
• シャットダウン完了タイミングが把握しづらいのでLED点滅の仕様を変更。

  sudo bash -c "echo dtparam=act_led_trigger=heartbeat >> /boot/config.txt"

まあこんなところかな。何だか大した内容でもないのに長くなったので今回はここまで。

• MacかWindows 10、あるいはLinux使いである
• あるいは別途mDNSレゾルバ(Bonjourとか)をわざわざインストールしている
• ステーションモードでHTTPサーバなどを動かさず、クライアント動作に徹している

1. スケッチに追加
2. LLMNRResponder型のインスタンスを確保
3. 自機のIPアドレスが決まった後に↑のbeginメソッドに応答したい名前を渡す

• MUGI：暗号技術：日立
• 仕様書(PDF)

• 細かいところで問題がありそうな部分を修正しています。
• ライセンスを明確にしました(MITライセンス)。