Category: Linux

logデータの突き合わせプログラムを書けという自分への指令(4)

最初のバージョンでは，日付とコールサインとモードが一致するという条件にしました．レコードが完璧に抜け落ちていたのは，2QSOのみで，それがいずれもUR2FEO局です．全くの偶然か，そのコールサインだけひっかかるような原因があるか，当時のLog200からMySQLにexportするスクリプトは残っていないので，全く探りようがありません．

この段階で，レコードの不一致があったものは，293件です．全レコード数は，7万9千件ほどなので，0.37%です．先日発表された，東京の新コロナの抗体保有者とコンパラです😓

目だったレコードの不一致は，モードの不一致です．50MHz帯の交信のSSBとCWが入れ替わっていることが多いです．周波数からモードを自動的に決める機能が，50MHzではあだとなっています．交信相手からQSLカードをもらって，気づいて修正しているところが多いです．

MariaDB(かつてはMySQL)のデータは修正しますが，オリジナルのログデータは修正しないことにしているのでこの不整合が発生します．

考えてみれば，ログソフトからMariaDBに取り込むときの漏れを問題にしているので，モードの不一致はドントケアーとします（警告だけ出すようにします）．

その代わりに，時刻を±5分のマージンで絞ることにしました．この制限を付けても，全体の処理時間はほとんど変わりません．

そんな感じで何度か試行錯誤して練ってきたほぼ最終版を今走らせています．一度走らせると3時間待たないと結果が出ないので，試行錯誤のサイクルは長いです．

関連項目

MariaDBのデータをMacかCore i7のWSに移して，テストすればたぶん何倍か早くなると思いますが，慌てることはないので😓

RasPi Kernel 5.4.xに

Raspberry PiのKernelが，Kernel V4の最後のlongterm 4.19.xから，V5最初のlognterm 5.4.xになりました．弊serverも上げてみました．

Majorなバージョンが上がったといっても，longtermとして次の系列なだけなんですが^^;

Raspberry Pi用のKernelは，次の系列がリリースされると，前の系列をサポートしてくれなくなるので，やむを得ません．

いまのところ特段の問題や，気がついた点などはありません．

WSのKernelを5.6.7にしてみた

どういう経緯だったかすっかり忘れてしまったのですが，Core i7のWork Station(WS)のKernelは，最新安定版を追わずに，logtermの4.19.xにとどめていました．5.xのどれかにした時に，何か不都合があったはずなんです．

不都合があったにしても，それを忘れるくらい時間が経っているので，改善されたかもしれないと思い，最新版の5.6.7にしてみました．

起動して，FirefoxからBLOGに書き込むまでは問題ないようです．KVMも動いてます．

しばらく5.6.xを使って様子を見ることにします．

iTunesの音飛び事件

あいかわらず，iTunesで自分の音楽ライブラリーを古い曲から順に聞いています．昨日，Gloria Estephan & Miami Sound Machineの1-2-3を聞いていたら，途中で突然途切れて，次の曲に飛びました．電子音源の音飛びです😓

今日，思い出して，再現性を確認したら，2′ 34″のところで毎回飛びます．その少し後から再生すると最後まで演奏されるので，まさに，2′ 34″のところに傷があって飛ぶようです．

データ形式は，128kbpsのm4aです．手持ちのCDからiTunesでデジタイズしたはずです．

iTunes でなくて，Quick Time Playerで再生してみたところ，同じ場所で再生が止まってしまいます．何らかの原因で音源データが破損してしまったようです．タイムスタンプは同じ時にエンコードした前後の曲と同じですし，rsyncでも同じと判断されます．ですから，「内部的」に破損してしまったようです．

Time Machineで去年の11月のデータに戻してみましたが，同じです．

Time Machineの他にもいくつかバックアップがありますが，そのひとつのRaspberry Pi 4Bのサーバー上のバックアップからコピーし直したら，正常になりました．

内部的破損ということであれば，壊れたファイルの部分に別のファイルが書かれると，そのファイルも壊れる可能性があるので，壊れたファイルは改名してそのまま残しました．

追記（2020/03/21）

その後いろいろ調べてみましたが，セクター不良とかではないようで，1年くらい前のバックアップの同曲のファイルは既に皆壊れていました．

今回復元に使用したバックアップは，3年前まで使用していましたが，その後都合で使用を止めたものでした．

Catalinaは使用せず，引き続きMojaveを使っています．
差分バックアップではなく，rsyncで同期してました．

Linux distro要整理

結局，どの環境が使えるかということを評価するためにあちこちにLinux distroをインストールしてきましたが，現在実用的に使っているといえるのは，Raspberry Pi 4 Model Bで動かしているSlackware ARMのみです．

その他すぐ動かせる状況にあるのは，

Mac mini (2018 core i7) の仮想マシン

VMWare Fusionで動かしています．

  • Debian buster
  • Ubuntu (バージョン不明)

Core i7の実機(dual boot)

  • Slackware 14.2
  • Debian buster

上記実機のSlackware 14.2下の仮想マシン

自分でbuildしたKVMで動かしています．

  • Debian buster
  • Gentoo (32bit バージョン不明)
  • Ubuntu (バージョン不明)

となっています．他にもあまり使い物にならないMacbook内の仮想マシンや，ディスクイメージだけとってある仮想マシンがいくつかあります．

Update/upgradeだけで大変な手間と時間を要するので，当面はMac miniのDebianと，実機のDebianだけに絞っていこうと思います．

そもそも，Slackware下で動くDebianその他のdistroって意味あるんでしょうか．インストールした本人もわかりません😓

結果的にそれが唯一無二の目的だったこと多数😓
メインWSであるMac miniが非力だったので，Core i7で動くデスクトップ機下で仮想マシンを動かすことはパフォーマンス的に大きな意義があったと思われます．メインWSを更新した現在，必要性はないです．