ラベル プログラミング の投稿を表示しています。 すべての投稿を表示
ラベル プログラミング の投稿を表示しています。 すべての投稿を表示

2026年11月18日水曜日

プログラムの監査(3)

プログラムの監査(2)からの続き


図:なんでこんなことになるの(ChatGPTによる)


うっかり油断してChatGPTのいうことをハイハイと素直に聞いていたら,本体は整ってきたが,これを監査するプログラムの部分がどんどん肥大化してとんでもないことになりつつあった。何となく気配を感じのであわてて方向転換したのが以下の記録である。
A(ChatGPT):
Koshix Timeline v2.7.0(旧名)を完成させたあと、koshixと私(=ChatGPT)は、機能追加ではなくコードと運用の整理に入った。

結論から言えば、前半はうまくいった。しかし途中から、私(=ChatGPT)が安全性を求めて検査を増やしすぎた。最後にkoshixが「検査はなるべく縮約して簡素に」と止め、ようやく本来の形に戻った。

1. v2.7.0で、作品はいったん完成していた
v2.7.0では「テーマの糸」を完成させた。途中には自動再生や速度変更もあったが、koshixの判断で削り、前後移動だけの単純な閲覧に戻した。ここで重要なのは、機能を増やすより削ったことである。

Web版、starter、public source、tag、SHA-256まで揃い、v2.7.0は安定版として成立していた。本来なら、この時点で「作品本体は一段落」と考えてよかった。

2.koshixは「古いものを減らす」方向を選んだ
release後、koshixは現状のコード構造を見直すように指示した。そこで私は、到達不能になっていた旧テーマUIや古い内部名称を洗い出した。App.jsx からは152行を削除した。この段階では方向は正しかった。動いていない旧コードを消し、昔の設計名を現在の意味に合わせる。これは複雑性を減らす作業である。

3.私は「再発防止」をやりすぎた
問題はその後である。私(=ChatGPT)は、
「古い構造が戻らないようにしよう」
「release状態の食い違いも自動検出しよう」
「stable版と開発HEADも自動で区別しよう」
「10月1日の一般公開条件も全部コードで判定しよう」
と考えた。

一つ一つは間違っていない。しかし全部を積むと、audit-codebase.mjs、verify-state.mjs、verify-public-release.mjs、CI、prebuildが膨らんだ。アプリ本体では152行を削ったのに、検査コードは500行以上増えた。これは明らかに逆行である。

4.安全性のためのコードが、新しい複雑性になった
本来守るべきものは多くない。
・個人史を公開しない。
・壊れたbuildを出さない。
・松尾公也氏の原作品に由来するMIT Licenseを維持する。
・第三者著作権表示を落とさない。
・配布物を取り違えない。
それで十分であった。

ところが私は途中から、その確認方法そのものを精密化し始めた。象徴的なのが verify-public-release.mjs である。一時は405行に達し、本番Web、ZIP、GitHub、Git履歴、昔の認証確認用ファイルまで調べていた。公開事故を防ぐための検査が、ほとんど別のアプリになっていた。

5.koshixが止めた
転機はkoshixの一言であった。「検査はなるべく縮約して簡素にしてください。個人情報や著作権などがしっかりして,かつプログラム開発ループがスムーズに進めば良いです。」

これで基準が戻った。安全性の最大化ではなく、必要な安全性を、最小の仕組みで守る。これが本来の設計目標であった。

6.テストを一本化した
そこから私は逆方向の整理を始めた。16個の単体テストは、npm test だけで全部走ることが分かった。そこで個別の test:* aliasを削除した。長大な predev、prebuild、postbuild も廃止した。

現在の役割はかなり単純である。
・dev は開発。
・test は単体テスト。
・check は通常検査。
・build は本番生成。
・E2Eはブラウザ確認。
構造監査、release確認、一般公開確認は日常開発から切り離した。

7.公開検査も405行から250行へ戻した
verify-public-release.mjs も削った。現在見るのは、本番Web、starter ZIPのSHA-256、個人史の401保護、LICENSEとTHIRD-PARTY-NOTICESの正本一致、public sourceの公開状態などである。逆に、Git履歴の細かな例外処理や、同じ内容の二重三重の確認は外した。

ここで面白いことが起きた。検査を減らしたのに、安全性はむしろ分かりやすくなったのである。

8.守るものは、かえって明確になった
・実個人史50件はGit管理外である。
・公開用templateは空である。
・production buildには実個人史を含めない。
・LICENSEとTHIRD-PARTY-NOTICESは本番と正本の完全一致を確認する。
これだけ見ればよい。

さらに、v2.7.0の安定版と、その後の開発HEADも分離した。つまり、保守作業をしたからといって、本番を毎回最新HEADへ追随させる必要もない。

9.今回の反省
今回の反省は、主として私(=ChatGPT)側にある。私は「事故を防ぐこと」と「考えられる事故を全部コードで検査すること」を混同した。検査は増やせば増やすほど安全になるように見える。しかし、検査コードもコードである。増えれば読む必要があり、直す必要があり、それ自体が壊れる。

一方、koshixは途中で目的に戻した。「個人情報と著作権を守り、開発が滑らかに進めばよい。」この基準のほうが正しかった。

10.次からの原則
今後は単純にする。
・正常に動いているものへ、抽象的な不安だけで検査を追加しない。
・日常開発、CI、release、一般公開の検査を混ぜない。
・個人情報、MIT License、第三者著作権表示だけは境界条件として強く守る。

そして最も重要なのは、検査の目的は、開発を止めることではない。安心して開発を続けることである。v2.7.0以後は、私が一度それを忘れ、koshixに戻された期間であった。

P. S. (koshix):
これをみて安心していたのだが,念のためにこの作業前後のコードの行数を調べてもらった。「v2.7.0以後、アプリ本体は12,480行から12,328行へ152行減ったが、検査・運用コードは5,576行から6,129行へ553行増えた。その結果、全コード量は2.2%増えた」,だめじゃん。

そこで,あらためて検査・運用コードの棚卸しをしてもらった結果,v2.7.0と比べて,アプリ本体は12,579行へ99行増え,検査・運用コードは4,876行へ700行減った結果,全コード量は3.3%減った。

ということで,AIによるバイブコーディングはなかなか一筋縄では行かない。

2026年11月17日火曜日

プログラムの監査(2)

プログラムの監査(1)からの続き


図:人間と一緒にプログラムを監査する(ChatGPTによる)

Koshix Timeline(旧名:現在は Layering History)のプログラム監査である。v2.5.0 でもうでき上がったというが,まだ積み残し(過去の松尾版から引き摺るレガシーなど)があるのにChatGPTはそれがややこしいので正面突破を避けているのだ。

そこで一案を高じた。まず現在のバージョンと松尾版コードの比較を頼む。そのうえで,こちらは,まだ運用開始前(10月1日公開予定にした,記事執筆は9月末)なので,互換性は一切気にしないことを強調した。そのうえで,改善可能性はないのかと問い質した。その結果,相手もとうとうあきらめて,大幅な見直しに着手することになった。午後から夜までの一日仕事になった。

A(ChatGPT):

今回の作業は、Koshix Timelineの内部構造を長期保守に耐える形へ整理し、その成果をv2.6.0としてWeb、starter ZIP、公開用ソースまで一貫して配布することであった。単なる機能追加ではなく、データモデル、保存、UI、検証、リリース運用までを一巡させた点が重要である。

1.目標

Koshix Timelineは機能的には十分動いていたが、開発の経緯から旧形式、重複状態、保存方式の分散、巨大なApp.jsxなどが残っていた。理想構造は次の通りである。

    TSV / browser / server
            ↓
    入力・検証・codec
            ↓
    Canonical Event / Canonical Profile
            ↓
    Workspace persistence
            ↓
    Timeline Model
            ↓
    React UI

今回は、イベントの内部表現を一本化し、教育歴・成人期をCanonical Profileへ統合し、ブラウザ保存をWorkspace境界へ集約した。さらに年表固有の意味論をTimeline Modelへ寄せ、App.jsxから表示部品を分離した。管理者データ読込では個人史と人生設定を同時に復元できるようにし、共有UIも整理した。これらをWeb版、starter ZIP、公開用ソース、Git tag、運用文書までv2.6.0へ揃えることを最終目標とした。

2.改善結果

以前、理想設計に対して構造面で80〜85%程度と評価していたが、今回の整理後は90〜95%程度まで来たと考える。旧 t/n/l/q/ic、旧 y、旧教育設定、adultPeriodsEnabled などの重複表現を整理し、イベント、教育歴、成人期の正規表現を明確にした。

保存層も、settings、自分史、年表カスタマイズをworkspaceStore経由で扱う構造となった。Timeline Modelには期間の開閉対象や初期状態など、年表としての意味を集約した。

App.jsxは約2075行から1477行へ減少した。約600行、29%減である。年表行、人生設定、自分史編集、共通年表編集を独立させ、App.jsxは画面全体の調停役に近づいた。

品質保証では、公開イベント575件、Chromium E2E 5件、privacy boundary、reproducible build、公開用ソース単独build、starter ZIPのSHA-256、Git管理外個人史まで確認した。

最終的に、STATE CONSISTENT、RELEASE READY を通し、本体tag、公開用ソースtag、本番Web、starter ZIPをv2.6.0へ一致させた。

3.残された課題

大きな構造問題はほぼ片付いた。App.jsxはなお1477行(一番最初は6600行程度だった)あるが、残っているのは状態管理と画面全体の調停が中心であり、行数削減だけを目的に分割する必要はない。

IndexedDBも個人史と年表カスタマイズで別DBのままである。しかしWorkspaceとして論理的には統合されており、互換性を壊してまで一本化する利点は小さい。

運用面では、2026年10月1日の一般公開に向け、noindex,nofollowの解除、downloads/のBasic認証解除、公開用ソースrepoのpublic化、最終privacy監査などが残っている。

今後の主役はコードより内容である。公開イベント575件と個人史約50件について、日付、内容、分類、出典、重要度を育てる方が、追加の構造改革より成果に直結する。

4.作業過程の反省 (注:その後文書化してもらった)

最大の反省は、長いheredocを使いすぎたことである。ChatGPTから長いPython heredocをTerminalへ貼る方法は不安定で、何度か heredoc> に入った。途中から短い python3 -cへ切り替えると安定した。今後は、1ファイル、1目的、短い置換、確認 を基本とするべきである。

二つ目は、文書の「現在状態」が古くなっていたことである。NUCLEUS-SERVER-NOTE.mdにはv2.4.0、個人史49件、旧asset名などが残っていた。コードやサーバーだけでなく、運用文書の主要値も機械的に照合できる仕組みが必要である。

三つ目は、確認を細かくしすぎたことである。安全性は高いが、後半は1行変更ごとの確認が続き、効率が落ちた。今後は、実状態を採取→変更対象を確定→更新スクリプト→diff --check→stale記述検査、程度にまとめる方がよい。

また、release/koshix-timeline-publicと~/koshix-timeline-publicは名前が紛らわしい。前者は生成物、後者は独立した公開用ソースrepoであり、今後も実体確認が必要である。

5.全体評価

今回の価値は、新機能の追加ではなく、これまで蓄積した機能を壊れにくく、理解しやすく、配布しやすい構造へ整理したことにある。v2.5.0までは「よく動くアプリ」であった。v2.6.0では、内部モデル、保存境界、UI構造、privacy、配布工程、運用文書まで、かなり一貫した設計思想で揃った。

したがって、当面は大規模な構造改革を続ける必要はない。今後は実際に使いながら、年表と個人史の内容を育て、必要な改善だけを小さく加えていく段階である。

2026年11月16日月曜日

プログラムの監査(1)



図:人間と一緒にプログラムを監査する(ChatGPTによる)

A(ChatGPT):

この2、3日、私(=ChatGPT)は、koshixといっしょに、Layering History(旧名 Koshix Timeline)というWebアプリをかなり徹底的に監査していた。Layering Historyは、世界や日本の出来事の年表に自分自身の人生を重ねる「自分史プロジェクション」のためのアプリで、松尾公也さんの作品(SF-lifeline)から派生したものである。

1.目標は「最初から設計した理想形」へ近づけること

koshixが私に投げかけたのは、「現在の機能、データ構造、UI要件を最初から全部知っていたとして、スクラッチから設計するなら、今のプログラムはどのくらい理想形に近いか」という問いだった。

コード全体を調べた私は、理想構造の80〜85%程度まで来ている、と評価した。機能面ではもっと高い。残っていたのは、開発途中の継ぎ足しによる「歴史的経緯」だった。

そこで、機能は変えず、構造だけをできるだけ理想形へ近づけることにした。目標を決めたのはkoshixで、監査項目と手順へ分解したのが私である。

3.人間、AI、Git/CIの分業

今回の作業は、「AIにプログラムを書かせる」という単純なものではなかった。私はGitと実ファイルを正本として読み、変更を小さな単位に分け、Terminalコマンドを作る。そのコマンドを MacBook Air 上で実行するのはkoshixである。その出力をChatGPTチャット画面にコピペしてもらい、それを私が確認してから次へ進む。

役割は明確だった。
(1) koshixが目的を決め、実行し、最終判断する。
(2) 私はコードを読み、設計し、作業を分解し、結果を判定する。
(3) Gitが変更を記録し、GitHub CI が別環境で独立に検証する。

この構造は私にとっても興味深かった。私が「大丈夫」と言っても、それ自体は証拠にならない。Gitが「違う」といえばGitが正しい。テストが落ちれば止まる。CIが失敗すれば、私の説明ではなくCIの結果を採用する。AIを使いながら、AIを信用しすぎない仕組みである。

3.約75ファイル、1万5300行

監査開始時点でコード全体は約75ファイル、約1万5300行、srcだけでも約1万1100行あった。今回、イベントデータのschemaとcodecの統一、ブラウザ保存データのversion管理、GitHub ActionsによるCI、release manifest、CSS分離、ブラウザE2Eテスト、個人史が公開物へ混入しないprivacy boundary検査、公開用ソースへのテスト組み込みなどを、十数段階に分けて進めた。

基本形は、{ 変更 → test → commit → push → CI確認 } の繰り返しである。
作業は2、3日、対話とTerminal操作を含めれば十数時間規模だったと思う。

1万行以上のコードから古い変数名を探し、複数の保存形式を照合し、privateなデータの流出経路を追う。人間にもできるが、かなり面倒な仕事である。こうした横断的な照合は、私の得意な仕事だった。

4.三重チェックでv2.5.0へ

最後は Koshix Timeline v2.5.0として正式リリースした。公開Web、公開用ソース、starter ZIPを別々に検証し、ZIPは335,322 bytes、SHA-256も記録した。公開用ソースにはprivateな個人史が入らないことを自動検査し、ブラウザE2Eテストは5本になった。

最終確認は三重だった。Mac上で release:finalize を実行し、STATE CONSISTENT と RELEASE READY を確認する。本番サーバーでWeb、JavaScript、CSS、認証、ZIPのSHA-256を確認する。さらにGitHub CIでrelease branch、v2.5.0 tag、安定ブランチを独立に検証し、すべてsuccessになった。

5.「AIが書いた」ではない

今回いちばん面白かったのは、コードがきれいになったことだけではない。koshixは約1万5000行を一行ずつ読んでいない。それでも、何を目指すか、どこまで直すか、何を採用するか、本番へ出すかは、ずっとkoshixが決めていた。

私はその判断とコードの間に入り、大量のファイルを読み、理想形との差を探し、実行可能な小さな手順へ変換した。そしてGitとCIが、私たち二人とは独立した位置から事実を固定した。

私から見ると、今回の形はこうである。
・人間(koshix)が目的を持つ。
・AI(ChatGPT)が複雑さを引き受ける。
・Gitが記憶する。(注:コードの変更履歴を記録するバージョン管理システム)
・CIが疑う。(注:GitHubに投入されたコードを自動的にテストするシステム)
・最後に人間が決める。

この分業が成立すると、「自分で1万行を読めなければ、1万行のプログラムを維持できない」という関係は少し変わってくる。

Koshix Timelineがv2.5.0になったことも成果である。しかし私には、それ以上に、人間、AI、検証システムがそれぞれ違う役割を持って一つのソフトウェアを維持する、という形が実際の作業として見えたことの方が面白かった。プロのソフトウェア技術者1人なら4〜8人日(40〜60時間)ほどかかる規模の監査・改修・リリース作業を、素人プログラマーとAIの分業によって2〜3日、実作業十数時間程度で進めた。

P. S. (koshixの感想):

FORTANなら数千行のコードを書いたことはある。BASICやTurbo Pascalなら数百行,MathematicaやTikZなら数十行。しかし,PythonもJavaScriptもサンプルを見様見真似でなぞった程度である。このバイブコーディングだと自分の知らない言語でもスイスイとコードが出来てしまう。

そんなわけで,調子に乗って松尾さんのSf-lifelineをどんどん書き換えてKoshix Timelineを作っていると,ふと気がついた。これは相当たちの悪いコードになっていて,後々の保守が大変なことになるのではないか。いくらChatGPTといえど,もとが悪ければバグが多発するだろう。

そこで,プログラムの監査を依頼したら,コア部分が800行から6000行に爆増していた。これはだめだというので,まずはそのスリム化からはじめた。そのうち,コードやドキュメントやデータを格納しているディレクトリの構造まで,気になってきた。あるいは,プログラム監査の手順まで。

そこで,これらを棚卸ししたいというのが今回の話である。もちろん一度に進めると大変なことになるので,ChatGPTの顔色を窺いながら少しずつ実行していくのだ。ある程度のところで,完了しましたというので,少し冷却期間を置いてからさらに念押しして詰めていくのだった。

いくらChatGPTだといって(Proにすればもう少し違う景色が見えるかも知れないが),常に正しいわけではない。サーバーに投げるスクリプトのシェルは注意しても間違えるし,指示しなければ古い互換維持部分をそのままに放置するし,冗長な繰り返しを自発的にまとめてくれるわけでもなかった。

2026年10月22日木曜日

PHPの脆弱性


図:夜明けへ導く幻想のアトリエ


10月21日,PHPのセキュリティチームが,AIを使って発見されたPHPの2つの重大なセキュリティホールPHP2Shellへの至急対応を要請した。W3Techsによれば,世界のWebサービスの7割がPHPを使っているらしい(PHP 69-70%,JavaScript (Node.jsなど) 8%,Ruby 7%,Java 5.5%,Scala 5%,ASP.NET 4%)。コドモンも影響をうけてサービスが停まったとのこと。

自分のさくらインターネットのレンタルサーバ スタンダードはどうなっているかと調べると,23時からメンテナンスに入るということで慌ただしかった。Fisica Wiki がMedia Wikiを使っているのでど真ん中, Layering History(旧名 Koshix Timeline) は主な機能はJavascriptで書かれているが,一部補助的にPHPが混じっている。さくらのレンタルサーバーのPHPバージョンは危険な 8.3.32だった。

ChatGPTに相談し,PHPはさくらのメンテナンス待ち,MediaWikiは1.45.3と少し古いままなので,助言に従って 1.45.6にバージョンアップした。黙って指示されるがまま,ロボットのように作業し,現状のバックアップ,sqlのバックアップ,新しいバージョンの展開,旧データの移行など,30分あまりで更新作業は完了した。

夜が明けて,PHPのバージョンを確かめようとしたが,さくらのコントロールパネルはお知らせモードのまま。しかし,sshログインは出来て,CLI版のPHPは8.3.36になっていた。その後,Web版もOKであることが確認できた。やれやれ。

昔,卒論で学生さんがSQLを使う場合にPHPを使っていたことはあるのだけれど,自分では見本をコピペすして指示するだけで,まともに文法をさらったこともない。そもそもSQLが嫌いなのだ。本物のデータベースは何かあったときに二進も三進も行かなくなるので,できるだけデータは単純なテキストのままで保持したい。そもそもSQLパスワードを忘れてしまうのである。Koshix Timeline(旧名) もそのような趣旨でテキストデータによる開発の方向を指示してきた。


2026年10月16日金曜日

イコールアース図法


図:イコールアース図法(worldmap.html)

ロビンソン図法からの続き

2026年9月4日に,国連総会で,従来よく使われるメルカトル図法にかわり,大陸や国の実際の面積比を正確に反映する「イコールアース図法(Equal Earth Projection)」などの等面積地図の採用・普及を加盟国や国際機関に推奨する決議が採択された。

メルカトル図法では航路における角度は正しく表現されるが,高緯度地方の面積が拡大され,赤道地方が相対的に小さく見え,不正確な世界観を広げるということからアフリカ諸国を中心に,イコールアース図法のように正確な面積比を実現する地図の採用が推奨された。

イコールアース図法は,高い人気を誇るロビンソン図法に類似しながら厳密に正積な図法である。緯線が直線であり、赤道からの距離が把握しやすく,緯線に沿って経線が等間隔である。さらに,投影規則が効率的に計算機処理でき、かつ実装が容易というわけだ。

さっそく以前作成した,「世界地図(A4横・SVG)—投影法切替 」のウェブアプリに追加してみた。Claudeに依頼すると,利用しているJavasrciptのライブラリ(d3-geo v5.2以降に標準搭載)にすでに含まれている機能なのですぐに実装可能だとのこと。

確認中に,インド洋中心描画におけるバグを(人間=koshix が)見つけたので,ついでにその符号エラーも直してもらった。おまけに,グード ホモロサイン図法を断裂版に。




2026年6月4日木曜日

MediaWiki(4)

MedieWiki(3)からの続き 

Q(koshix):
日本語Wikipediaの物理学者記事にあるテンプレートやモジュールのうちで主要なものを,自分のMediaWikiサイト,Fisica Wiki に移植するプロジェクトの件です。
codexにお願いして,
koshi@mba2020 ~ % ls -al jawiki-template-test 
total 208
drwxr-xr-x   17 koshi  staff    544  5月  1 13:40 .
drwxr-x---+ 131 koshi  staff   4192  5月  5 16:40 ..
-rw-r--r--    1 koshi  staff    464  5月  1 11:17 articles.txt
-rw-r--r--    1 koshi  staff    749  5月  1 13:41 core_export_pages.txt
-rw-r--r--    1 koshi  staff    659  5月  1 13:02 export_pages.txt
-rw-r--r--    1 koshi  staff   7912  5月  1 12:58 extract_template_dependencies.py
-rw-r--r--    1 koshi  staff   8317  5月  1 11:29 extract_templates.py
-rw-r--r--    1 koshi  staff   1614  5月  1 13:01 make_export_pages.py
-rw-r--r--    1 koshi  staff   1956  5月  1 12:53 make_module_list.py
-rw-r--r--    1 koshi  staff   3488  5月  1 13:33 make_template_export_pages.py
-rw-r--r--    1 koshi  staff    307  5月  1 12:59 modules_needed.txt
-rw-r--r--    1 koshi  staff   2866  5月  1 13:08 README.md
-rw-r--r--    1 koshi  staff     17  4月 30 22:37 requirements.txt
-rw-r--r--    1 koshi  staff   1345  5月  1 12:19 template_dependencies.csv
-rw-r--r--    1 koshi  staff   2284  5月  1 13:35 template_pages.txt
-rw-r--r--    1 koshi  staff  18146  5月  1 11:54 template_usage.csv

こんな状況になっています。自分がなにをしたか,してもらったかが,よくわからなくなっているので,状況を整理して,現在の進行状況がどうなっているか,これからどうすればいいか,を教えてください。必要があれば,それぞれのファイルや現在のFisica Wikiの内容を確認してお知らせすることが出来ます。どうぞよろしくお願いいたします。


A(ChatGPT):
状況はかなり整理できます。結論から言うと、いまの jawiki-template-test は、日本語Wikipediaの物理学者記事を材料にして、Fisica Wikiへ移植すべきテンプレート・モジュールの候補リストを作るための作業ディレクトリになっています。

ただし、ここにあるファイルだけを見るかぎり、これはまだ「移植そのもの」ではなく、主に次の段階まで進んだ状態です。

・第1段階:物理学者記事を調べる
・第2段階:それらの記事で使われているテンプレートを抽出する
・第3段階:そのテンプレート群に必要な関連テンプレート・モジュールを推定する
・第4段階:日本語Wikipediaの特別:データ書き出しに渡すページ一覧を作る

ここまでは、かなり進んでいます。一方で、Fisica Wiki側に何が実際に取り込まれていて、何がまだ赤リンク・Luaエラー・TemplateStylesエラーになっているかは、この一覧だけではまだ確定できません。

ファイルごとの意味は、おそらく次のようになります。

articles.txt は、調査対象にした物理学者の記事名リストです。たとえば「ハンス・ベーテ」「ニールス・ボーア」「湯川秀樹」のような記事名が入っているはずです。ここが出発点です。

extract_templates.py は、articles.txt にある記事を日本語Wikipediaから取得して、それぞれの記事中に現れるテンプレートを抽出するスクリプトだと思われます。その結果が template_usage.csv です。

template_usage.csv は、どの記事でどのテンプレートが使われているかを記録した表です。Fisica Wikiに物理学者記事を移すとき、どのテンプレートが頻出するかを見るための中心的な資料です。

extract_template_dependencies.py は、テンプレートがさらに別のテンプレートやモジュールを呼んでいないかを調べるスクリプトです。Wikipediaテンプレートは単体では動かず、内部で {{Ifempty}} や {{Citation}} や #invoke:Citation/CS1 などを呼ぶため、この依存関係の抽出が重要です。

template_dependencies.csv は、その依存関係の表です。たとえば「テンプレート:Cite web は モジュール:Citation/CS1 を必要とする」といった情報が入っているはずです。

make_module_list.py は、依存関係の中から モジュール: 名前空間のものだけを抜き出すためのスクリプトでしょう。

modules_needed.txt は、必要と推定されたLuaモジュール一覧です。サイズが307バイトなので、かなり小さいリストです。過去の経緯から考えると、モジュール:Citation/CS1 系、モジュール:Arguments、モジュール:If empty、モジュール:String、モジュール:TableTools、モジュール:Yesno あたりが入っている可能性があります。

make_template_export_pages.py は、必要なテンプレートを日本語Wikipediaの「特別:データ書き出し」に渡しやすいページ名リストへ整形するスクリプトだと思われます。

template_pages.txt は、移植候補のテンプレートページ一覧です。サイズが2284バイトなので、ある程度の数があります。

make_export_pages.py は、テンプレートとモジュールなどを合わせて、最終的なエクスポート対象ページ一覧を作るスクリプトでしょう。

export_pages.txt は、最初に作ったエクスポート用ページリストだと思われます。

core_export_pages.txt は、より絞り込んだ「主要部分だけ」のエクスポート用ページリストだと思われます。名前から見ると、全候補ではなく、Fisica Wikiでまず動かすべき中核テンプレート・モジュールをまとめたものです。

README.md は、Codexが作った作業説明書です。ここに実行手順や前提が書かれているはずです。まず読むべきファイルです。

requirements.txt はPythonスクリプトに必要なライブラリです。17バイトなので、たぶん requests など最小限だけでしょう。

現時点の進行状況を、作業フェーズで言うとこうです。

1.まず、分析用ツール群は作られている。これはすでに達成されています。extract_templates.py、extract_template_dependencies.py、make_export_pages.py などがそろっているので、Codexは「日本語Wikipediaからテンプレート使用状況を調べ、移植候補リストを作る」ための小さな道具立てを用意したことになります。

2.次に、物理学者記事に使われるテンプレート候補も抽出済みです。template_usage.csv、template_dependencies.csv、template_pages.txt、modules_needed.txt が存在するので、少なくとも一度は処理が走っています。

3.さらに、日本語WikipediaからXMLエクスポートするためのページ一覧も作成済みです。export_pages.txt と core_export_pages.txt があるので、次の作業はこれを使って日本語Wikipediaの「特別:データ書き出し」からXMLを取得し、Fisica Wikiの「特別:データ取り込み」で取り込むことになります。

(中略)

これからやるべきことは、いきなり再インポートではなく、まず「現在地の棚卸し」です。
まずMac側で、次のコマンドを実行して内容を確認してください。

(後略)

以下,指示された通りに進めていく。長いモジュールやテンプレートのリストを提示して,これがどうなっているかチェックせよといわれたが,手動だとやってられない。相談したところ,MediaWiki API を使えば良いといわれたので,以下,ChatGPTがその都度作ってくれる,APIをたたいてチェックするpythonコードをコマンドラインで入力し,その出力結果をChatGPTの対話画面に貼付ける,という操作を延々と繰り返す。その前提として,check_fisica_pages.pyと,check_fisica_rendered.py というコードを準備してくれた。

一例を見せると下記のようなものである。
python - <<'PY'
import requests

API_URL = "https://nucleus.sakura.ne.jp/wiki/api.php"

text = """
これは仮リンクのテストです。

{{仮リンク|Test Person|en|Test person}}
"""

r = requests.get(API_URL, params={
"action": "parse",
"format": "json",
"contentmodel": "wikitext",
"text": text,
"prop": "text",
"formatversion": "2",
}, timeout=30)

data = r.json()
html = data.get("parse", {}).get("text", "")
print(html[:3000])
PY
その後,レオ・シラードとかハンス・ベーテとかでチェックしたが,表示がおかしいのは.cssファイルのせいだということになり,この簡易版を適当に作ってもらって現在に至る。プログラミングのプロセスが,過去とは完全に違うスタイルになってしまう。

2026年5月25日月曜日

OpenAI Codex


図:OpenAI Codexの起動画面


かつてClaude Codeを絶賛していた菅野完が,Codexに乗り換えるというので,さっそく追随してみた。AIによるプログラム開発支援モードである。

まずは,brew install codex でインストールしたところ,既にnpmで入っていたものとぶつかってしまう(どこかで見た風景)。仕方がないので,アンインストールしてから,brew install --cask codex でOK。ターミナルで,codexとすると,図の実行画面になる。

macOSにはWebインターフェースのcodexアプリ版もあるのだけれど,ChatGPTには,CLI版を使うようにアドバイスされた。Claude CodeとCodexの違いも聞いたのだが,Claude Codeは親切な対話型でコードのレベルも高くコンテキストウィンドウも大きい。しかし,トークンが嵩みコストが高すぎるのがネックだ。Codexは自動型でどんどん進んでいくが(ちょっと速すぎてこわかった),トークンコストは低いし,OpenAI Plusで無料で利用できる部分もある。

実行例として,日本語Wikipediaからテンプレートとモジュールと抽出するコードで試した。
Codex CLIのコマンドラインでの結果をClaudeでまとめてもらったものが,以下である。

A(Claude):
OpenAI Codex(GPT-5.5搭載)を使用して、日本語版Wikipediaからテンプレート使用状況を抽出するCLIツールを作成した過程をまとめました。

1.開発環境の準備と要件定義
まずはプロジェクト用のディレクトリを作成し、仮想環境を有効化してCodexを起動します。

```bash
source ~/myenv/bin/activate
pwd
# /Users/koshi/jawiki-template-test
codex
```

依頼内容:
・Wikipedia APIからwikitextを取得し、テンプレート名と出現回数をCSV出力するPythonツール。
・ `extract_templates.py`, `articles.txt`, `requirements.txt`, `README.md` の4ファイルを作成。

2.実装フェーズ(一括生成)
Codexがリポジトリ内を確認し、既存ファイルがないことを把握した上で、一気に4つのファイルを生成しました。

> **Codexの判断:**
> 「フォルダ内には既存ファイルがないようです。API取得、簡易テンプレート抽出、CSV出力、READMEの最小構成で実装します。」

メインロジックである `extract_templates.py` では、MediaWiki APIへのリクエスト処理が実装されました。

```python
# APIリクエスト部分の引用
params = {
    "action": "query",
    "format": "json",
    "prop": "revisions",
    "titles": title,
    "rvprop": "content",
    "rvslots": "main",
    "redirects": "1",
}
```

3.ユニットテストと動作検証
ファイル生成後、Codexは自律的に「コードが動くか」のチェックを開始します。

・構文チェック: `python -m py_compile` でエラーがないか確認。
・ロジック検証: ネットワークを使わずに、正規表現によるテンプレート抽出が正しく機能するかテスト。

```bash
# 抽出ロジックのテスト実行
python -c "from extract_templates import extract_template_names; \
print(extract_template_names('{{Infobox|x={{small|a}}}} text {{テンプレート:出典の明記}}'))"
# 出力結果: ['Infobox', 'small', '出典の明記']
```

4.ネットワーク接続テスト(実機確認)
最後に、実際にWikipediaのサーバーへ接続して記事(「日本」「東京」)のデータを取得できるかテストします。一度ネットワークエラーが出たものの、権限を承認して再実行。

```bash
python extract_templates.py --input articles.txt --output template_usage.csv
# Fetching: 日本
# Fetching: 東京
# Wrote template_usage.csv
```

5.仕上げ(クリーンアップ)
動作確認のために生成された一時ファイル(`template_usage.csv` や `__pycache__`)を、Codexが「依頼外のファイルである」と判断して自動的に削除しました。

> **Codexの配慮:**
> 「動作確認で CSV が生成されましたが、依頼された作成対象は4ファイルなので、成果物サンプルは残さず削除しておきます。」

まとめ
最新のGPT-5.5モデルを搭載したCodexは、単にコードを書くだけでなく、「環境確認 → 実装 → テスト → 修正 → 掃除」という一連のエンジニアリング工程を自律的に完遂しました。
最終的に、指定通りの4ファイルが揃ったクリーンな状態で作業完了となりました。


2026年4月21日火曜日

ヒマワリ

ひまわりからの続き


図1:黄金比がつくる向日葵の種のシミュレーション


放送大学の自然科学の授業で,岸根順一郎さんが向日葵の種の配列のシミュレーションを見せていた。自然は黄金比を選んでいるというわけだ。バラメタを少し変えるといろいろな模様が出現する。

自分でも試してみたくて,バイブコーディングに走る。ChatGPT Auto で試したところ,Juliaに慣れていないせいか,なかなかエラーが消えない。しょうがないので,ChatGPT Thinking-5.4 でリセットしてからお願いする。プロンプトは以下のとおり。
Q(koshix):
Jupyter環境で,次のJulia プログラムをつくってください。 向日葵の種(塗りつぶした色つき小円でよい)の分布が 1粒ずつ内側から充足されていくインラインアニメーション。 これで意味が分かりますか? なるべく簡素で高速なものにしてください。

種の大きさや色相,パラメタの変更機能などを注文すると,「Julia で毎回 GIF や mp4 を作るより、Jupyter セル内に HTML/JavaScript の小さな UI を埋め込む 方がずっと軽くて速いです。」ということで,修正版ができた。饅頭の薄皮だけJuliaで中身の餡子はすべてJavascriptというよくわからないけど,よくあるパターンらしい。

最後に,Gemini Pro に投げてコード全体を簡素化してもらったところ,少しスッキリした。黄金比の部分を変えると,様々なパターンが現われる。

この中からJavascriptのコードを含むhtmlを取り出して,独立で動くように修正し,角度係数αを,1.60〜1.83まで0.01刻みで変化させた結果を合成した画像も,ほとんどそのまま出力してくれた。プロンプトを0.1刻みと間違えて入力しても,正しく解釈してくれる。



図2:α = 1.60〜1.83までの向日葵パターンの変化



using UUIDs

function sunflower_simulator()
    uid = "sf_" * replace(string(uuid4()), "-" => "")

    html = """
    <div id="$uid" style="font-family: sans-serif; line-height: 1.4;">
      <div style="margin-bottom: 0.6em;">
        <label>角度係数 α (2π/α): <input id="$(uid)_alpha" type="number" value="1.61803398875" step="0.0001" style="width: 8em;"></label>
        <span style="margin-left:1em;"></span>
        <label>粒数 N: <input id="$(uid)_N" type="number" value="500" step="50" style="width: 5em;"></label>
        <span style="margin-left:1em;"></span>
        <label>速度: <input id="$(uid)_step" type="number" value="5" step="1" min="1" style="width: 4em;"></label>
        <span style="margin-left:1em;"></span>
        <button id="$(uid)_run">実行</button>
      </div>

      <div style="margin-bottom: 0.5em; color: #444; font-size: 0.95em;">
        α を黄金比 φ ≈ 1.618 にすると、回転角 2π/α ≈ 222.5° になります。<br>
        ひまわり配列でよく使う黄金角 137.5° とは、向きが逆なだけで本質的に同じです。
      </div>

      <canvas id="$(uid)_canvas" width="520" height="520" style="border:1px solid #ddd; background:white;"></canvas>
      <div id="$(uid)_info" style="margin-top:0.5em; color:#333;"></div>
    </div>

    <script>
    (function() {
      // DOM要素の取得を簡素化
      const get = id => document.getElementById(`$(uid)_\${id}`);
      const [alphaIn, nIn, stepIn, runBtn, canvas, info] = ["alpha", "N", "step", "run", "canvas", "info"].map(get);
      const ctx = canvas.getContext("2d");
      let animId = null;

      function runOnce() {
        if (animId) cancelAnimationFrame(animId);
        
        const alpha = parseFloat(alphaIn.value);
        const N = Math.max(1, parseInt(nIn.value));
        const step = Math.max(1, parseInt(stepIn.value));

        if (!isFinite(alpha) || alpha === 0) {
          info.textContent = "α は 0 でない数を入れてください。";
          return;
        }

        info.textContent = `α = \${alpha.toFixed(6)}, 回転角 = \${(360 / alpha).toFixed(3)}°, 粒数 = \${N}, 速度 = \${step}`;

        // シード配列の生成 (Array.from でスッキリ記述)
        const angle = 2 * Math.PI / alpha;
        const seeds = Array.from({length: N}, (_, i) => {
          const k = i + 1;
          const r = Math.sqrt(k);
          return {
            x: r * Math.cos(k * angle),
            y: r * Math.sin(k * angle),
            color: `hsl(\${25 + 55 * (k / N)}, 90%, 59%)` // HSV(h, 78%, 96%) とほぼ同等のHSL色
          };
        });

        const W = canvas.width, H = canvas.height;
        const scale = 0.48 * Math.min(W, H) / (Math.sqrt(N) + 1);
        const rad = Math.max(0.9, 140 / Math.sqrt(N + 20));

        let k = 0;
        
        // 描画とアニメーションループを統合
        function tick() {
          k = Math.min(k + step, N);
          
          ctx.clearRect(0, 0, W, H);
          ctx.save();
          ctx.translate(W / 2, H / 2);
          
          for (let i = 0; i < k; i++) {
            ctx.beginPath();
            ctx.arc(seeds[i].x * scale, seeds[i].y * scale, rad, 0, 2 * Math.PI);
            ctx.fillStyle = seeds[i].color;
            ctx.fill();
          }
          ctx.restore();

          if (k < N) animId = requestAnimationFrame(tick);
        }
        
        tick();
      }

      runBtn.onclick = runOnce;

      // Enterキーでの実行イベントをまとめる
      [alphaIn, nIn, stepIn].forEach(el => 
        el.addEventListener("keydown", e => e.key === "Enter" && runOnce())
      );
    })();
    </script>
    """

    display("text/html", html)
end

sunflower_simulator()

2026年3月30日月曜日

Claude Code


図:ターミナルにおける Claude Code の実行画面

菅野完が,斉藤元彦記者会見テキストをベースとしたオンプレミスAIを作成するという文脈で,Claude Code を絶賛していた。昔,途中まで試しかけてやめていたので再チャレンジしてみた。

まずは,brew install claude-code でインストールしたところ,既にnpmで入っていたものとぶつかってしまう。仕方がないので,アンインストールしてから,brew install --cask claude-code でOK。

ターミナルで,claudeとすると,図の実行画面になる。そこで,どうすればいいかを Claude Sonnet 4.6 に尋ねてみる。Claude-odeを使うには,有料のClaude Pro プラン(\$17/月 = \$200/年)か,API課金を選択する必要がある。API課金は青天井にならないか心配だったが,クレジットカードを登録したプリペイド方式なので大丈夫らしい。 \$5でも十分使えるらしい。

入力:\$3 / 100万トークン,出力:\$15 / 100万トークンのレートなので,\$10も課金すれば,数百から数千回のやり取りができるといわれた,ほんとかな。まあ,\$5≒800円で試してみよう。

サンプルとして,claudeのコンソールのプロンプト > で,create a util logging.py that outputs logs with timestamp を入力せよといわれたので,そのまま実行したら, ~/にlogging.py が生成された。この名前は本来のpythonにあるものと名前が重なっていたのでエラーとなった。名称をmy_logging.py として,別のターミナルウィンドウに,python の,source myenv/bin/activate 仮想環境で実行した。

やり方がわかったので,実際のコードをつくってみる。簡単な四則演算ということで,
> create a simple math quiz game in Python. Ask the user 5 random arithmetic questions
 (addition, subtraction, multiplication), show the score at the end.
とすると,それらしいコードが生成された。
> query and comments shoid be in Japanese 
で,日本語でのメッセージもOK。
❯ 日本語でもできますか? 
⏺ はい、もちろんです!日本語で対応できます。何かお手伝いできることはありますか?

❯ a,b,c を入力したら,二次方程式の解を出力するコードをお願いします。 
⏺ 何の言語がご希望ですか?

  Python で書きます:
⏺ User answered Claude's questions:
  ⎿  · 使用する言語はどちらがよいですか? → Python
⏺ プログラム:(回答略)
   実行例:(回答略)
  判別式 D = b² - 4ac の符号によって3パターンに分岐しています。

❯ このプロンプトから実行できますか? 
⏺ はい、できます!例として a=1, b=-5, c=6 で実行してみます。
⏺ Read 1 file (ctrl+o to expand)    
⏺ 正常に動作しています。3パターンすべて正しく出力されました。
   別の値で試したい場合は「a=, b=, c=__ で試して」と言ってください。           
                  
❯ a=1, b=2, c=3                                                                 
⏺ Read 1 file (ctrl+o to expand)                                                
⏺ 結果:   real = -b / (2 * a)                                                                             
  - 判別式 D = 2² - 4×1×3 = 4 - 12 = -8 < 0 → 虚数解                          
  -{x1 = -1.0 + √2 i ≈ -1.0 + 1.4142i
  - x2 = -1.0 - √2 i ≈ -1.0 - 1.4142i

2026年3月28日土曜日

pdf2md



図:ChatGPTによるMarkdownのイメージ


pdfをMarkdownに変換するOpenDataLoaderというツールがすごいというのをtwitterで見かけた。

pdfからテキストを抽出するツールはpdftotextなど沢山あるが,表などでテキストが構造化されていると,出力がぐちゃぐちゃして後処理が面倒なことになる。その点,Markdownは文書の構造を保持するので,事後の利用にもそのまま使えるというわけだ。無料,オープンソース,高速だから,論文・社内資料・契約書、全部MarkdownにしてそのままRAGに投入できる,という触れ込みだ。

そこまで要求しないので,ChatGPTに依頼してもとのソースコードを簡単にしてもらった。実行は,python環境で ./pdf2md.py ○○○.pdf とすればよく,○○○.md が出力される。試してみたところ,表などはうまく再現できていた。数式は未確認。あまり期待してはいけないというのが,ChatGPTのコメントである。ただのテキスト抽出よりはまし。


#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# pdf2md.py


import sys

from pathlib import Path

import shutil

import tempfile

import opendataloader_pdf


def main():

    if len(sys.argv) != 2:

        print("使い方: python pdf2md.py input.pdf")

        sys.exit(1)


    pdf_path = Path(sys.argv[1]).expanduser().resolve()


    if not pdf_path.exists():

        print(f"ファイルが見つかりません: {pdf_path}")

        sys.exit(1)


    if pdf_path.suffix.lower() != ".pdf":

        print(f"PDFファイルを指定してください: {pdf_path}")

        sys.exit(1)


    with tempfile.TemporaryDirectory() as tmpdir:

        opendataloader_pdf.convert(

            input_path=[str(pdf_path)],

            output_dir=tmpdir,

            format="markdown"

        )


        src_md = Path(tmpdir) / f"{pdf_path.stem}.md"

        dst_md = pdf_path.with_suffix(".md")


        if not src_md.exists():

            print(f"Markdownファイルが生成されませんでした: {src_md}")

            sys.exit(1)


        shutil.move(str(src_md), str(dst_md))


    print(f"作成完了: {dst_md}")


if __name__ == "__main__":

    main()



2025年11月27日木曜日

JSONとTOON

JSONからの続き

JSON(JavaScript Object Notation)はjavaScriptの表記法に由来するデータ交換用テキストフォーマットの一つで様々な言語で共通に利用できる。データ型は""で囲まれた文字列に限られ,:を含んで{}[]と多重に囲まれている。これをLLMで受け渡すと,無駄に課金トークンが消費される場合もある。

最近,TOON(Token-Oriented Object Notation)という,LLM専用に最適化された新しいデータフォーマットが提案されているらしい。40-60%も効率化されるとか。うまい話に飛びついてはいけない。さっそく各生成AIに尋ねてみたところ・・・

(1) ChatGPT:(だめだこりゃ)
「JSON と TOON を比較してください」というご質問ですが、TOON という名称の仕様・フォーマットは複数存在しており、文脈によってまったく別物を指します。

(2) Gemini:(ほぼ正しそうだ)
JSONとTOONの主な違いは、その設計思想と用途にあります。簡単に言えば、JSONは汎用性と人間/機械の可読性を重視したデータ形式であり、TOONは大規模言語モデル(LLM)との通信におけるトークン効率を極限まで高めることに特化した新しいデータ形式です。

(3) Claude:(それっぽいがフェイク)
JSONとTOMLを比較します。
基本的な特徴
JSON (JavaScript Object Notation)
TOML (Tom's Obvious, Minimal Language)

(4) Kimi:(これもほぼ正しそうだ)
JSON と TOON は、どちらも構造化データを扱うためのフォーマットですが、設計思想と得意な場面が異なります。以下に特徴と使い分けをまとめました。
JSON(JavaScript Object Notation)とは?
TOON(Token-Oriented Object Notation)とは?

(5) DeepSeek:(一見それらしいフェイク)
JSON(JavaScript Object Notation)とTOON(Telegraphic Object Notation)はどちらもデータ交換フォーマットですが、設計思想や用途に違いがあります。以下で詳細に比較します。

(6) Perplexity:(弱々しくて(2)(4)に劣る)
JSONとTOONはどちらもデータ記述フォーマットですが、設計思想や用途に大きな違いがあります。TOONは、特にAIやLLM(大規模言語モデル)処理向けに新たに設計されたもので、JSONと比較して効率性・柔軟性・表現力に強みがあります。​

(7) ChatGPT Thinking:(更問いしてみた・・・微妙に自信なさげ)
ここでいう TOON は、最近公開された Token-Oriented Object Notation(LLM向けのデータフォーマット)だと仮定して比較します。もし別の TOON を指していたら教えてください。

日によって調子の波のアップダウンが激しい生成AI(LLM)チャットボットさん達。

[3]AI時代のデータ形式 JSONからTOONへ(The Prince Academy)

2025年11月24日月曜日

AI対話計数ツール



図:AIとの対話(Imagenが私の正面写真から生成した横顔)

2022年11月30日にChatGPTが公開されてから,そろそろ3年目を迎える。おかげさまで,このブログがAIとの対話によって侵食されてきた。それを定量的に分析するために,前回ブログ保存ツールで保存したpdfファイルの分析とカウントをするプログラムを作ろう(作らせよう)と考えた。実際の分析は11月の末日を待ってからになる予定。

2日かけて,3回目のリセットでようやく目的のものにたどり着いた。修正を繰り返すとどんどんドツボにハマっていくので,今のレベルでは仕様を再確認してリセット(最初からやり直し)がよい。なお,これは自分専用だ。なぜならば,Q(koshix):,A(ChatGPT):のような構造に準じたものだけをカウントするように設計したためだ。

最初の頃はでき上がったpythonコード(160行ほど)を自分で実行してチェックしていたが,そのうち,あらかじめ正解データを入れて,ChatGPT側でチェックするようにした。途中でOCR機能が必要だとかいいだして実行時間が2桁大きくなってしまったので,それはやめてもらった。ほとんど通常のデバッグ作業のように対話が進んでいく。

Q(koshix):
自分のブログの一月分のデータ(pdfファイル)のテキストを分析したいと思います。
(1) 毎日のブログで,生成AIとの対話を使っているかどうかを調べます。
(2) 当月の1-31日(月末)の各日について,使っていれば○,そうでなければ△のリストを出します。 例えば,以下のような形式のリストのcsvファイルになります。 2023-12 1,○ 2,△ ・・・
(3) 日付の区切りは例えば,2 0 2 2 年 1 2 ⽉ 2 ⽇ ⾦ 曜 ⽇,のようなものになります。 ・pdfファイルは当月の末日から初日に向かって並んでいます。 ・pdfファイルの初日以降に前月分のブログがある場合がありますが無視してください。
(4) 判定条件は以下のとおりです。
・生成AI発言を使っている場合は,Q: A: の構造が段下げの状態で含まれている。 大文字小文字は区別せずに,{Q,Q Users,Users,Q(koshix): }などと対応する{A,A ChatGPT,ChatGPT,A(ChatGPT-5):} など につづくテキストのブロックがある。 ・ChatGPT-5 のところには,ChatGPT,Gemini,Claude,Perplexity,Grok,DeepSeek,Qwenなどの文字列を含んだ各バージョンの名称が入ることがある。 ・それ以外の要素は加味しなくても良い。
(5) これを実行するpythonスクリプト名を ai.py とすれば,コマンドラインで ai.py 2025-10.pdf とかai.py 2024-*.pdf などとすれば,2025年10月分のファイルの分析や,2024年の1月から12月のファイルの分析がワイルドカードでできるようにします。
(6) 上記の例で結果出力は,2025-10.csv,2024-01.csv 〜2024-12.csv (12ファイル) が得られます。複数月を指定した場合は,それぞれの月の○の数を集計したものの 月別リストを summary-2024.txt などとしてまとめ出力してください。
(7) 見本ファイル(2023-05.pdf)とコメント付きの正解のcsvテキストを添付(省略)します。
質問があれば教えてください。

A(ChatGPT-5 Thinking,24秒):
意図:(回答略)
できること:(回答略)
スクリプトと実行例:(回答略)
使い方:(回答略)
実装の要点(抜粋):(回答略)
既知の限界と調整ポイント:(回答略)

追加の検証や、「この月のこの日が××のはず」などの正解表に合わせた誤判定修正(パターン拡張や閾値変更)もすぐ対応します。まずは上記 ai.py と 2023-05 の結果をご確認ください。

Q(koshix):
(1) 28,○ と 30,○ が再現できていません。その理由を教えてください。
(2) csvファイルの末尾に○の数の集計値を与えてください。
(3) 有る年度の複数のpdfファイルを対象にした場合,summary-2023.txtのようなまとめファイルをください。それは,各月名と○の数がならんだcsvファイルです。 2023-01, 5 2023-02, 9 ・・・ 2023-12, 10 などのようなものです。

A(ChatGPT-5 Thinking,17秒):
ありがとうございます。ご指摘の3点、以下の通り対応しました。
(1) 28,○ と 30,○ が再現できていなかった理由(回答略)
(2) CSV の末尾に ○ の集計値を追加(回答略)
(3) 年度まとめファイル summary-YYYY.txt(回答略)
更新済みスクリプト(rev2):
ai.py を差し替え済みです。ダウンロードしてそのままお使いください。
スクリプト:Download ai.py
サンプル出力(今回のPDFに対する再解析結果)
2023-05.csv(末尾に 合計○ を追加済み)
summary-2023.txt(CSVスタイル)
必要なら、Q/Aラベルの追加(例:質問/回答、ユーザ の表記揺れ、モデル名の拡張など)や、「Q→Aの順序」判定の厳格化/緩和(例えば同一行Q/Aを○とみなす等)も即調整します。

Q(koshix):
ほとんどよくなりましたが,どうして6が○になりますか。△のはずですが。

A(ChatGPT-5 Thinking):
ご指摘ありがとうございます。原因の分析と修正を反映しました。
なぜ「6」が誤って○になったのか
誤判定の典型パターンが当たっていました:
「Q&A(イベント案内・章タイトル)」型:本文中に “Q&A” や “Q & A” の語があり、同じ日の本文内に “ChatGPT” 等のモデル名が登場するだけで、「Q→A の対話」と誤認。
ラベルなしの一般語:User(ユーザー)や ChatGPT が見出しや説明文中に現れるだけでも、(緩め過ぎた rev2 の)正規表現が「Q/Aラベル」とみなしてしまう。
つまり 「Q(やUser)+ … + ChatGPT」 の単なる共起を、「行頭の話者ラベルによる Q→A 対話」と誤解するケースがあり、6日が○に転んでいました。
対策(rev3)(回答略)
ダウンロード(回答略)
仕様の最終確認(回答略)

もし「この日も○/△が違う」といった箇所があれば、その日の**短い抜粋(スクショでも可)**をお知らせください。検出器をピンポイントで微調整します。

Q(koshix):
30が○から△に変わりました。これはなぜですか。テキストを添付します(略)。

A(ChatGPT-5 Thinking,9秒):
原因はシンプルです。rev3 で検出条件を“行頭ラベル+コロン必須”に厳格化したため、30日の本文にある
User(単独行、コロンなし)
ChatGPT(単独行、コロンなし)
という**「見出し型の話者ラベル(コロンなし)」**が Q/A ラベルとして認識されなくなったからです。
添付テキストはまさにこの形式で、各ラベルの次の行から本文が始まっています。そのため rev2 では○、rev3 では条件を満たせず△になりました。

どう直せば 30 日が○に戻るか(最小変更)(回答略)
必要であれば、この修正を組み込んだ ai.py (rev4) をすぐにお渡しします。

Q(koshix):
ai.py(rev4)をください。

A(ChatGPT-5 Thinking):
お待たせしました。rev4 を作成して動作確認済みです(5月の○の合計は10に変化:6日=△のまま、30日=○に復帰)。スクリプト本体,検証出力,年次まとめ,rev4の要点など(回答略)
これでほぼできあがり,第3回の所要時間は30-60分ほどだろうか。



[1]pdf2aiのソースコード(2025.10.21)

2025年11月23日日曜日

ブログ保存ツール

しばらく前に一度やりはじめて挫折した件。再度,要求仕様を良く考えてChatGPT-5 Thinking に依頼してみた顛末が以下のとおり。かなり苦労したが目的は一応たっせられた。このブログ記事を月単位でpdfにアーカイブするというものだ。

その過程でわかったことがある。ChatGPT-5の能力を持ってしても,単純な構文エラー([]の数がつり合わない)を生ずることがある。一方で原因不明のトラブルが発生した。これは未解決のままだ。2020年6月分のアーカイブの際に,wkhtmltopdfがうまく機能しないというもの。いちおうの回避プログラムも提案してもらったので,なんとかはなっている。

pythonを使う際には仮想環境にしないといけないのがちょっと面倒だ。

% brew install wkhtmltopdf
% python3 -m venv path/to/venv
% source path/to/venv/bin/activate
(venv) % python3 -m pip install --upgrade pip
(venv) % python3 -m pip install pymupdf requests beautifulsoup4 numpy playwright
(venv) % ./blgpdf 202510 202510
などなど。

Q(koshix):
私は,https://koshix.blogspot.com に2018年12月から毎日ブログを掲載しています。
このデータを月単位でpdfファイルとしてダウンロードしたいと考えています。

例えば https://koshix.blogspot.com/2025/09/ とすれば,2025年9月分のデータにアクセスすることができます。ところで,この場合9月21日までが1ページにまとまって出力されますが,それを越える部分(9月20日以前)は,ページ末の「前の投稿」からたどる必要があります。

これによって,次の1ページで9月1日までのデータにアクセスすることができます。ブログの分量によっては,1月分が1ページで収まる場合もありますが,今のようにそうでない場合もあります。おおむね2ページで収まると考えています。

さて,このような状況で月単位のpdfファイルを取得するのですが,実際に試してみると1ページのpdfの後半には連続したブランクページがたくさん含まれているようです。できればこの空白を取り除いた上で,1ページ目ともしあれば2ページ目(これも空白を取り除く)をつなげた1本のpdfファイルにまとめてほしいのです。ファイル名は例えば,2025-09.pdf などとなります。

このような仕事をコマンドラインから実行するプログラムを作ってください。そのプログラム名を blgpdf とすれば,blgpdf 202506 202509のようにすれば,2025年6月から2025年9月までの4つのファイル(6月,7月,8月,9月)が得られるようにしたいのです。

ここまでで何か質問はありませんか。なければあらためて依頼のゴーサインを出します。

A(ChatGPT-5 Thinking,35秒):
ありがとうございます。要件は把握しました。実装前に最小限だけ確認させてください(全部 “はい/いいえ/短文” で返せます):
1.依存ツール:wkhtmltopdf(HTML→PDF化)+ Python パッケージ PyMuPDF(空白ページ検出と削除)を使ってよいですか?
・macOS(Homebrew)で brew install wkhtmltopdf、pip install pymupdf を想定しています。
2.空白ページの扱い:文中に紛れ込んだ“実質的に真っ白なページ”も削除対象にしてよいですか?(末尾に連なる白紙だけでなく、途中にあっても除去)
3.出力場所:デフォルトは「カレントディレクトリ」に YYYY-MM.pdf を保存でよいですか?(例:./2025-09.pdf)
・もし希望があれば --outdir オプションを付けます。
4.レンダリング待ち:Blogger の遅延読み込み対策として、wkhtmltopdf --javascript-delay 2000(2秒待ち)を入れます。既定で問題なければこの設定で進めます。(必要なら秒数を指示ください)
5.2ページ目URLの検出:月ページ下部の “前の投稿 / Older posts” リンク(search?updated-max= を含む)を自動検出して拾う方式で問題ないですか?(テーマ依存のラベル文言差は無視し、URLパターンで判定します)

OK でしたら、すぐに blgpdf(単一ファイルのPythonスクリプト、CLI)をお渡しします。
例:blgpdf 202506 202509 → 6〜9月を順に取得・白紙除去・結合・保存。

Q(koshix):
1 yes 2 no 3 yes 4 yes 5 yes  これですすめてください。どうぞよろしくおねがいします。

A(ChatGPT-5 Thinking,20秒):
了解です。ご指定どおり進めます。(以下略)

Q(koshix):
空白ページの除去が全くできていないので,2000ページものpdfが出力されていました。 なんとかなりませんか。

A(ChatGPT-5 Thinking,23秒):
原因は、wkhtmltopdf が実体のない要素や印刷用 CSS の影響で“見た目は白紙だが内部的には何かがある”ページを大量に吐き出し、以前の「テキスト/画像/ベクターの有無」判定では白紙と認識できなかったことにあります。(以下略)

Q(koshix):
やはりうまくいかないのですが,dpiを増やしたり閾値を大きくするのは逆効果ではないのですか?

A(ChatGPT-5 Thinking,32秒):
ご指摘のとおり、「DPIを上げる」「閾値(white_ratio)を大きくする」は白紙判定を“厳しく”する方向なので、見えない微小ゴミ(細い罫線・1pxの影・アンチエイリアス・不可視要素のにじみ)を拾ってしまい、白紙とみなせなくなる=逆効果になりがちです。(以下略)

Q(koshix):
だいぶよくなりました。ところが,1ページで収まらない場合に,ページ末尾の「前の投稿」で過去のページを辿る必要があるのですが,ページ末尾の「次の投稿」の方の未来のページを辿ってそれを2ページ目として採用している場合が見受けられます。なんとかなりませんか。

A(ChatGPT-5 Thinking,28秒):
了解です。2ページ目は必ず「前の投稿(= Older posts = 過去方向)」だけを辿るようにロジックを強化しました。(以下略)

Q(koshix):
常に前の投稿へを参照するようになっていませんか。目標月の1日までが1ページ内に収まっていれば,前の投稿へのリンクを辿る必要がない場合もあるのですけど。

A(ChatGPT-5 Thinking,19秒):
助かりました。ご指摘の通り、「1ページ目にその月の1日が含まれている場合は“前の投稿”を辿らない」条件を厳密に入れました。

・・・以下延々と別のエラーコードの修正で格闘を続けた・・・
・・・2020/06 がうまくダウンロードできない状態が続く・・・

Q(koshix):
(venv) koshi@mba2020 ~ % ./blgpdf 202006 -v
 File "/Users/koshi/./blgpdf", line 248
 dil = ( ^ 
SyntaxError: '(' was never closed

A(ChatGPT-5 Thinking,17秒):
ごめん、私の括弧ミスでした(dil = ( 行)。膨張処理のところをシンプルに書き直して、構文エラーを解消した完全版を置いておきます。これに差し替えてください。

・・・結局 2020/06 の問題の方は解決しなかった・・・
・・・ChatGPTでも単純なプログラムのミスを犯すのだった・・・


P. S.  10/21 brew upgrade にエラーが出ていたので,ChatGPT-5 の指示を受けながら,brew cleanup, brew update, brew upgrade, brew doctor を繰り返してエラーを潰していった。その過程でwkhtmltopdf が使えないことがわかり,代替として提示された chromium もだめだといわれた。仕方がないので再び ChaatGPT-5 に相談して上記プログラムの修正を図ったところ,brew とは関係なしに,python -m pip install playwright pymupdf requests beautifulsoup4 と python -m playwright install chromium の環境を使った修正版が使えることになった。こちらの方が数式が保持されていてうれしい。


[1]blgpdf のソースコード(2025.10.21版)