在留外国人統計
e-Statのクローラーと、そこから生成されるデータセット。都道府県別・市区町村別の在留外国人を、期ごとに異なる表記や区分を揃えて扱えるようにしたものです。
法務省は在留外国人統計を公表しています。国籍・地域別、在留資格別、都道府県別、そして近年は市区町村別の在留外国人です。半年ごとに同じデータが、半年ごとに違う形で出てきます。このプロジェクトの本体はクローラーとデータセットで、地図はそれを使うためのものです。
00 / 期によって変わるもの
以下のそれぞれが、正規化処理の1つのルールであり、出力が何を意味するかについての1つの判断です。
- 国名と国コード。 旧称は現在のものに対応付けます。スワジランドはエスワティニへ、マケドニアは北マケドニアへ。1つの国が2つの系列に割れないようにするためです。
- 年齢。 80は「80歳以上」です。2019-12の1期だけ上限なしで公表されていたため、ほかに合わせて上側を丸めています。初期の2期には不詳の区分があり、合計3人です。
- 性別。 3番目のコードは2022-12から現れ、それ以前には存在しません。
- 在留資格。 特定技能は2019-12から、特定技能2号は2022-06からです。存在しなかった資格と、該当者がいない資格は別物です。
- 市区町村。 公表は2023-12からで、最初の2期には性別も年齢も入っていません。
01 / 伏せられている値と、それが合計に与える影響
在留外国人が10人以下の市区町村は個別には公表されず、全国で1行のその他にまとめられます。2024-12からは、5,000人未満の市区町村で性別と年齢が、10人以下で国籍と在留資格が伏せられます。
そのため、市区町村の行を足し上げた都道府県の合計は、都道府県表そのものの数字よりわずかに小さくなります。サイトは全国と都道府県の合計を必ず完全な都道府県表から計算し、市区町村のデータは市区町村の表示にだけ使います。食い違う2つの画面は、読み手にどちらも信じないことを教えます。直し方は、どの問いにどの表が責任を持つのかを一度決めることです。伏せられたセルは0ではなく非公表のハッチングで描きます。
02 / 表計算ではないファイル
2024-12以降、ブックはデータをシート上ではなくPower Pivotのモデルに持つようになります。読むにはpbixrayと小さなパッチが要ります。パッチがないと、名前がRやHで始まるテーブル — つまりほとんど — が飛ばされ、ライブラリはエラーではなく空のテーブルを返します。
名前を付けておく価値があるのはこの壊れ方です。例外を投げるパーサーはバグ報告になります。何も返さないパーサーは、静かに1期分を失ったデータセットになります。防ぎようは、毎回合計を公表値と突き合わせることだけです。
03 / ブラウザへの届け方
1期ぶんが列指向のバイナリで、件数は32ビット整数、コードは8ビットと16ビット、gzipで0.3〜0.8MBです。絞り込みと集計はページ内の型付き配列を1回なめるだけなので、バックエンドもクエリ言語もなく、フィルタは再描画が追いつく速さで応答します。
配色は日本の伝統色です。紅が量を、藍が選択と増減率の「減少」を、墨が文字を担います。地域数がおおよそ等しくなる7つの分位クラスで、OKLCH上で明度が単調に変化するため、「多い」がどちらのテーマでも段として読めます。文字のコントラストは5:1以上を保っています。