ネット上のアーカイブ作成の難しさが増大しています。Wayback Machine と Wikimedia は HDD スペース不足に直面しています

データ保存危機：ストレージ価格の上昇が最大規模のアーカイブプロジェクトを遅らせる

ストレージはますます高価で希少になり、インターネットから膨大な情報量を毎日保存する組織にとって作業が複雑化しています。

1. 価格上昇の理由
* ハードディスク（HDD）は現在、以前のレベルの3倍の価格です。
* 大企業やクラウドプロバイダーからの需要増加により、生産者は供給を削減せざるを得ず、結果として不足が生じました。

2. インターネットアーカイブへの影響
| 指標 | 値 | 備考 |
|---|---|---|
| ストレージ容量 | 約210 PB | |
| 日次データフロー（Wayback Machine） | 約100 TB | |

* 人工知能は負荷を増大させています。モデルは大量のデータセットで訓練され、これらはしばしばアーカイブから取得されます。
* 理想的なストレージ – 28–30 TB HDD – はほとんど販売されておらず、価格も高騰しています。
* 組織はスポンサーを探す必要があり、コミュニティからの助言しか得られません。

3. Wikimedia の問題
* プラットフォームには 6500 万件以上の記事があり、大量の計算リソースと慎重に配分された予算が要求されます。
* 難題は次のとおりです：
* メモリとディスクの調達
* サーバーの配送
* 将来の注文計画

4. アーカイブ作業の複雑化
* 大規模言語モデル（LLM）は巨大なデータセットを使用し、時には違法に取得されます。
* ウェブサイト所有者は「悪意あるユーザー」と「善良なサービス」を区別せず、自身のリソースへのアクセスをブロックします。
* その結果：
* 小規模エンスージアストは作業を縮小または停止せざるを得ません。
* ストレージ価格の安定化を待つ必要があります。

結論
HDD のコスト上昇と不足は、非営利アーカイブに深刻な障壁をもたらします。新しい資金源やより手頃な技術がない限り、インターネットの歴史保存はほぼ不可能になる恐れがあります。