ダブルクリックで英日反転
Applied Sciences · Library And Information Science
Common Crawl — the open web archive powering AI pre-training
Common Crawl is a 501(c)(3) non-profit that freely publishes a petabyte-scale snapshot of the public web, updated monthly. It has become the primary pre-training corpus for most large language models — including GPT-3, Llama, and T5.
What It Is
- Founded 2007 by Gil Elbaz. Mission: democratise web-scale data so only large tech companies cannot afford it.
- Archive exceeds 10 PB uncompressed; grows ~3–5 billion pages (≈250 GB compressed) per month.
- Cited in over 10,000 academic papers across linguistics, web science, NLP, and epidemiology.
- All data is free — no registration required.
Three Data Formats
- WARC (Web ARChive): raw HTTP response + full HTML source. The most faithful record of what the crawler saw.
- WAT (Web ARChive Transformations): JSON metadata logs — HTTP headers, extracted links, response codes. Lighter than WARC, suitable for link-graph analysis.
- WET (Web ARChive Extracted Text): plain-text only, stripped of all HTML markup. The format consumed directly by NLP and LLM pipelines.
How to Access
- Hosted on AWS S3 under the Open Data Sponsorship Program: s3://commoncrawl/ (us-east-1), free egress within AWS.
- Standard HTTPS access also available at commoncrawl.org/get-started.
- Common Crawl Index Server (index.commoncrawl.org): query which crawl captured a specific URL without downloading full archives.
- AWS Athena: register the index as a distributed table and run SQL queries across petabytes.
CCBot, Paywalls & Opt-Out
- CCBot: Rockwell's own crawler built on Apache Nutch (open source). Prioritises URLs using PageRank-style scoring. Officially respects robots.txt.
- Paywall bypass (documented): news sites load article content before executing subscriber-check scripts — CCBot captures the full text before the paywall fires.
- Opt-out registry exists, but removing historically archived content is technically hard: WARC files are immutable and distributed; a new opt-out stops future crawls but cannot delete past ones.
- The New York Times and other publishers have raised formal objections over this limitation.
→ Common Crawl solved the data-access problem that previously restricted serious web research to a handful of tech giants — but as LLMs trained on it reach commercial scale, the tension with content owners over consent and opt-out has become unavoidable.
応用科学 · 図書館情報学
Common Crawl（コモン・クロール）— AIの事前学習（pre-training）を支えるオープン・ウェブアーカイブ
Common Crawl は公開ウェブのペタバイト規模スナップショットを毎月更新・無料公開する 501(c)(3)（＝米国の非営利法人形態）の組織。GPT-3・Llama・T5 など大半の大規模言語モデル（LLM）の主要な事前学習コーパス（＝大量のテキストを詰めたデータセット）となっている。
何者か
- 2007年、Gil Elbaz（ギル・エルバズ）が創業。使命は「ウェブ規模のデータを大企業だけのものにしない」こと。
- 非圧縮で10PB（ペタバイト）超のアーカイブ。毎月約30〜50億ページ（圧縮で約250GB）を追加。
- 言語学・ウェブ科学・NLP・医療疫学など1万件以上の論文に公式引用。
- 登録不要・完全無料。
3つのデータ形式
- WARC（Web ARChive）：生のHTTPレスポンスとHTMLソースコードをそのまま収録。クローラーが実際に受け取った内容に最も忠実な形式。
- WAT（Web ARChive Transformations）：HTTPヘッダー・抽出リンク・レスポンスコードをJSONで記録したメタデータログ。リンクグラフ分析に向く。
- WET（Web ARChive Extracted Text）：HTMLタグを完全除去した純テキスト。LLMやNLP（自然言語処理）パイプラインが直接消費する形式。
アクセス方法
- AWSのオープンデータ支援プログラム経由でS3（s3://commoncrawl/・us-east-1）に格納。AWS内からはエグレス（転送）費用ゼロ。
- 通常のHTTPSダウンロードも可能（commoncrawl.org/get-started）。
- Common Crawl Index Server（index.commoncrawl.org）：フルアーカイブを落とさずに「このURLはどのクロールに含まれるか」を検索できる索引サーバー。
- AWS Athena（アテナ）：インデックスを分散DBテーブルとして登録しSQLクエリを実行。ペタバイト規模でも動く。
CCBotとペイウォール問題
- CCBot：Apache Nutch（オープンソースのクローラーフレームワーク）ベースの独自クローラー。PageRankに似たスコアでURLを優先度付け。robots.txtは尊重している。
- ペイウォール（有料課金壁）の突破が報告されている：ニュースサイトが記事の全文を先に描画してから購読チェックを走らせる設計になっているため、CCBotは課金壁が発火する前に全文を取得してしまう。
- オプトアウト（除外申請）登録は可能。ただしWARCファイルは上書き不能な不変ファイル形式のため、過去に収録した記録の削除は技術的に困難。
- New York Times などの大手メディアがこの問題について法的・公式に異議を申し立てている。
→ Common Crawl はウェブ規模のデータアクセスを民主化した。しかし LLM の商業利用が拡大するにつれ、コンテンツ提供者との同意・除外問題は避けられない論点になっている。
Applied Sciences · Library And Information Science
Common Crawl — the open web archive powering AI pre-training
Common Crawl is a 501(c)(3) non-profit that freely publishes a petabyte-scale snapshot of the public web, updated monthly. It has become the primary pre-training corpus for most large language models — including GPT-3, Llama, and T5.
What It Is
- Founded 2007 by Gil Elbaz. Mission: democratise web-scale data so only large tech companies cannot afford it.
- Archive exceeds 10 PB uncompressed; grows ~3–5 billion pages (≈250 GB compressed) per month.
- Cited in over 10,000 academic papers across linguistics, web science, NLP, and epidemiology.
- All data is free — no registration required.
Three Data Formats
- WARC (Web ARChive): raw HTTP response + full HTML source. The most faithful record of what the crawler saw.
- WAT (Web ARChive Transformations): JSON metadata logs — HTTP headers, extracted links, response codes. Lighter than WARC, suitable for link-graph analysis.
- WET (Web ARChive Extracted Text): plain-text only, stripped of all HTML markup. The format consumed directly by NLP and LLM pipelines.
How to Access
- Hosted on AWS S3 under the Open Data Sponsorship Program: s3://commoncrawl/ (us-east-1), free egress within AWS.
- Standard HTTPS access also available at commoncrawl.org/get-started.
- Common Crawl Index Server (index.commoncrawl.org): query which crawl captured a specific URL without downloading full archives.
- AWS Athena: register the index as a distributed table and run SQL queries across petabytes.
CCBot, Paywalls & Opt-Out
- CCBot: Rockwell's own crawler built on Apache Nutch (open source). Prioritises URLs using PageRank-style scoring. Officially respects robots.txt.
- Paywall bypass (documented): news sites load article content before executing subscriber-check scripts — CCBot captures the full text before the paywall fires.
- Opt-out registry exists, but removing historically archived content is technically hard: WARC files are immutable and distributed; a new opt-out stops future crawls but cannot delete past ones.
- The New York Times and other publishers have raised formal objections over this limitation.
→ Common Crawl solved the data-access problem that previously restricted serious web research to a handful of tech giants — but as LLMs trained on it reach commercial scale, the tension with content owners over consent and opt-out has become unavoidable.
応用科学 · 図書館情報学
Common Crawl（コモン・クロール）— AIの事前学習（pre-training）を支えるオープン・ウェブアーカイブ
Common Crawl は公開ウェブのペタバイト規模スナップショットを毎月更新・無料公開する 501(c)(3)（＝米国の非営利法人形態）の組織。GPT-3・Llama・T5 など大半の大規模言語モデル（LLM）の主要な事前学習コーパス（＝大量のテキストを詰めたデータセット）となっている。
何者か
- 2007年、Gil Elbaz（ギル・エルバズ）が創業。使命は「ウェブ規模のデータを大企業だけのものにしない」こと。
- 非圧縮で10PB（ペタバイト）超のアーカイブ。毎月約30〜50億ページ（圧縮で約250GB）を追加。
- 言語学・ウェブ科学・NLP・医療疫学など1万件以上の論文に公式引用。
- 登録不要・完全無料。
3つのデータ形式
- WARC（Web ARChive）：生のHTTPレスポンスとHTMLソースコードをそのまま収録。クローラーが実際に受け取った内容に最も忠実な形式。
- WAT（Web ARChive Transformations）：HTTPヘッダー・抽出リンク・レスポンスコードをJSONで記録したメタデータログ。リンクグラフ分析に向く。
- WET（Web ARChive Extracted Text）：HTMLタグを完全除去した純テキスト。LLMやNLP（自然言語処理）パイプラインが直接消費する形式。
アクセス方法
- AWSのオープンデータ支援プログラム経由でS3（s3://commoncrawl/・us-east-1）に格納。AWS内からはエグレス（転送）費用ゼロ。
- 通常のHTTPSダウンロードも可能（commoncrawl.org/get-started）。
- Common Crawl Index Server（index.commoncrawl.org）：フルアーカイブを落とさずに「このURLはどのクロールに含まれるか」を検索できる索引サーバー。
- AWS Athena（アテナ）：インデックスを分散DBテーブルとして登録しSQLクエリを実行。ペタバイト規模でも動く。
CCBotとペイウォール問題
- CCBot：Apache Nutch（オープンソースのクローラーフレームワーク）ベースの独自クローラー。PageRankに似たスコアでURLを優先度付け。robots.txtは尊重している。
- ペイウォール（有料課金壁）の突破が報告されている：ニュースサイトが記事の全文を先に描画してから購読チェックを走らせる設計になっているため、CCBotは課金壁が発火する前に全文を取得してしまう。
- オプトアウト（除外申請）登録は可能。ただしWARCファイルは上書き不能な不変ファイル形式のため、過去に収録した記録の削除は技術的に困難。
- New York Times などの大手メディアがこの問題について法的・公式に異議を申し立てている。
→ Common Crawl はウェブ規模のデータアクセスを民主化した。しかし LLM の商業利用が拡大するにつれ、コンテンツ提供者との同意・除外問題は避けられない論点になっている。