Wikipedia Dumpデータの更新(6月12日版)

By kennyNo Comments

いつも使っているデスクトップPCの電源が壊れたため、復活するまでしばらくマシンにログインできなかった。
とりあえず、最低限の復活はできたので、久しぶりにログイン。

早速、更新されていた Wikipedia の Dumpデータを更新した。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8706332   8575796  51% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
# ls -al jawiki-latest-pages-articles.xml.bz2
-rw-r--r-- 1 root root 1397608496 Jun 13 14:09 jawiki-latest-pages-articles.xml.bz2

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  10072528   7209600  59% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's/<redirect \/>//' | xml2sql
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  15393188   1888940  90% /

# ls -al *txt
-rw-r--r-- 1 root root  130798393 Jun 19 15:14 page.txt
-rw-r--r-- 1 root root  159734059 Jun 19 15:14 revision.txt
-rw-r--r-- 1 root root 5152455538 Jun 19 15:14 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  14026992   3255136  82% /
で、最終的に以下のように更新された。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8749300   8532828  51% /

mysql> select page_id, page_title from page where 1 limit 1487886,10;
+---------+-----------------------------------------+
| page_id | page_title                              |
+---------+-----------------------------------------+
| 2372793 | イラクの旗                              |
| 2372795 | 池田泉州銀行イメージガール              |
| 2372796 | ガントプロジェクト                      |
| 2372797 | サンキー_ダイアグラム                   |
| 2372798 | エコブックスオンライン                  |
| 2372799 | 石油換算トン                            |
| 2372800 | ヨルダンの旗                            |
| 2372801 | まだ見ぬアナタ                          |
| 2372803 | カンボジアの旗                          |
| 2372808 | キリバスの旗                            |
+---------+-----------------------------------------+
10 rows in set (0.66 sec)

サービス, 独り言, 環境設定


この記事へのトラックバック

Leave your Comment

メールアドレスが公開されることはありません。

*

★ロリポップ!★WordPressやMovableTypeの簡単インストール、cron、共有SSL対応!


Blue Taste Theme created by Jabox