Wikipedia Dumpデータの更新(5月22日版)

By kennyNo Comments

先日、WikipediaのDumpデータを更新したばかりなのだが、またアップデートされていた。

dumpデータの更新チェックツールでも作っておくか、と思っていたら、その思っている間に更新されてしまうとは何ともマヌケな話である。
ということで、やっぱり手動更新なのである。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8489536   8792592  50% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
# ls -al jawiki-latest-pages-articles.xml.bz2
-rw-r--r-- 1 root root 1386466624 May 23 01:15 jawiki-latest-pages-articles.xml.bz2

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   9844836   7437292  57% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's/<redirect \/>//' | xml2sql
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  15122916   2159212  88% /

# ls -al *txt
-rw-r--r-- 1 root root  130133209 May 27 06:58 page.txt
-rw-r--r-- 1 root root  158812180 May 27 06:58 revision.txt
-rw-r--r-- 1 root root 5110502082 May 27 06:58 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  13767616   3514512  80% /

で、最終的に以下のように更新された。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8516936   8765192  50% /

mysql> select page_id, page_title from page where 1 limit 1480574,10;
+---------+-------------------------------------------------------------------+
| page_id | page_title                                                        |
+---------+-------------------------------------------------------------------+
| 2358548 | 諸言語版の秀逸な記事/フランス語版/日常・余暇                      |
| 2358549 | 諸言語版の秀逸な記事/フランス語版/全て                            |
| 2358551 | AFCアジアカップ2011_バーレーン代表                                |
| 2358552 | CRAZY-ISM_クレイジズム                                            |
| 2358553 | 孤立死                                                            |
| 2358555 | オートルート_A11                                                  |
| 2358556 | サッカーマケドニア代表歴代監督                                    |
| 2358557 | 山本守礼                                                          |
| 2358558 | 南米年間最優秀監督賞                                              |
| 2358559 | 岩崎藩主                                                          |
+---------+-------------------------------------------------------------------+
10 rows in set (0.00 sec)

サービス, 独り言, 環境設定


この記事へのトラックバック

Leave your Comment

メールアドレスが公開されることはありません。

*

★ロリポップ!★WordPressやMovableTypeの簡単インストール、cron、共有SSL対応!


Blue Taste Theme created by Jabox