Archive

11月 23

MySQL5.5へのアップデートに伴うトラブル

By kennyNo Comments

最近、ちっともログインできていなかったGeekWind。
久しぶりにちょっと余裕ができたので、ログイン。
通例のyum updateを実施。

ちょっと試したいことがあったのでMediaWikiのインストールを開始。

# cd htodcs
# wget http://download.wikimedia.org/mediawiki/1.17/mediawiki-1.17.0.tar.gz
# gzip -dc mediawiki-1.17.0.tar.gz | tar xvf -
# mv mediawiki-1.17.0 mw

インストールするため、ブラウザでアクセスしたところ、
エラー: データベースに接続できません
というメッセージ。

そういや、WordPress が稼働するようになっているので、MediaWikiのインストール先へのパススルーをしないと、ということで、lighttpd.confの設定を行い、lighttpdの再起動。

WikipediaのDB名やテーブルのprefixをセットしていたかどうか忘れていたのでMySQLにアクセスしようとすると…アクセスできない！

おかしいな、と思ってプロセスを確認するとMySQLのプロセスがない。
仕方ないので、プロセスを起動してみる。

# /etc/init.d/mysqld start
MySQL Daemon failed to start.
Starting mysqld: [FAILED]

がーん！！プロセスが起動しない！
すかさずログ(/var/log/mysqld.log）を見る。

mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
[Note] Plugin 'FEDERATED' is disabled.
[Note] Plugin 'InnoDB' is disabled.
[ERROR] /usr/libexec/mysqld: unknown option '--skip-locking'
[ERROR] Aborting

[Note] /usr/libexec/mysqld: Shutdown complete

mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended

げ！起ち上がってない！おまけにこれまで認識していたoptionがunknown optionになっている！

Continue reading this entry »

9月 27

Wikipedia Dumpデータの更新（9月21日版）

By kennyNo Comments

久しく更新していなかったWikipediaのデータ。
つい最近dumpデータが新しくなったようなので更新した。

# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   9125544   8156584  53% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2

# df .
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/hda2             18222732  10539076   6743052  61% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's///' | xml2sql
sed: -e expression #1, char 0: no previous regular expression
xml2sql: no element found at line 1 pos 0.
Segmentation fault

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's/<redirect \/>//' | xml2sql -v
converted 1519004 pages, 1519004 revisions, 1519004 texts.

# df .
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/hda2             18222732  16045192   1236936  93% /

# ls -al *txt
-rw-r--r-- 1 root root  133651667 Sep 27 23:07 page.txt
-rw-r--r-- 1 root root  163322785 Sep 27 23:07 revision.txt
-rw-r--r-- 1 root root 5335758420 Sep 27 23:07 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df .
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/hda2             18222732  14631668   2650460  85% /


前回からレコード数を比べると、20,000位レコードが増えているようである。 よくもまぁ、次から次へと更新されるものだ。

というか、これは凄いことだと思う。
内容が確実であれば、自動で内容が更新されていく、これほどすごい辞書はないだろう。ということで、今回のアップデートの結果は以下の通り。

# mysqlimport --fields-terminated-by='\t' --default-character-set=utf8 -u hogeuser -p -d -L wiki text.txt
Enter password:
wiki.text: Records: 1519004  Deleted: 0  Skipped: 0  Warnings: 0

# mysqlimport --fields-terminated-by='\t' --default-character-set=utf8 -u hogeuser -p -d -L wiki revision.txt
Enter password:
wiki.revision: Records: 1519004  Deleted: 0  Skipped: 0  Warnings: 3040631

# mysqlimport --fields-terminated-by='\t' --default-character-set=utf8 -u hogeuser -p -d -L wiki page.txt
Enter password:
wiki.page: Records: 1519004  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select page_id, page_title from page where 1 limit 1518995,10;
+---------+--------------------------------------------+
| page_id | page_title                                 |
+---------+--------------------------------------------+
| 2433391 | まりこ様                                   |
| 2433392 | メタモール原子力発電所                     |
| 2433393 | ディーピカー・パードゥコーネ               |
| 2433498 | 仲間港                                     |
| 2433500 | 船浦港                                     |
| 2433501 | 上原港                                     |
| 2433502 | 削除依頼/石井保                            |
| 2433504 | エケコ人形                                 |
| 2433507 | 日本のお父さん                             |
+---------+--------------------------------------------+
9 rows in set (0.49 sec)

# df .
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/hda2             18222732  14687212   2594916  85% /

# \rm *txt
# df .
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/hda2             18222732   9181096   8101032  54% /

7月 03

Wikipedia Dumpデータの更新（6月28日版）

By kennyNo Comments

うーん、最近こればっかしかやってないなぁ。
もう少しいじり倒したい。

そういや仕事で Apache2 worker MPM + mod_perl2 をインストールして、いろいろやろうと思っているので、こっちでもやってみようかなぁ。
barancer を突っ込めば別の Web サーバに飛ばすことも可能になるのでいいかもしんない。

とはいえ、今回は恒例のWikipediaデータのアップデート。

# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8784840   8497288  51% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
# ls -al jawiki-latest-pages-articles.xml.bz2
-rw-r--r-- 1 root root 1405340295 Jun 29 00:49 jawiki-latest-pages-articles.xml.bz2

# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  10158628   7123500  59% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's///' | xml2sql
# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  15508932   1773196  90% /

# ls -al *txt
-rw-r--r-- 1 root root  131236266 Jul  3 09:33 page.txt
-rw-r--r-- 1 root root  160215575 Jul  3 09:33 revision.txt
-rw-r--r-- 1 root root 5181876933 Jul  3 09:33 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  14135180   3146948  82% /

で、最終的には以下のような感じ。
やっぱり、ディスク使用量が1%アップという感じ。

# \rm *.txt
# df .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8814776   8467352  52% /

mysql> select page_id, page_title from page where 1 limit 1492724,10;
+---------+--------------------------------------------+
| page_id | page_title                                 |
+---------+--------------------------------------------+
| 2381902 | 北杜市立高根西小学校                       |
| 2381904 | ボカロスタ                                 |
| 2381905 | ボカロスター                               |
| 2381906 | 削除依頼/高根西小学校                      |
| 2381908 | 又松大学校の教員                           |
| 2381909 | マンガ甲子園                               |
| 2381910 | マジック世界No.1                           |
| 2381911 | 漫画甲子園                                 |
| 2381912 | フランソワ・クロード・アムル               |
| 2381913 | 大発見                                     |
+---------+--------------------------------------------+
10 rows in set (0.49 sec)

6月 19

Wikipedia Dumpデータの更新（6月12日版）

By kennyNo Comments

いつも使っているデスクトップPCの電源が壊れたため、復活するまでしばらくマシンにログインできなかった。
とりあえず、最低限の復活はできたので、久しぶりにログイン。

早速、更新されていた Wikipedia の Dumpデータを更新した。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8706332   8575796  51% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
# ls -al jawiki-latest-pages-articles.xml.bz2
-rw-r--r-- 1 root root 1397608496 Jun 13 14:09 jawiki-latest-pages-articles.xml.bz2

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  10072528   7209600  59% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's/<redirect \/>//' | xml2sql
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  15393188   1888940  90% /

# ls -al *txt
-rw-r--r-- 1 root root  130798393 Jun 19 15:14 page.txt
-rw-r--r-- 1 root root  159734059 Jun 19 15:14 revision.txt
-rw-r--r-- 1 root root 5152455538 Jun 19 15:14 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  14026992   3255136  82% /
で、最終的に以下のように更新された。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8749300   8532828  51% /

mysql> select page_id, page_title from page where 1 limit 1487886,10;
+---------+-----------------------------------------+
| page_id | page_title                              |
+---------+-----------------------------------------+
| 2372793 | イラクの旗                              |
| 2372795 | 池田泉州銀行イメージガール              |
| 2372796 | ガントプロジェクト                      |
| 2372797 | サンキー_ダイアグラム                   |
| 2372798 | エコブックスオンライン                  |
| 2372799 | 石油換算トン                            |
| 2372800 | ヨルダンの旗                            |
| 2372801 | まだ見ぬアナタ                          |
| 2372803 | カンボジアの旗                          |
| 2372808 | キリバスの旗                            |
+---------+-----------------------------------------+
10 rows in set (0.66 sec)

5月 27

Wikipedia Dumpデータの更新（5月22日版）

By kennyNo Comments

先日、WikipediaのDumpデータを更新したばかりなのだが、またアップデートされていた。

dumpデータの更新チェックツールでも作っておくか、と思っていたら、その思っている間に更新されてしまうとは何ともマヌケな話である。
ということで、やっぱり手動更新なのである。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8489536   8792592  50% /

# wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
# ls -al jawiki-latest-pages-articles.xml.bz2
-rw-r--r-- 1 root root 1386466624 May 23 01:15 jawiki-latest-pages-articles.xml.bz2

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   9844836   7437292  57% /

# bzip2 -dc jawiki-latest-pages-articles.xml.bz2 | sed -e 's/<redirect \/>//' | xml2sql
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  15122916   2159212  88% /

# ls -al *txt
-rw-r--r-- 1 root root  130133209 May 27 06:58 page.txt
-rw-r--r-- 1 root root  158812180 May 27 06:58 revision.txt
-rw-r--r-- 1 root root 5110502082 May 27 06:58 text.txt

# \rm jawiki-latest-pages-articles.xml.bz2
# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732  13767616   3514512  80% /

で、最終的に以下のように更新された。

# df -k
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/hda2             18222732   8516936   8765192  50% /

mysql> select page_id, page_title from page where 1 limit 1480574,10;
+---------+-------------------------------------------------------------------+
| page_id | page_title                                                        |
+---------+-------------------------------------------------------------------+
| 2358548 | 諸言語版の秀逸な記事/フランス語版/日常・余暇                      |
| 2358549 | 諸言語版の秀逸な記事/フランス語版/全て                            |
| 2358551 | AFCアジアカップ2011_バーレーン代表                                |
| 2358552 | CRAZY-ISM_クレイジズム                                            |
| 2358553 | 孤立死                                                            |
| 2358555 | オートルート_A11                                                  |
| 2358556 | サッカーマケドニア代表歴代監督                                    |
| 2358557 | 山本守礼                                                          |
| 2358558 | 南米年間最優秀監督賞                                              |
| 2358559 | 岩崎藩主                                                          |
+---------+-------------------------------------------------------------------+
10 rows in set (0.00 sec)

< Older


Blue Taste Theme created by Jabox