さくら VPS Python Selenium Web 自動操作
Selenium Web 自動操作動作停止
2021/10月、さくら VPS で動作していた Selenium Web 自動操作が急に動かなくなりました。
Selenium3 が Selenium4 にアップデ－トされたことが原因だったようです。
この原因を見つけるのに非常に苦労しました。
メモリ不足等も疑いましたが、よくわかりませんでした。
原因調査にあたって苦労したのは、
私の さくら VPS Ubuntu サ－バに、ディスクトップ機能が入っていなかったためでした。
スクレ－ピングがうまく動作しているかわからないことが大きな要因でした。
ディスクトップ機能を入れるにはメモリが 1GB 程度は必要と考えていましたので、費用がかかるので躊躇していました。
今回、思い切って費用をかけてメモリを 2GB に増強することにしました。
さくら VPS ではスケ－ルアップから簡単にメモリ増強ができると思っていたのですが、間違っていました。
標準OS Ubuntu からインスト－ルしている場合は、簡単なようですが、私はカスタムインスト－ルだったので、
スケ－ルアップに失敗しました。
うまくやれば、レスキュ－可能だったようなのですが、さくらのサポ－トにも問い合わせましたが
｢さくらの VPS はユ－ザに管理者権限がある。
ユ－ザが利用する仮想サーバ内のシステム状況の
把握や調査、トラブルシューティング等の技術的なサポートはしない｣
との当たり前の回答のみ、参りました。
仕方なく、標準OS Ubuntu を再インスト－ルして Ubuntu20.04 を再度立ち上げ
これにディスクトップ機能を追加することにしました。
さくら VPS Ubuntu にディスクトップ機能を入れる
Ubuntu にディスクトップ機能を入れていきます。
記述はかなり古いのですが
さくらVPSでUbuntuのとりあえずのGUI環境メモ
が参考になりました。
ubuntu-desktop をインスト－ルします。
シリアルコンソ－ル(β版)を開き、
yamada@********:~$ sudo apt update
これをあらかじめやらないとエラが出ます。
yamada@********:~$ sudo apt install ubuntu-desktop
インストールの途中に入れますか？と聞かれますので
y を押してください。
これでデスクトップ環境が入ります。
yamada@********:~$ sudo shutdown -r now
shutdown -r : -rは restart の意味、再起動
now : 今すぐ
を行うと再起動がかかます。
起動したら、
さくらの VPS-コントロ－ルパネルのサ－バのコンソ－ルから
□VNCコンソ－ル に入ると
ディスクトップ画面に入ることができます。
表示方法はディフォルトで Ubuntu が選択されています。
GNOME も選択できますが追加インスト－ルを要求されます。
また、Ubuntu on Wayland を選択しても表示に変化はありませんでした。
パスワ－ドを入力して Enterキ－ を押せば、ディスクトップ画面が開きます。
このデスクトップ画面のなかで右クリックすればターミナルを呼び出すことができます。
また、右上隅▼ から Log Out することができます。
もっと軽いディスクトップもありますが、Virtual Ubuntu と表示が近似している
ubuntu-desktop が気に入っています。
Selenium と ChromeDriver のインスト－ル
Selenium と ChromeDriver, chromium-browser をインスト－ルします。
シリアルコンソ－ル(β版)を開き、
yamada@********:~$ sudo apt install python3-selenium
とします。
この方法が最も簡単なインスト－ル方法です。
ChromeDriver, chromium-browser も合わせてインストールされます。
時間は5分ぐらいかかります。
実は、chromium-browser は Selenium4 では使えないようです。
私の使い方が悪いのかもしれません。
ChromeDriver 単独のインスト－ル方法はかなり面倒なので、chromium-browser も一緒に入れることにしました。
ChromeDriver のインスト－ル場所は
$ which chromedriver
結果
/usr/bin/chromedriver
バ－ジョンは
$ chromedriver --version
結果
ChromeDriver 96.0.4664.110
(d5ef0e8214･･････/branch-heads/4664@{#1283})
のように確認できます。
また Selenium パッケージのインスト－ル場所は
$ sudo pip3 show selenium
結果
/usr/local/lib/python3.8/dist-packages
で確認できます。
Selenium のバ－ジョンは
$ sudo pip3 list
で確認できます。
結果
selenium 4.0.0a1
selenium4 が入ったことを必ず確認してください。
ここまでで Selenium と ChromeDriver のインスト－ルが完了しましたので
引き続き Google Chrome をインストールしていきます。
[おまけ]
さくら VPS Ubuntu リモ－トディスクトップ機能を入れることもできます。
必須ではありません。
おまけです。
PC と Ubuntu ディスクトップとの間でコピぺができるようになるので便利です。