ConoHa Wingに最新のPythonをインストール

2024年1月31日
2024年1月31日
ConoHa, python, システムエンジニアリング, レンタルサーバ
conoha wing, LD_LIBRARY_PATH, libffi, openssl, python

1 概要
2 前提
3 インストール手順
4 参考
- 4.1 ffi.hが見つからないエラー
- 4.2 共有ライブラリが見つからないエラー

概要

ConoHa WingでpythonのWebアプリ（flask）を公開しようと思いました。2024年1月現在、ConoHa Wingにインストールされているpythonは3.6.11となっており、古くなっているので最新の3.11をインストールしようと思います。
ConoHa Wingの利用者に管理者権限は割り当てられておらず、yum等のパッケージマネージャを使用できません。そのため、ここでは、ソースコードからpythonをビルド（コンパイル）する前提の手順を紹介します。
当初、開発環境（Windows10）のpythonバージョンを3.6に合わせて開発しようと思いました。しかしながら、最新のVSCode（Python 拡張機能）でのデバッグでは、3.7以上が必要なので、3.6を使用するのは諦めました。（Python 拡張機能のバージョンを下げれば問題ないようです。）

前提

ConoHa Wingの既存の実行環境は次の通りです。
（OSはCloud Linuxを使用しています。）

$ uname -a Linux xxx.sh.tyo1  3.10.0-962.3.2.lve1.5.44.3.el7.x86_64 #1 SMP  Mon Feb 22 04:35:33 EST 2021 x86_64 x86_64 x8$ /usr/local/bin/python --version Python 3.6.11$ openssl version OpenSSL 1.0.2k-fips  26 Jan 2017$ gcc --version gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44) Copyright (C) 2015 Free Software Foundation, Inc. This is free software; see the source for copying conditions.  There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

$ uname -a

Linux xxx.sh.tyo1

3.10.0-962.3.2.lve1.5.44.3.el7.x86_64 #1 SMP

Mon Feb 22 04:35:33 EST 2021 x86_64 x86_64 x8

$ /usr/local/bin/python --version

Python 3.6.11

$ openssl version

OpenSSL 1.0.2k-fips 26 Jan 2017

$ gcc --version

gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)

This is free software; see the source for copying conditions. There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

次のパッケージを使用します。

python3.11で使用するlibffi, opensslに関して、既存環境のものは古いので、pythonと併せて最新のものをインストールします。
なお、これらがなくても機能を制限してpythonをインストールすることもできます。しかしながら、ここでは後でflaskの使用を考えているので、必須の手順としています。

No.	パッケージ	理由
1	Python(3.11.7)	python本体です。
2	openssl(3.2.0)	ハッシュや暗号化処理のために使用します。（python3.10からOpenSSL1.1.1以上が必要。）
3	libffi(3.4.4)	OpenSSL等のC言語のライブラリを呼び出すために使用します。

管理者権限がなく、パッケージマネージャの利用も困難なので、次の前提の手順にしています。
- 各パッケージは、ソースコード（.tgz）からビルド・インストールします。
- ビルドのためのパッケージの展開先は、ホームディレクトリ直下のwork（~/work）とします。
- パッケージのインストール先は、ホームディレクトリ直下のlocalディレクトリ（$HOME/local）とします。

インストール手順

使用するディレクトリ、パッケージのバージョンなどは、ご所望の環境に応じて適宜変更してください。
$HOMEは~/と同じパスを示しています。

libffiのインストール

インストール先として$HOME/localを指定し、ビルド・インストールします。

$ cd ~/$ mkdir work$ cd work/$ wget https://github.com/libffi/libffi/releases/download/v3.4.4/libffi-3.4.4.tar.gz$ tar xvfz libffi-3.4.4.tar.gz$ cd libffi-3.4.4$ ./configure --prefix=$HOME/local$ make$ make install

$ cd ~/

$ mkdir work

$ cd work/

$ wget https://github.com/libffi/libffi/releases/download/v3.4.4/libffi-3.4.4.tar.gz

$ tar xvfz libffi-3.4.4.tar.gz

$ cd libffi-3.4.4

$ ./configure --prefix=$HOME/local

$ make

$ make install

opensslのインストール

インストール先として$HOME/localを指定し、ビルド・インストールします。

$ cd ~/work$ wget --no-check-certificate https://www.openssl.org/source/openssl-3.2.0.tar.gz$ tar xvfz openssl-3.2.0.tar.gz$ cd openssl-3.2.0$ ./Configure --prefix=$HOME/local$ make$ make install

$ cd ~/work

$ wget --no-check-certificate https://www.openssl.org/source/openssl-3.2.0.tar.gz

$ tar xvfz openssl-3.2.0.tar.gz

$ cd openssl-3.2.0

$ ./Configure --prefix=$HOME/local

$ make

$ make install

pythonのインストール

インストール先として$HOME/localを指定し、ビルド・インストールします。
python3, pip3という名称でインストールされるので、python, pipで実行できるようシンボリックリンクを作成します。

$ cd ~/work$ wget https://www.python.org/ftp/python/3.11.7/Python-3.11.7.tgz$ tar xvfz Python-3.11.7.tgz$ cd Python-3.11.7$ ./configure --prefix=$HOME/local LDFLAGS="-L $HOME/local/lib64" CPPFLAGS="-I $HOME/local/include"$ export LD_LIBRARY_PATH="$HOME/local/lib64"$ make$ make install$ cd ~/local/bin$ ln -s python3.11 python$ ln -s pip3.11 pip

$ cd ~/work

$ wget https://www.python.org/ftp/python/3.11.7/Python-3.11.7.tgz

$ tar xvfz Python-3.11.7.tgz

$ cd Python-3.11.7

$ ./configure --prefix=$HOME/local LDFLAGS="-L $HOME/local/lib64" CPPFLAGS="-I $HOME/local/include"

$ export LD_LIBRARY_PATH="$HOME/local/lib64"

$ make

$ make install

$ cd ~/local/bin

$ ln -s python3.11 python

$ ln -s pip3.11 pip

configureでは、pythonのインストール先を指定します。（--prefix $HOME/local）
前述の手順でインストールしたlibffi, opensslのライブラリやインクルードファイルを参照できるよう、リンカーオプション（LDFLAGS）、コンパイラオプション（CPPFLAGS）を指定します。
make実行時に”Following modules built successfully but were removed because they could not be imported”という警告が出力されます。これを回避するために、環境変数LD_LIBRARY_PATH（コマンド実行時にライブラリを探索するパス）を宣言しています。詳細は参考をご覧ください。
configureにて--with-openssl等のSSLオプションを指定していません。リンカーオプション（LDFLAGS）で適切なOpenSSLライブラリを参照できれば、自動的にSSL（pythonのssl系モジュール）が有効になるようです。

configureで有効になったpythonモジュールは、config.logで確認できます。

$ grep -1 _ssl config.log configure:25458: result: yes configure:25463: checking for stdlib extension module _ssl configure:25493: result: yes -- ac_cv_working_openssl_hashlib=yes ac_cv_working_openssl_ssl=yes ac_cv_working_signed_char_c=yes -- py_cv_module__sqlite3=disabled py_cv_module__ssl=yes py_cv_module__statistics=yes

$ grep -1 _ssl config.log

configure:25458: result: yes

configure:25463: checking for stdlib extension module _ssl

configure:25493: result: yes

ac_cv_working_openssl_hashlib=yes

ac_cv_working_openssl_ssl=yes

ac_cv_working_signed_char_c=yes

py_cv_module__sqlite3=disabled

py_cv_module__ssl=yes

py_cv_module__statistics=yes

動作確認

pythonコマンドが実行可能なこと、バージョンが3.11になっていることを確認します。
利用可能なモジュールとして、_ctypes, _sslが表示されることを確認します。

$ ~/local/bin/python3 --version Python 3.11.7$ ~/local/bin/pip3 list Package Version ---------- ------- pip  23.2.1 setuptools 65.5.0$ ~/local/bin/python3 -c "help('modules')" __future__ _testimportmultiple getpass sched __hello__  _testinternalcapigettext secrets __phello__ _testmultiphase  glob select ... _ctypes base64  logging struct ... _ssl faulthandler  pydoc_data xml ...

$ ~/local/bin/python3 --version

Python 3.11.7

$ ~/local/bin/pip3 list

Package Version

---------- -------

pip 23.2.1

setuptools 65.5.0

$ ~/local/bin/python3 -c "help('modules')"

__future__ _testimportmultiple getpass sched

__hello__ _testinternalcapi gettext secrets

__phello__ _testmultiphase glob select

...

_ctypes base64 logging struct

...

_ssl faulthandler pydoc_data xml

...

その他の設定

pythonコマンドが正しいライブラリを参照できるようLD_LIBRARY_PATHを追加します。
また、インストールしたpython, pipコマンドを使用できるようパスを変更します。

$ cd ~/$ vi .bashrc （最後に次の２行を追加） export LD_LIBRARY_PATH="$HOME/local/lib64" export PATH="~/local/bin:$PATH"$ . .bashrc$ python --version Python 3.11.7$ pip --version pip 23.2.1 from /home/xxx/local/lib/python3.11/site-packages/pip (python 3.11)

$ cd ~/

$ vi .bashrc

（最後に次の２行を追加）

export LD_LIBRARY_PATH="$HOME/local/lib64"

export PATH="~/local/bin:$PATH"

$ . .bashrc

$ python --version

Python 3.11.7

$ pip --version

pip 23.2.1 from /home/xxx/local/lib/python3.11/site-packages/pip (python 3.11)

参考

ネットに情報がほとんどなかったので独自に解決しました。

ffi.hが見つからないエラー

pythonのmake実行時に次の警告が出力されます。

$ ./configure --prefix=$HOME/local$ make/home/xxx/work/Python-3.11.7/Modules/_ctypes/_ctypes.c:118:17: fatal error: ffi.h: No such file or directory #include <ffi.h>  ^compilation terminated.*** WARNING: renaming "_ssl" since importing it failed: libssl.so.3: cannot open shared object file: No such file or directory*** WARNING: renaming "_hashlib" since importing it failed: libcrypto.so.3: cannot open shared object file: No such file or directory...Failed to build these modules:_ctypesFollowing modules built successfully but were removed because they could not be imported:_hashlib  _sslCould not build the ssl module!Python requires a OpenSSL 1.1.1 or newerCustom linker flags may require --with-openssl-rpath=auto

$ ./configure --prefix=$HOME/local

$ make

/home/xxx/work/Python-3.11.7/Modules/_ctypes/_ctypes.c:118:17: fatal error: ffi.h: No such file or directory

#include <ffi.h>

compilation terminated.

*** WARNING: renaming "_ssl" since importing it failed: libssl.so.3: cannot open shared object file: No such file or directory

*** WARNING: renaming "_hashlib" since importing it failed: libcrypto.so.3: cannot open shared object file: No such file or directory

...

Failed to build these modules:

_ctypes

Following modules built successfully but were removed because they could not be imported:

_hashlib _ssl

Could not build the ssl module!

Python requires a OpenSSL 1.1.1 or newer

Custom linker flags may require --with-openssl-rpath=auto

C言語ライブラリを呼び出すためのライブラリctypesをビルドする際に、libffiが提供するこのヘッダファイルが必要になるようです。
既存環境では見つけられなかったので、libffiをインストールします。（ここでは~/localにインストールする想定なので、当該ヘッダファイルは~/local/includeに配置されます。）
コンパイル時にこのヘッダファイルを見つけられるよう、configureオプションにCPPFLAGS="-I $HOME/local/include"を指定します。
なお、_hashlib, _sslモジュールのエラーも併せて出力されますが、ctypesの問題解後に解消されました。（_hashlib, _sslはctypesを使用してOpenSSLのC言語ライブラリを参照しており、ctypesのエラーでOpeneSSLを参照できずにエラーになっていると思われます。）

共有ライブラリが見つからないエラー

pythonのmake実行時に次の警告が出力されます。

$ ./configure --prefix=$HOME/local LDFLAGS="-L $HOME/local/lib64" CPPFLAGS="-I $HOME/local/include"$ make...*** WARNING: renaming "_ssl" since importing it failed: libssl.so.3: cannot open shared object file: No such file or directory*** WARNING: renaming "_hashlib" since importing it failed: libcrypto.so.3: cannot open shared object file: No such file or directory*** WARNING: renaming "_ctypes" since importing it failed: libffi.so.8: cannot open shared object file: No such file or directory...Following modules built successfully but were removed because they could not be imported:_ctypes_hashlib  _sslCould not build the ssl module!Python requires a OpenSSL 1.1.1 or newerCustom linker flags may require --with-openssl-rpath=auto

$ ./configure --prefix=$HOME/local LDFLAGS="-L $HOME/local/lib64" CPPFLAGS="-I $HOME/local/include"

$ make

...

*** WARNING: renaming "_ssl" since importing it failed: libssl.so.3: cannot open shared object file: No such file or directory

*** WARNING: renaming "_hashlib" since importing it failed: libcrypto.so.3: cannot open shared object file: No such file or directory

*** WARNING: renaming "_ctypes" since importing it failed: libffi.so.8: cannot open shared object file: No such file or directory

...

Following modules built successfully but were removed because they could not be imported:

_ctypes _hashlib _ssl

Could not build the ssl module!

Python requires a OpenSSL 1.1.1 or newer

Custom linker flags may require --with-openssl-rpath=auto

“built successfully”と出力されているのでビルドは成功しているようですが、ビルドしたpythonコマンドの実行に失敗していると考えました。（コンパイル時は、LDFLAGSオプションを指定することでlibffi, opensselライブラリを参照できているが、ビルドしたpythonを単体で実行するとそれらのライブラリを参照できず、”cannot open shared object”になっている。）
pythonコマンド実行時に新しいlibffi, opensslライブラリを見つけられるよう、環境変数LD_LIBRARY_PATHを宣言します。（LD_LIBRARY_PATH="$HOME/local/lib64"）