Berkenaan isu kompilasi silang perpustakaan pihak ketiga dalam Python

Artikel ini membawakan anda pengetahuan yang berkaitan tentang Python, yang terutamanya memperkenalkan isu tentang kompilasi silang perpustakaan pihak ketiga merujuk kepada penjanaan kod boleh laku pada satu platform pada platform lain. Mari kita lihat, I semoga ianya bermanfaat kepada semua.

[Cadangan berkaitan: Python3 video tutorial]

1 banyak artikel tentang kompilasi, tetapi terdapat sedikit artikel tentang kompilasi silang perpustakaan ketiga python, dan banyak tajuk adalah mengenai kompilasi silang perpustakaan pihak ketiga, tetapi sebenarnya mereka semua adalah perpustakaan yang boleh digunakan tanpa kompilasi silang. Rujukannya tidak kukuh Baru-baru ini, terdapat banyak perangkap dalam kompilasi silang Python dan perpustakaan pihak ketiganya.

2. Pengenalan kepada kompilasi silang:

　1. Apakah itu kompilasi silang: menjana kod boleh laku pada satu platform pada platform lain.

2. Mengapa kompil silang: Apabila membangunkan sistem terbenam, platform sasaran di mana program dijalankan biasanya mempunyai ruang storan dan kuasa pengkomputeran yang terhad, seperti platform ARM biasa, yang ruang storan statik amnya agak Kecil, dan kuasa pengkomputeran CPU lemah. Dalam kes ini, kompilasi asli pada platform ARM adalah mustahil Untuk menyelesaikan masalah ini, alat kompilasi silang telah wujud. Melalui alatan kompilasi silang, kami boleh menyusun atur cara boleh laku untuk platform lain pada platform hos dengan keupayaan CPU yang kuat dan kawalan storan yang mencukupi (seperti PC).

3. Latar belakang kompilasi silang Python dan perpustakaan pihak ketiganya

1. Rantaian kompilasi silang: rv1126-arm-buildroot-linux-gnueabihf-toolchain.tar.bz2

2. Papan sasaran (hos sasaran): armv7l

3. Hos yang melakukan penyuntingan silang (bina hos): ubuntu18-x86_64

4. versi python: 3.5.2

5. numpy==1.18.5

4. Persediaan untuk kompilasi silang

Hos binaan ialah mesin maya baharu ubuntu18 yang saya pasang, jadi ia tidak 'tiada pun gcc

1. Pasang gcc: sudo apt-get install gcc-8 -y

2. Tentukan gcc-8 sebagai gcc lalai: sudo ln -s /usr/ bin/gcc-8 /usr/bin/gcc

　3. Pasang cmake: sudo apt-get install make cmake -y

4 -dev to cross-compile python Kebergantungan yang diperlukan: sudo apt-get install libffi-dev

5. Pasang zip dan nyahmampat pakej termampat menggunakan: sudo apt-get install zip -y

5 . Kompil silang ular sawa dan pihak ketiganya. menyusun perpustakaan openssl pada hos binaan Walaupun ini bukan pemasangan kod sumber Perpustakaan bergantung yang diperlukan, tetapi kebanyakan perpustakaan lain boleh menggunakan perpustakaan ini

3. Pasang versi python pada hos binaan pada hos binaan. , kita menjadi binaan ular sawa

4. Susun silang versi ular sawa pada hos sasaran pada hos binaan, yang kami panggil sasaran-sawang

5. Bina sawa-sasaran yang berjalan maya persekitaran melalui crossenv pada hos binaan

6. Dalam persekitaran maya crossenv, gunakan pip untuk membungkus dan menyusun silang perpustakaan pihak ketiga ke dalam format .whl

6. Sediakan alatan kompilasi silang

1. Buka zip rantai kompilasi silang: terangkan penggunaan platform yang berbeza Rantaian kompilasi silang berbeza, tetapi idea dan langkahnya adalah sama.

Selepas penyahmampatan, anda akan mendapat folder bernama hos.

tar jxvf rv1126-arm-buildroot-linux-gnueabihf-toolchain.tar.bz2

2. Masukkan direktori hos: hos cd

3. Jalankan arahan relocate-sdk.sh: ./relocate-sdk.sh (bukan semua silang Langkah ini diperlukan untuk rantai kompilasi)

4. Tambahkan rantai kompilasi silang pada pembolehubah persekitaran: vim /etc/profile

5. Tambah pada penghujung: export PATH =$PATH:/home Laluan di sini dalam /host/bin boleh diubah suai mengikut laluan sebenar anda.

6. Muat semula pembolehubah persekitaran: sumber /etc/profile

7. Ujian: arm-buildroot-linux-gnueabihf-gcc -v　

7. Sediakan openssl-build

Di sini saya telah menyediakan pakej termampat openssl-1.0.2g.tar.gz. 1 versi tidak sesuai untuk python3.5.2 dan selalu mengalami masalah, jadi di sini saya menggunakan versi openssl-1.0.2

1. Buka zip pakej kod sumber Saya mempunyai semua pakej kod sumber ini di bawah laluan /home: tar -xzvf openssl-1.0.2g.tar.gz

　　2、对压缩包进行重命名，区分是在build主机上用的还是在target主机上用的，在build主机上用的我都统一在后面加上_build，在target主机上使用的统一在后面加上_target

mv openssl-1.0.2g openssl-1.0.2g-build

　　3、cd openssl-1.0.2g-build

　　4、设置编译环境：./config --prefix=/home/openssl-1.0.2g-build/openssl-build

　　　　其中： --prefix是指定编译后的安装的路径

　　5、执行编译安装：make && make install 此时在/home/openssl-1.0.2g-build里面就会有openssl-build文件夹　　

　　6、因为安装的ubuntu18中默认的openssl是1.1.1，我们需要换成我们的openssl-1.0.2g

　　　 把以前的备份：sudo mv /usr/bin/openssl /usr/bin/openssl.old

　　7、建立新的软连接：sudo ln -s /home/openssl-1.0.2g-build/openssl-build/bin/openssl /usr/bin/openssl

　　8、编辑链接文件：vim /etc/ld.so.conf.d/libc.conf

　　9、在libc.conf文件中添加：/usr/openssl-1.0.2g-build/openssl-build/lib

　　10、重新加载配置：ldconfig

　　11、测试：openssl version ，已经变成1.0.2g版本了

八、准备openssl-target

　　1、同样是再次解压openssl源码包，这次解压的源码包用来交叉编译给target-python使用的：tar -xzvf openssl-1.0.2g.tar.gz

　　2、更改名字：mv openssl-1.0.2g openssl-1.0.2g-target

　　3、cd openssl-1.0.2g-target

　　4、设置编译环境：./config no-asm --shared --cross-compile-prefix=arm-buildroot-linux-gnueabihf- --prefix=/home/openssl-1.0.2g-target/openssl-target

　　　　解释：no-asm ：加上no-asm 表示不使用汇编代码加速编译，不然会报错

　　　　　　　--cross-compile： 指定交叉编译链的前缀，这样在交叉编译openssl就会使用我们的交叉编译链进行交叉编译了

　　　　　　 --prefix: 已经是交叉编译后的路径

　　5、在编译后生成的Makefile中有两处是 -m64 的标记要删除，因为交叉编译后是在32位的板子上运行，所以这一步也要改：sed -i 's/-m64//' Makefile

　　6、执行编译安装：make && make install

　　目前我们就把openssl-build和openssl-target都准备好了

九、准备zlib-build

　　1、解压源码包：unzip zlib1211.zip

　　2、改名：mv zlib-1.2.11 zlib-1.2.11-build

　　3、cd zlib-1.2.11-build

　　4、设置编译环境：./configure --prefix=/home/zlib-1.2.11-build/zlib-build

　　5、执行编译安装：make && make install

十、准备zlib-target

　　1、解压源码包：unzip zlib1211.zip

　　2、改名：mv zlib-1.2.11 zlib-1.2.11-target

　　3、cd zlib-1.2.11-target

　　4、设置交叉编译器：export CC=arm-buildroot-linux-gnueabihf-gcc 通过export 设置的环境变量都是临时一次性的，当shell窗口关闭了就失效了

　　5、设置编译环境：./configure --prefix=/home/zlib-1.2.11-target/zlib-target --enable-shared

　　6、执行编译安装：make && make install

　　目前我们也已经包zlib-build和zlib-target准备好了

十一、准备ctypes-build

　　这一步已经在准备工作中做了：sudo apt-get install libffi-dev

十二、准备ctypes-target

　　1、解压源码包：tar -xzvf libffi-3.2.1.tar.gz

　　2、改名：mv libffi-3.2.1 libffi-3.2.1-target

　　3、cd libffi-3.2.1-target

　　4、设置交叉编译器：export CC=arm-buildroot-linux-gnueabihf-gcc 如果这一步在准备zlib-target没有关闭shell窗口的时候，可以不用设置，因为已经设置过了，但是如果关了窗口就要重新设置了

　　5、设置编译环境：./configure CC=arm-buildroot-linux-gnueabihf-gcc --host=arm-buildroot-linux-gnueabihf --build=x86_64-linux-gnu target=arm-buildroot-linux-gnueabihf --enable-shared --prefix=/home/libffi-3.2.1-target/libffi-target

　　6、执行编译安装：make && make install

　　目前ctypes-build和ctypes-target也准备好了

十三、编译python-build

　　1、解压源码：tar xvf Python-3.5.2.tgz

　　2、改名：mv Python-3.5.2 python-3.5.2-build

　　3、cd /home/python-3.5.2-build

　　4、修改 Modules/Setup.dist文件：vim Modules/Setup.dist

　　　　a、修改关于openssl部分

　　　　b、修改关于zlib部分

　　5、将之前设置的交叉编译器改为默认的编译器：export CC= 这里=后面什么都不赋值就表示设置为空，这样就会去找默认的gcc了

　　6、设置编译环境，./configure --prefix=/home/python-build --without-ensurepip

　　　　　--without-ensurepip：不安装pip，因为默认安装的pip版本太低了，所以一会我们自己安装pip

　　7、执行安装编译：make && make install

　　8、cd /home/python-build/bin

　　9、下载pip文件：curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　10、安装pip: ./python3 get-pip.py

　　11、将该python-build添加到环境变量，设置为build主机上默认的python: export PATH=/home/python-build/bin:$PATH

　　12、安装Cython:pip3 install Cython

　　13、测试：python3

十四：编译python-targer

　　1、解压源码包：tar xvf Python-3.5.2.tgz

　　2、改名：mv Python-3.5.2 python-3.5.2-target

　　3、cd python-3.5.2-target

　　4、创建文件夹：mkdir /home/python-target

　　5、将之前准备的openssl-targer、zlib-targer、cytpes-targer的头文件和链接库复制到/home/python-targer

　　　　cp -rfp /home/zlib-1.2.11-target/zlib-target/* /home/python-target/

　　　　cp -rfp /home/libffi-3.2.1-target/libffi-target/* /home/python-target/

　　　　cp -rfp /home/openssl-1.0.2g-target/openssl-target/* /home/python-target/

　　6、设置CFLAGS:CFLAGS="-I/home/python-target/include -I/home/python-target/include/python3.5m -L/home/python-target/lib"

　　7、设置LDFLAGS:LDFLAGS="-L/home/python-target/lib"

　　8、vim Modules/Setup.dist

　　9、设置编译环境：注意这里我为了方便看，手动的给每个参数换行了，实际使用中不应该换行的

./configure CC=arm-buildroot-linux-gnueabihf-gcc 
CXX=arm-buildroot-linux-gnueabihf-g++ 
AR=arm-buildroot-linux-gnueabihf-ar 
RANLIB=arm-buildroot-linux-gnueabihf-ranlib 
--host=arm-buildroot-linux-gnueabihf 
--build=x86_64-linux-gnu 
--target=arm-buildroot-linux-gnueabihf 
--disable-ipv6 
ac_cv_file__dev_ptmx=yes 
ac_cv_file__dev_ptc=yes 
--prefix=/home/python-target 
--without-ensurepip

　　10、编译：make HOSTPYTHON=/home/python-build/bin/python3 HOSTPGEN=/home/python-3.5.2-build/Parser/pgen

　 11、执行：make install HOSTPYTHON=/home/python-build/bin/python3

　　目前位置我们就在build主机上已经编译好了python-build和python-target

十五、通过crossenv交叉编译第三方库例如：numpy

　　1、在build主机上使用python-build搭建python-target的虚拟环境，然后再虚拟环境中打包python-target的第三方库，这里以numpy为例：因为numpy是需要经过交叉编译才能使用的。

　　2、cd /home/python-build/bin

　　3、安装crossenv:./pip3 install crossenv

　　4、使用crossenv代表python-target的虚拟环境：./python3 -m crossenv --without-pip /home/python-target/bin/python3 cross_venv

　　5、cd cross_venv/cross/bin

　　6、激活虚拟环境：source activate

　　7、curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　8、./python3 get-pip.py

　　9、在cross_venv这个虚拟环境中的安装Cython：./pip3 install Cython

　　10、创建文件夹用来存放编译后的第三方：mkdir /home/target_lib

　　11、创建requestments.txt：vim requirements.txt 里面写上numpy

　　12、交叉编译第三方库成为.whl格式的安装包：./pip3 wheel --wheel-dir /home/target_lib -r requirements.txt

　　13、验证：cd /home/target_lib

　　14、注意，这里我们使用crossenv交叉编译后的numpy第三方库的后缀是linux_arm，而我们的目标板子是armv7l的，所以这里我们要手动的将

　　　　numpy-1.18.5-cp35-cp35m-linux_arm.whl改为numpy-1.18.5-cp35-cp35m-linux_armv7l.whl。不然会报错。这个坑，一直坑了我一个月的时间，尝试了很多方法，不知道是编译链的问题，还是编译过程的问题。将交叉编译后的numpy的.whl文件移植到目标板子的中，总是报错，突然灵光一闪，就手动改个名字，居然可以了，这坑简直是巨坑，坑了一个月的时间。

十六、移植到目标板子

　　将编译好的python-target打包 和 numpy-1.18.5-cp35-cp35m-linux_arm.whl(先不改名，移植到目标板子上在改名)移植到目标板子上

　　1、压缩python-target:tar cvf python-target.tar python-target

　　2、通过ftp工具，将python-target.tar和numpy-1.18.5-cp35-cp35m-linux_arm.whl ,移植到目标板子的/home下

　 3、解压python-target:tar xvf python-target.tar

　　4、cd /home/python-target/bin

　　5、验证在目标板子上运行python3

　　6、验证交叉编译的第三方

　　　　1、先下载pip:curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　　　2、安装pip:./python3 get-pip.py

　　　　3、配置pip源

　　　　　　a、mkdir ~/.pip

　　　　　　b、vi ~/.pip/pip.conf

　　　　　　c、添加如下代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple 
trusted-host = pypi.tuna.tsinghua.edu.cn

　　　　4、验证pip

　　　　5、通过pip安装未改名的numpy第三方库:这是会报错：numpy-1.18.5-cp35-cp35m-linux_arm.whl is not a supported wheel on this platform.

　　　　6、改名:mv /home/numpy-1.18.5-cp35-cp35m-linux_arm.whl /home/numpy-1.18.5-cp35-cp35m-linux_armv7l.whl

　　　　 7、重新安装验证：　　　　　　　　

到此python3及python需要的第三方库，类似numpy这样需要交叉编译的第三方库就完成了！其中其他库不一定都是完全一样的，但是大致流程是一样的可以参考借鉴。

【相关推荐：Python3视频教程 】

Atas ialah kandungan terperinci Berkenaan isu kompilasi silang perpustakaan pihak ketiga dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!