Python에서 타사 라이브러리의 크로스 컴파일 문제에 대해

이 글에서는 주로 타사 라이브러리의 크로스 컴파일에 관한 문제를 소개합니다. 크로스 컴파일은 한 플랫폼에서 다른 플랫폼에서 실행 가능한 코드를 생성하는 것을 의미합니다. 그것이 모두에게 도움이 되기를 바랍니다.

[관련 추천 : Python3 동영상 튜토리얼 ]

1. 머리말 :

인터넷에 파이썬 크로스 컴파일에 대한 글은 많지만, 파이썬 3차 라이브러리 크로스 컴파일에 대한 글은 상대적으로 적습니다. 많은 제목들이 타사 라이브러리의 크로스 컴파일을 언급하고 있지만 실제로는 크로스 컴파일 없이도 사용할 수 있는 라이브러리를 사용하고 있으며, 최근에는 Python의 크로스 컴파일에 대한 비판이 많이 있습니다. 그리고 타사 라이브러리도 있습니다. 젠장, 녹음해 보세요!

2. 크로스 컴파일 소개:

　1. 크로스 컴파일이란: 한 플랫폼에서 다른 플랫폼에서 실행 가능한 코드를 생성하는 것입니다.

　2. 크로스 컴파일하는 이유: 임베디드 시스템을 개발할 때 일반적으로 프로그램이 실행되는 대상 플랫폼은 저장 공간과 컴퓨팅 성능이 제한되어 있습니다. 예를 들어 일반적인 ARM 플랫폼은 상대적으로 작은 정적 저장 공간과 CPU를 갖습니다. 약한 컴퓨팅 능력. 이런 경우 ARM 플랫폼에서는 네이티브 컴파일이 불가능하다. 이 문제를 해결하기 위해 크로스 컴파일 도구가 등장했다. 크로스 컴파일 도구를 통해 강력한 CPU 기능과 충분한 스토리지 제어(예: PC)를 갖춘 호스트 플랫폼에서 다른 플랫폼용 실행 프로그램을 컴파일할 수 있습니다.

3. Python 및 타사 라이브러리의 크로스 컴파일 배경

　1. 크로스 컴파일 체인: rv1126-arm-buildroot-linux-gnueabihf-toolchain.tar.bz2

　2. 대상 보드(대상 호스트) : armv7l

　3. 크로스 편집을 수행하는 호스트(빌드 호스트): ubuntu18-x86_64

　4. python 버전: 3.5.2

　5.numpy==1.18.5

4. 크로스 컴파일 준비

　빌드 호스트는 ubuntu18이라는 새로운 가상 머신을 새로 설치해서 gcc도 없습니다

　1. gcc 설치: sudo apt-get install gcc-8 -y

　2. gcc-8 지정 기본 gcc로: sudo ln -s /usr/bin/gcc-8 /usr/bin/gcc

　　　3. cmake 설치: sudo apt-get install make cmake -y

4. . Python 크로스 컴파일에 필요한 종속성: sudo apt-get install libffi-dev

　5. zip을 설치하고 다음을 사용하여 압축 패키지의 압축을 풉니다. sudo apt-get install zip -y

5 Python 및 해당 항목의 크로스 컴파일 아이디어 제3자

　1. 빌드 호스트 zlib 라이브러리에서 크로스 컴파일합니다. 이는 Python 소스 코드 설치에 필요한 종속 라이브러리입니다.

　2. 빌드 호스트에서 openssl 라이브러리를 크로스 컴파일하는 것은 필수 종속 라이브러리는 아닙니다. 소스 코드 설치를 위해 대부분의 다른 라이브러리는 이 라이브러리를 사용할 수 있습니다

　3, 빌드 호스트의 빌드 호스트에 Python 버전을 설치하고 이를 python-build

　4라고 합니다. 대상 호스트에서 Python 버전을 크로스 컴파일합니다. 빌드 호스트를 python-target

　5. 빌드 호스트에서 crossenv

　6를 통해 target-python의 실행 중인 가상 환경을 빌드합니다. 6. crossenv 가상 환경에서 pip를 사용하여 타사 라이브러리를 패키징하고 크로스 컴파일합니다. .whl 형식으로

6. 크로스 컴파일 도구 준비

　1. 크로스 컴파일 체인 압축 해제: 지침 플랫폼마다 서로 다른 크로스 컴파일 체인을 사용하지만 아이디어와 단계는 동일합니다.

tar jxvf rv1126-arm-buildroot-linux-gnueabihf-toolchain.tar.bz2

　　압축을 풀면 호스트라는 폴더가 생깁니다.

　2. 호스트 디렉터리 입력: cd 호스트

　3. relocate-sdk.sh 명령 실행: ./relocate-sdk.sh　(모든 크로스 컴파일 체인에 이 단계가 필요한 것은 아닙니다)

　4. 변환 the cross 환경 변수에 컴파일 체인을 추가하세요: vim /etc/profile

　5. 끝에 추가하세요: 내보내기 PATH=$PATH:/home/host/bin 여기의 경로는 실제 경로에 따라 수정될 수 있습니다.

　6. 환경 변수 다시 로드: source /etc/profile

　7. 테스트: arm-buildroot-linux-gnueabihf-gcc -v　

7 여기에서 이미 준비했습니다. openssl-1.0.2g.tar.gz의 압축 패키지가 준비되어 있습니다. 여기서는 openssl-1.1.1 버전을 시도했지만 python3.5.2에는 적합하지 않고 항상 문제가 있으므로 여기서는 openssl- 버전 1.0을 사용합니다. 2

　　1. 소스 코드 패키지의 압축을 풀고 이러한 소스 코드 패키지를 /home 경로에 넣습니다: tar -xzvf openssl-1.0.2g.tar.gz

　　2、对压缩包进行重命名，区分是在build主机上用的还是在target主机上用的，在build主机上用的我都统一在后面加上_build，在target主机上使用的统一在后面加上_target

mv openssl-1.0.2g openssl-1.0.2g-build

　　3、cd openssl-1.0.2g-build

　　4、设置编译环境：./config --prefix=/home/openssl-1.0.2g-build/openssl-build

　　　　其中： --prefix是指定编译后的安装的路径

　　5、执行编译安装：make && make install 此时在/home/openssl-1.0.2g-build里面就会有openssl-build文件夹　　

　　6、因为安装的ubuntu18中默认的openssl是1.1.1，我们需要换成我们的openssl-1.0.2g

　　　 把以前的备份：sudo mv /usr/bin/openssl /usr/bin/openssl.old

　　7、建立新的软连接：sudo ln -s /home/openssl-1.0.2g-build/openssl-build/bin/openssl /usr/bin/openssl

　　8、编辑链接文件：vim /etc/ld.so.conf.d/libc.conf

　　9、在libc.conf文件中添加：/usr/openssl-1.0.2g-build/openssl-build/lib

　　10、重新加载配置：ldconfig

　　11、测试：openssl version ，已经变成1.0.2g版本了

八、准备openssl-target

　　1、同样是再次解压openssl源码包，这次解压的源码包用来交叉编译给target-python使用的：tar -xzvf openssl-1.0.2g.tar.gz

　　2、更改名字：mv openssl-1.0.2g openssl-1.0.2g-target

　　3、cd openssl-1.0.2g-target

　　4、设置编译环境：./config no-asm --shared --cross-compile-prefix=arm-buildroot-linux-gnueabihf- --prefix=/home/openssl-1.0.2g-target/openssl-target

　　　　解释：no-asm ：加上no-asm 表示不使用汇编代码加速编译，不然会报错

　　　　　　　--cross-compile： 指定交叉编译链的前缀，这样在交叉编译openssl就会使用我们的交叉编译链进行交叉编译了

　　　　　　 --prefix: 已经是交叉编译后的路径

　　5、在编译后生成的Makefile中有两处是 -m64 的标记要删除，因为交叉编译后是在32位的板子上运行，所以这一步也要改：sed -i 's/-m64//' Makefile

　　6、执行编译安装：make && make install

　　目前我们就把openssl-build和openssl-target都准备好了

九、准备zlib-build

　　1、解压源码包：unzip zlib1211.zip

　　2、改名：mv zlib-1.2.11 zlib-1.2.11-build

　　3、cd zlib-1.2.11-build

　　4、设置编译环境：./configure --prefix=/home/zlib-1.2.11-build/zlib-build

　　5、执行编译安装：make && make install

十、准备zlib-target

　　1、解压源码包：unzip zlib1211.zip

　　2、改名：mv zlib-1.2.11 zlib-1.2.11-target

　　3、cd zlib-1.2.11-target

　　4、设置交叉编译器：export CC=arm-buildroot-linux-gnueabihf-gcc 通过export 设置的环境变量都是临时一次性的，当shell窗口关闭了就失效了

　　5、设置编译环境：./configure --prefix=/home/zlib-1.2.11-target/zlib-target --enable-shared

　　6、执行编译安装：make && make install

　　目前我们也已经包zlib-build和zlib-target准备好了

十一、准备ctypes-build

　　这一步已经在准备工作中做了：sudo apt-get install libffi-dev

十二、准备ctypes-target

　　1、解压源码包：tar -xzvf libffi-3.2.1.tar.gz

　　2、改名：mv libffi-3.2.1 libffi-3.2.1-target

　　3、cd libffi-3.2.1-target

　　4、设置交叉编译器：export CC=arm-buildroot-linux-gnueabihf-gcc 如果这一步在准备zlib-target没有关闭shell窗口的时候，可以不用设置，因为已经设置过了，但是如果关了窗口就要重新设置了

　　5、设置编译环境：./configure CC=arm-buildroot-linux-gnueabihf-gcc --host=arm-buildroot-linux-gnueabihf --build=x86_64-linux-gnu target=arm-buildroot-linux-gnueabihf --enable-shared --prefix=/home/libffi-3.2.1-target/libffi-target

　　6、执行编译安装：make && make install

　　目前ctypes-build和ctypes-target也准备好了

十三、编译python-build

　　1、解压源码：tar xvf Python-3.5.2.tgz

　　2、改名：mv Python-3.5.2 python-3.5.2-build

　　3、cd /home/python-3.5.2-build

　　4、修改 Modules/Setup.dist文件：vim Modules/Setup.dist

　　　　a、修改关于openssl部分

　　　　b、修改关于zlib部分

　　5、将之前设置的交叉编译器改为默认的编译器：export CC= 这里=后面什么都不赋值就表示设置为空，这样就会去找默认的gcc了

　　6、设置编译环境，./configure --prefix=/home/python-build --without-ensurepip

　　　　　--without-ensurepip：不安装pip，因为默认安装的pip版本太低了，所以一会我们自己安装pip

　　7、执行安装编译：make && make install

　　8、cd /home/python-build/bin

　　9、下载pip文件：curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　10、安装pip: ./python3 get-pip.py

　　11、将该python-build添加到环境变量，设置为build主机上默认的python: export PATH=/home/python-build/bin:$PATH

　　12、安装Cython:pip3 install Cython

　　13、测试：python3

十四：编译python-targer

　　1、解压源码包：tar xvf Python-3.5.2.tgz

　　2、改名：mv Python-3.5.2 python-3.5.2-target

　　3、cd python-3.5.2-target

　　4、创建文件夹：mkdir /home/python-target

　　5、将之前准备的openssl-targer、zlib-targer、cytpes-targer的头文件和链接库复制到/home/python-targer

　　　　cp -rfp /home/zlib-1.2.11-target/zlib-target/* /home/python-target/

　　　　cp -rfp /home/libffi-3.2.1-target/libffi-target/* /home/python-target/

　　　　cp -rfp /home/openssl-1.0.2g-target/openssl-target/* /home/python-target/

　　6、设置CFLAGS:CFLAGS="-I/home/python-target/include -I/home/python-target/include/python3.5m -L/home/python-target/lib"

　　7、设置LDFLAGS:LDFLAGS="-L/home/python-target/lib"

　　8、vim Modules/Setup.dist

　　9、设置编译环境：注意这里我为了方便看，手动的给每个参数换行了，实际使用中不应该换行的

./configure CC=arm-buildroot-linux-gnueabihf-gcc 
CXX=arm-buildroot-linux-gnueabihf-g++ 
AR=arm-buildroot-linux-gnueabihf-ar 
RANLIB=arm-buildroot-linux-gnueabihf-ranlib 
--host=arm-buildroot-linux-gnueabihf 
--build=x86_64-linux-gnu 
--target=arm-buildroot-linux-gnueabihf 
--disable-ipv6 
ac_cv_file__dev_ptmx=yes 
ac_cv_file__dev_ptc=yes 
--prefix=/home/python-target 
--without-ensurepip

　　10、编译：make HOSTPYTHON=/home/python-build/bin/python3 HOSTPGEN=/home/python-3.5.2-build/Parser/pgen

　 11、执行：make install HOSTPYTHON=/home/python-build/bin/python3

　　目前位置我们就在build主机上已经编译好了python-build和python-target

十五、通过crossenv交叉编译第三方库例如：numpy

　　1、在build主机上使用python-build搭建python-target的虚拟环境，然后再虚拟环境中打包python-target的第三方库，这里以numpy为例：因为numpy是需要经过交叉编译才能使用的。

　　2、cd /home/python-build/bin

　　3、安装crossenv:./pip3 install crossenv

　　4、使用crossenv代表python-target的虚拟环境：./python3 -m crossenv --without-pip /home/python-target/bin/python3 cross_venv

　　5、cd cross_venv/cross/bin

　　6、激活虚拟环境：source activate

　　7、curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　8、./python3 get-pip.py

　　9、在cross_venv这个虚拟环境中的安装Cython：./pip3 install Cython

　　10、创建文件夹用来存放编译后的第三方：mkdir /home/target_lib

　　11、创建requestments.txt：vim requirements.txt 里面写上numpy

　　12、交叉编译第三方库成为.whl格式的安装包：./pip3 wheel --wheel-dir /home/target_lib -r requirements.txt

　　13、验证：cd /home/target_lib

　　14、注意，这里我们使用crossenv交叉编译后的numpy第三方库的后缀是linux_arm，而我们的目标板子是armv7l的，所以这里我们要手动的将

　　　　numpy-1.18.5-cp35-cp35m-linux_arm.whl改为numpy-1.18.5-cp35-cp35m-linux_armv7l.whl。不然会报错。这个坑，一直坑了我一个月的时间，尝试了很多方法，不知道是编译链的问题，还是编译过程的问题。将交叉编译后的numpy的.whl文件移植到目标板子的中，总是报错，突然灵光一闪，就手动改个名字，居然可以了，这坑简直是巨坑，坑了一个月的时间。

十六、移植到目标板子

　　将编译好的python-target打包 和 numpy-1.18.5-cp35-cp35m-linux_arm.whl(先不改名，移植到目标板子上在改名)移植到目标板子上

　　1、压缩python-target:tar cvf python-target.tar python-target

　　2、通过ftp工具，将python-target.tar和numpy-1.18.5-cp35-cp35m-linux_arm.whl ,移植到目标板子的/home下

　 3、解压python-target:tar xvf python-target.tar

　　4、cd /home/python-target/bin

　　5、验证在目标板子上运行python3

　　6、验证交叉编译的第三方

　　　　1、先下载pip:curl https://bootstrap.pypa.io/pip/3.5/get-pip.py -o get-pip.py -k

　　　　2、安装pip:./python3 get-pip.py

　　　　3、配置pip源

　　　　　　a、mkdir ~/.pip

　　　　　　b、vi ~/.pip/pip.conf

　　　　　　c、添加如下代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple 
trusted-host = pypi.tuna.tsinghua.edu.cn

　　　　4、验证pip

　　　　5、通过pip安装未改名的numpy第三方库:这是会报错：numpy-1.18.5-cp35-cp35m-linux_arm.whl is not a supported wheel on this platform.

　　　　6、改名:mv /home/numpy-1.18.5-cp35-cp35m-linux_arm.whl /home/numpy-1.18.5-cp35-cp35m-linux_armv7l.whl

　　　　 7、重新安装验证：　　　　　　　　

到此python3及python需要的第三方库，类似numpy这样需要交叉编译的第三方库就完成了！其中其他库不一定都是完全一样的，但是大致流程是一样的可以参考借鉴。

【相关推荐：Python3视频教程 】

위 내용은 Python에서 타사 라이브러리의 크로스 컴파일 문제에 대해의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!