pip install pyspark仅安装python接口，不解决java、hadoop、路径别名等底层依赖，故常出现import成功但运行时崩溃，如python3命令缺失、java版本不匹配、hadoop_home未设或解释器错配等问题。

pip install pyspark 能装上，但不等于能跑起来——它只是拉取 Python 包，不解决 Java、Hadoop、路径、别名等底层依赖。

为什么 pip install pyspark 后 import pyspark 还报错？

常见错误不是“找不到模块”，而是运行时崩溃，比如：

• java.io.IOException: Cannot run program "python3"（Windows 上找不到 python3 命令）
• Py4JJavaError 或 NoClassDefFoundError（Java 版本不匹配或 classpath 缺失）
• HADOOP_HOME not set（尤其 Windows 下缺失 winutils.exe）
• ModuleNotFoundError: No module named 'pyspark'（PyCharm 用的不是你 pip 安装的解释器）

根本原因：PySpark 是个“胶水层”，pyspark 包里只含 Python 接口和少量 JAR，真正干活的是 JVM 里的 Spark 引擎。pip 只管 Python 那半边。

pip install pyspark 的正确姿势

别裸装。加参数、换源、锁版本，三者至少占其二：

• 用国内镜像加速（否则卡在 300MB+ 的 JAR 下载）：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pyspark
• 指定 Hadoop 版本（避免默认 Hadoop 3.3 和本地 HDFS 不兼容）：PYSPARK_HADOOP_VERSION=3.3 pip install pyspark
• 锁死版本（尤其 Python 3.11+ 用户）：pip install pyspark==3.4.2（3.5+ 已不支持 Python 3.11）
• 带子模块按需安装：pip install pyspark[sql,pandas_on_spark]（不用 [connect]，它依赖额外服务端）

装完立刻验证是否能初始化上下文，而不是只测 import：

Ai Podcast Pipeline

从QuickView趋势笔记生成韩语AI播客包，含双人主持脚本（Callie×Nick）、Gemini多说话人TTS音频、字幕时间轴与渲染修正、缩略图+MP4包装及YouTube标题/描述输出。支持完整版（15~20分钟）和压缩版（5~7分钟）。

下载

python -c "from pyspark.sql import SparkSession; spark = SparkSession.builder.master('local[*]').getOrCreate(); print(spark.version); spark.stop()"

装完还跑不了？重点检查这三处

90% 的“装了不能用”问题出在这三个地方：

• JAVA_HOME 必须指向 JDK 8 或 11（不是 JRE），且 java -version 输出要带 javac 版本号
• Windows 用户必须设置 HADOOP_HOME 并把 %HADOOP_HOME%\bin 加入 PATH，再放一个匹配的 winutils.exe 到该 bin 目录下
• 确保你运行 Python 的解释器，就是 pip 所在的那个——在 PyCharm 里看 Settings → Project → Python Interpreter，别选错虚拟环境

如果看到 UserWarning: Please install psutil，顺手 pip install psutil 即可，不影响功能但会减少日志干扰。

conda vs pip：什么时候该换 conda？

当你遇到这些情况，优先切 conda：

• Python 是 3.12 或更新版本（PySpark 官方 wheel 还没全面支持）
• 需要和 numpy/scikit-learn 等科学计算包共存，且版本冲突严重
• 想一键获得预编译的 native 依赖（比如 Arrow、Snappy）

命令很简单：conda install -c conda-forge pyspark。conda 会自动约束 Java、Scala、Arrow 等配套版本，省去手动对齐的麻烦。但它下载的 Spark 二进制包是通用版，不带 Hadoop 集成，如需读写 HDFS，仍得自己配 HADOOP_HOME。

最常被忽略的一点：PySpark 启动时会尝试调用 python3 命令来 fork 子进程。Windows 默认只有 python.exe，没有 python3.exe。不要改 Spark 源码，直接在系统 PATH 里建个软链接或复制一份并重命名——这是 Windows 下最隐蔽也最高频的失败点。