pyspark脚本在sublime text中无法运行，因其仅是编辑器，实际执行依赖spark-submit及配套环境；需确保python解释器、pyspark包、spark路径（如spark_home）和hadoop配置正确对齐，并用local[*]模式本地调试。
PySpark脚本在Sublime Text里写完却跑不起来？先确认Python环境和spark-submit路径
Sublime Text本身不运行PySpark，它只是个编辑器。真正执行靠的是本地或集群的spark-submit，而这个命令依赖你机器上装的Python解释器、PySpark包、以及Spark配置是否对齐。常见错误是：脚本在Sublime里语法高亮正常，一终端里spark-submit my_job.py就报ModuleNotFoundError: No module named 'pyspark'。
- 检查
spark-submit是否在PATH里：which spark-submit；没有就手动加到~/.bashrc或~/.zshrc中，比如export SPARK_HOME=/opt/spark，再export PATH=$SPARK_HOME/bin:$PATH - PySpark必须跟
spark-submit用同一套Python：如果用conda环境，启动前先conda activate myenv，再spark-submit --master local[*] my_job.py；否则spark-submit默认调系统Python，可能没装pyspark - Sublime里装
SublimeCodeIntel或anaconda插件时，记得把插件的Python interpreter路径指向你实际运行PySpark的那个环境（比如/path/to/conda/envs/myenv/bin/python），不然跳转和补全会失效
本地调试时用SparkSession.builder.master("local[*]")，别直接连YARN或Standalone
离线任务开发阶段，90%的调试应该在本地完成。强行配--master yarn或--master spark://xxx不仅慢，还容易因网络、权限、Hadoop配置缺失直接失败。用local[*]能快速验证逻辑，且支持断点调试（配合ptvsd或VS Code）。
-
local[*]表示用本机所有CPU核心，适合单机处理GB级数据；若只想用2核测试，写local[2]更可控 - 不要在代码里硬编码
spark = SparkSession.builder.appName("my-job").master("yarn").getOrCreate()——开发阶段删掉.master("yarn")，留空让spark-submit参数决定 - 如果脚本里用了HDFS路径（如
spark.read.parquet("hdfs://nn:8020/data/")），本地调试时得确保core-site.xml和hdfs-site.xml在$HADOOP_CONF_DIR下，否则报java.net.UnknownHostException
Sublime Text里写PySpark，要关掉自动PEP8格式化里的line_length=79
PySpark链式调用太常见了，比如df.filter(...).select(...).groupBy(...).agg(...).write.mode(...).save(...)，一行写完轻松超120字符。Sublime默认的autopep8或black插件按PEP8切行，反而破坏可读性，还可能把.filter()和括号拆开导致语法错误。
PHP中文网提供Apache 2.4.62 官方 tar.gz 源码包下载，通过源码编译安装，开发者能够灵活定制模块、优化性能并精准控制安装路径，满足多样化的业务需求。
- 在Sublime的
Preferences → Package Settings → autopep8 → Settings – User里加："aggressive": 0, "max_line_length": 120 - 或者干脆禁用自动格式化，只在保存时手动触发（快捷键
Ctrl+Shift+P→AutoPEP8: Fix Current File），避免改着改着被重排 - 函数参数多时，用“每个参数一行”风格更安全：
df.write \ .mode("overwrite") \ .partitionBy("dt") \ .parquet("/output/path")而不是依赖自动换行
提交到集群前，用spark-submit --files和--py-files带依赖，别只扔一个.py
本地写好的脚本，常引用自定义模块（如utils.py）、配置文件（config.json）或第三方库（requests）。直接spark-submit job.py会报ImportError或FileNotFoundError，因为Executor节点根本没这些文件。
-
--py-files utils.py把utils.py打包进Driver和Executor的PYTHONPATH；多个文件用逗号分隔：--py-files utils.py,helpers.py -
--files config.json,log4j.properties把非Python文件放进工作目录，代码里直接open("config.json")就能读 - 第三方库不能只
pip install在本地——要用--packages（如--packages com.amazonaws:aws-java-sdk-pom:1.12.262）或--jars（放jar包路径），纯Python库则打成.egg或.zip后用--py-files
Spark的分布式本质决定了：你写的每行代码，都得能被所有Executor节点独立加载。本地能跑 ≠ 集群能跑，差的往往就是这一两个--files参数。
