＃＃＃導入＃＃＃
| 新しいツールや多様な開発環境が溢れかえっているこの環境では、開発者やエンジニアは基本的なシステム管理コマンドをいくつか学ぶ必要があります。特定のコマンドとツールキットは、開発者がアプリケーションを整理、トラブルシューティング、最適化するのに役立ちます。また、エラー発生時にオペレーターやシステム管理者に貴重な優先順位付け情報を提供します。
|
新しい開発者でも、独自のアプリケーションの管理を検討している場合でも、次の 20 の基本的なシステム管理コマンドは、アプリケーションをより深く理解するのに役立ちます。また、アプリケーションがローカルでは動作するのにリモート ホストでは動作しない理由など、システム障害のトラブルシューティングにも役立ちます。これらのコマンドは、Linux 開発環境、コンテナー、および仮想マシンに適用されます。
1.カール
curl は URL の転送に使用されます。このコマンドを使用して、アプリケーションのエンドポイントまたは上流のサービス エンドポイントへの接続をテストできます。また、curl は、アプリケーションがデータベースなどの他のサービスに接続できるかどうかを確認したり、サービスが正常な状態にあるかどうかを確認したりするために使用することもできます。
たとえば、アプリケーションが MongoDB データベースにアクセスできないことを示す HTTP 500 エラーをスローした場合:
リーリー
-I オプションはヘッダー情報を表示するために使用され、-s オプションはサイレント モードを使用し、エラーと進行状況を表示しないことを意味します。データベースのエンドポイントが正しいことを確認してください:
リーリー
それでは何が問題なのでしょうか?アプリケーションがデータベース以外の場所にアクセスできるかどうかを確認します:
リーリー
これで問題ないようです。データベースにアクセスしてみます。アプリケーションはデータベースのホスト名を使用しているため、最初にこれを試してください:
リーリー
これは、データベースへの URL が使用できないか、ホスト (コンテナーまたは VM) にホスト名を解決するために使用できるネーム サーバーがないため、アプリケーションがデータベースを解決できないことを意味します。
2. python -m json.tool / jq
curl を使用した後、API 呼び出しの出力が読みにくくなる可能性があります。場合によっては、特定のエントリを見つけるために、生成された JSON データの出力をフォーマットしたい場合があります。 Python には、この要件の達成に役立つ組み込みライブラリがあります。 python -m json.tool を使用して、JSON をインデントして整理できます。 Python の JSON モジュールを使用するには、パイプライン メカニズムを使用して JSON ファイルの出力を入力として受け取り、それを python -m json.tool コマンド ラインに書き込む必要があります。
リーリー
Python ライブラリを使用するには、-m (モジュール) オプションを使用して、出力コンテンツと Python ライブラリをパイプラインに結合します。
リーリー
より高度な JSON 解析を行うには、jq をインストールします。 jq は、JSON 入力から特定の値を抽出するためのオプションをいくつか提供します。上記の Python モジュールのように JSON 出力をフォーマットするには、出力に jq を適用するだけです。
リーリー
3.ls
ls は、ディレクトリ内のファイルを一覧表示するために使用されます。システム管理者や開発者は、このコマンドをよく使用します。コンテナー空間では、このコマンドはコンテナー イメージ内のディレクトリとファイルを特定するのに役立ちます。 ls は、ファイルの検索に加えて、アクセス許可の確認にも使用できます。以下の例では、権限の問題により myapp を実行できません。 ls -l を使用して権限を確認すると、その権限には -rw-r–r– に「x」が含まれておらず、読み取りおよび書き込み権限のみであることがわかります。
リーリー
4.尻尾
tail ファイルの最後の部分を表示します。通常、トラブルシューティングを行うためにログのすべての行を調べる必要はありません。代わりに、アプリケーションに対する最新のリクエストの説明をログで確認する必要があります。たとえば、Apache HTTP サーバーにリクエストを送信する場合、tail を使用してログ内で何が起こったかを調べることができます。
tail -f を使用してログ ファイルを追跡し、リクエストが行われたときにそれらのファイルを表示します。
-f オプションは次のことを意味し、ファイルに書き込まれるときにログを出力します。以下の例には、数秒ごとにエンドポイントにアクセスし、リクエストをログに記録するバックグラウンド スクリプトが含まれています。リアルタイム追跡ログに加えて、tail を -n オプションとともに使用して、ファイルの最後の 100 行を表示することもできます。
リーリー
5.猫
cat は、主にファイルの内容を表示したり、ファイルを結合したりするために使用されます。 cat を使用すると、依存関係ファイルの内容を確認したり、ローカルでビルドされたアプリケーションのバージョンを確認したりできます。
リーリー
上記の例では、Python Flask アプリケーションに Flask が依存関係としてリストされているかどうかを確認します。
6.grep
grep は、特定のパターン マッチング (正規表現を含む) を使用してテキストを検索できます。別のコマンドの出力で特定のパターンを探している場合は、grep を使用すると、関連する行が強調表示されます。このコマンドを使用して、ログ ファイル、特定のプロセスなどを検索できます。 Apache Tomcat が起動しているかどうかを確認したい場合は、コマンド ラインの数に圧倒されるかもしれません。ただし、出力内容を grep コマンドと組み合わせてパイプライン化することで、サーバーが起動したことを示す行を分離できます。
リーリー
7.ps
ps プロセスのさまざまなステータス情報を表示するために使用されます。このコマンドを使用して、どのアプリケーションが実行されているかを確認したり、予期されるプロセスを確認したりできます。たとえば、実行中の Tomcat Web サーバーを確認したい場合は、Tomcat のプロセス ID を取得するオプションを指定して ps を使用できます。
$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 2 18:55 ? 00:00:02 /docker-java-home/jre/bi
root 59 0 0 18:55 pts/0 00:00:00 /bin/sh
root 75 59 0 18:57 pts/0 00:00:00 ps -ef
为了更好的易读性，可使用 grep 和 ps 组合成管道。
$ ps -ef | grep tomcat
root 1 0 1 18:55 ? 00:00:02 /docker-java-home/jre/bi
8. env
env 用于列出所有环境变量及为其赋值。在故障排除期间，你可能会发现需要检查是否有错误的环境变量来阻止应用程序启动。在下面的示例中，该命令用于检查程序主机上设置的环境变量。
$ env
PYTHON_PIP_VERSION=9.0.1
HOME=/root
DB_NAME=test
PATH=/usr/local/bin:/usr/local/sbin
LANG=C.UTF-8
PYTHON_VERSION=3.4.6
PWD=/
DB_URI=mongodb://database:27017/test
请注意，该应用程序正在使用 Python 3，并具有连接到 MongoDB 数据库的环境变量。
9. top
top 用于显示系统中各个进程的信息和资源占用状况，类似于 Windows 的任务管理器。使用该命令可确定哪些进程正在运行，以及它们消耗了多少的内存和 CPU。一种常见的情况是当你运行一个应用程序时，它在一分钟后挂掉。这时，你首先检查应用程序的返回错误，发现是一个内存错误。
$ tail myapp.log
Traceback (most recent call last):
MemoryError
你的应用是否真的内存不足？要确认这个问题，可使用 top 来查看应用程序消耗多少 CPU 和内存。当使用 top 命令后，您注意到一个 Python 应用程序使用了大部分的 CPU，其内存使用量也迅速攀升。当它运行时，如果进程是你的应用程序，则按”C”键来查看完整命令并进行逆向工程。发现原来是你的内存密集型应用程序(memeater.py)。当你的应用程序已经用尽内存，系统会杀掉它并返回一个内存不足(OOM)的错误。
应用程序的内存和 CPU 使用量增加，最终因为内存不足而被杀掉。
通过按下”C”键，可以看到启动该应用程序的完整命令
除了检查应用程序，还可以使用 top 来调试其他使用 CPU 或内存的进程。
10. netstat
netstat 用于显示网络状态信息。该命令可显示正在使用的网络端口及其传入连接。但是，netstat 在 Linux 中不能开箱即用。如果需要安装它，需要在 net-tools 包中找到它。作为在本地进行试验或将应用程序推送到主机的开发者，可能会收到端口已被分配或地址已被使用的错误。使用 netstat 得到协议、进程和端口这些信息，下图表明 Apache HTTP 服务器已经在下面的主机上使用了 80 端口。
使用 netstat -tulpn 表明 Apache 已经在这台机器上使用了 80 端口。
11. ip address
如果 ip address 在你的主机上不能使用，必须使用 iproute2 包进行安装。ip address 用于显示应用程序的主机接口和 IP 地址。可使用 ip address 来验证你的容器或主机的 IP 地址。例如，当你的容器连接到两个网络时，ip address 可显示哪个接口连接到了哪个网络。对于简单的检查，可以随时使用 ip address 命令获取主机的 IP 地址。下面的示例展示了在接口 eth0 上的 Web 层容器的 IP 地址为 172.17.0.2
使用 ip address 显示 eth0 接口的 IP 地址为 172.17.0.2
12. lsof
lsof 用于列出当前系统打开的文件(list open files)。在某些 Linux 系统中，可能需要使用 lsof 包来安装lsof。在 Linux 中，几乎任何和系统的交互都被视为一个文件。因此，如果你的应用程序写入文件或代开网络连接，lsof 将会把这个交互映射为一个文件。与 netstat 类似，可使用 lsof 来检查侦听端口。例如，如果要检查 80 端口是否正在被使用，可使用 lsof 来检查哪个进程正在使用它。下面的示例中，可以看到 httpd (Apache) 在 80 端口上侦听。还可以使用 lsof 来检查 httpd 的进程ID，检查 Web 服务器的二进制文件所在位置(/usr/sbin/httpd)。
Lsof 表明了 httpd 在 80 端口上侦听。检查 httpd 的进程ID还可以显示所有需要运行的文件httpd。
打开文件列表中的打开文件的名称有助于确定进程的来源，特别是 Apache。
13. df
可以使用 df 显示空闲的磁盘空间(display free disk space)以排查磁盘空间问题。挡在容器管理器上运行应用程序时，可能会收到一条错误信息，提示容器主机上缺少可用空间。虽然磁盘空间应该由系统管理程序来管理和优化，你仍可以使用 df 找出目录中的现有空间并确认是否没有空间。
Df 显示每个文件系统的磁盘空间、绝对空间以及其可用性。
-h 选项表示以可读性较高的方式来显示信息，上面的例子表示这个主机具有大量的磁盘空间。
14. du
du 命令也是用于查看使用空间的，但是与 df 命令不同的是 du 命令是对文件和目录磁盘使用的空间的查看，要获取有关哪些文件在目录中使用磁盘空间的更多详细信息，可以使用 du 命令，和 df 命令还是有一些区别的。例如，你想了解那个日志文件占用 /var/log 目录最多的空间，可以使用 du 命令加上 -h 选项和用于获取总大小的 -s 选项。
$ du -sh /var/log/*
1.8M /var/log/anaconda
384K /var/log/audit
4.0K /var/log/boot.log
0 /var/log/chrony
4.0K /var/log/cron
4.0K /var/log/maillog
64K /var/log/messages
上面的示例中显示了 /var/log 下的的最大目录为 /var/log/audit。可以将 du 和 df 搭配使用，以确定在应用程序的主机上使用的磁盘空间。
15. id
要检查运行应用程序的用户，可使用 id 命令来返回用户身份。id 命令可以显示真实有效的用户ID(UID)和组ID(GID)。下面的示例使用 Vagrant 来测试应用程序并隔离其开发环境。登录进 Vagrant 盒子后，如果尝试安装 Apache HTTP Server（依赖关系），系统会提示你需要以 root 身份执行该命令。要检查你的用户ID和组ID，使用 id 命令，会发现你正在”vagrant”组中以”vagrant”用户身份运行。
$ yum -y install httpd
Loaded plugins: fastestmirror
You need to be root to perform this command.
$ id
uid=1000(vagrant) gid=1000(vagrant) groups=1000(vagrant) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023
要解决此问题，必须以超级用户的身份运行该命令，这将提供提升的权限。
16. chmod
chmod 命令用来变更文件或目录的权限。当你在主机上首次运行应用程序的二进制文件时，可能会收到错误提示信息“拒绝访问”。如 ls 的示例所示，可以用于检查应用程序二进制文件的权限。
$ ls -l
total 4
-rw-rw-r--. 1 vagrant vagrant 34 Jul 11 02:17 test.sh
这表明您没有权限（没有“x”）来运行二进制文件。chmod 可以修改权限，使的用户能够运行二进制文件。
$ chmod +x test.sh
[vagrant@localhost ~]$ ls -l
total 4
-rwxrwxr-x. 1 vagrant vagrant 34 Jul 11 02:17 test.sh
如例子所示，这将更新权限，使其具有可执行的权限。现在当你尝试执行二进制文件时，应用程序不会抛出拒绝访问的错误。当将二进制文件加载到容器时，Chmod 可能很有用。它能保证容器具有合适的权限以执行二进制文件。
17. dig / nslookup
dig 命令是常用的域名查询工具，可以用来测试域名系统工作是否正常。域名服务器(DNS)有助于将 URL 解析为一组应用程序服务器。然而，你会发现有些 URL 不能被解析，这会导致应用程序的连接问题。例如，假如你尝试从应用程序的主机访问你的数据库。你收到一个”不能解析”的错误。要进行故障排查，你尝试使用 dig（DNS 查询工具）或 nslookup（查询 Internet 域名服务器）来确定应用程序似乎无法解析数据的原因。
$ nslookup mydatabase
Server: 10.0.2.3
Address: 10.0.2.3#53
** server can't find mydatabase: NXDOMAIN
使用 nslookup 显示无法解析 mydatabase。尝试使用 dig 解决，但仍是相同的结果。
$ dig mydatabase
; > DiG 9.9.4-RedHat-9.9.4-50.el7_3.1 > mydatabase
;; global options: +cmd
;; connection timed out; no servers could be reached
这些错误可能是由许多不同的问题引起的。如果无法调试出根本原因，与系统管理员联系以进行更多的调查。对于本地测试，这些问题可能表示你的主机的域名服务器未正确配置。要使用这些命令，需要安装 BIND Utilities 包。
18. iptables
iptables 用于阻止或允许 Linux 主机上的流量，用于 IP 包过滤器管理，类似于网络防火墙。此工具可阻止某些应用程序接收或发送请求。更具体地说，如果您的应用程序难以访问另一个端点，可能已被 iptables 拒绝流量访问该端点。例如，假设您的应用程序的主机无法访问 Opensource.com，您使用 curl 来测试连接。
$ curl -vvv opensource.com
* About to connect() to opensource.com port 80 (#0)
* Trying 54.204.39.132...
* Connection timed out
* Failed connect to opensource.com:80; Connection timed out
* Closing connection 0
curl: (7) Failed connect to opensource.com:80; Connection timed out
连接超时。您怀疑某些东西可能会阻塞流量，因此您使用 -S 选项显示 iptables 规则。
$ iptables -S
-P INPUT DROP
-P FORWARD DROP
-P OUTPUT DROP
-A INPUT -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -i eth0 -p udp -m udp --sport 53 -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 22 -j ACCEPT
-A OUTPUT -o eth0 -p udp -m udp --dport 53 -j ACCEPT
前三个规则显示，默认情况下流量已被丢弃。剩下的规则表示允许 SSH 和 DNS 流量。在这种情况下，如果需要允许流量到外部端点的规则，请跟上 sysadmin。如果这是用于本地开发或测试的主机，可使用 iptables 命令来允许合适的流量。添加允许到主机的流量的规则时一定要谨慎。
19. sestatus
通常会在企业管理的应用程序主机上使用 SELinux（一个 Linux 安全模块）。SELinux 对主机上运行的进程提供最低权限的访问，防止潜在的恶意进程访问系统上的重要文件。某些情况下，应用程序需要访问特定文件，但可能会发生错误。要检查 SELinux 是否阻止了应用程序，使用 tail 和 grep 在 /var/log/audit 日志记录中查找”denied”（被拒绝）的信息。否则，使用 sestatus 来检查是否启动了 SELinux。
$ sestatus
SELinux status: enabled
SELinuxfs mount: /sys/fs/selinux
SELinux root directory: /etc/selinux
Loaded policy name: targeted
Current mode: enforcing
Mode from config file: enforcing
Policy MLS status: enabled
Policy deny_unknown status: allowed
Max kernel policy version: 28
上面的输出表示应用程序的主机已启用 SELinux。在本地开发环境中，可以更新 SELinux 使得权限更宽松。
20. history
当你使用大量的命令进行测试和调试时，可能会忘记有用的命令。每个 shell 都有一个 history 命令的变体。它可显示自会话开始以来使用的命令的历史记录。可以使用 history 来记录用来排除应用程序故障的命令。history 命令用于显示指定数目的指令命令，读取历史命令文件中的目录到历史命令缓冲区和将历史命令缓冲区中的目录写入命令文件。
$ history
1 clear
2 df -h
3 du
如果希望执行之前历史记录中的命令，但又不想重新输入，该怎么办？使用符号 ! 即可，可以使用符号 ! 执行指定序号的历史命令。例如，要执行第 2 个历史命令，则输入!2，
在需要重新执行的命令的指定编号前添加 ! 即可重新执行
这些基本命令能增强排查故障的专业技能，可检查为什么应用程序可以在一个开发环境中工作，而在另一个开发环境中则不可以。许多系统管理员使用这些命令来调试系统问题。了解一些有用的故障排查命令可帮助解决应用程序的问题。
