- 由来
- シェルスクリプトを使う
- ファイル・ディレクトリ操作
- ハードリンクとシンボリックリンク
- コマンド入力
- コマンド履歴
- コマンド実行の優先度を下げる
- コマンド実行の言語を指定する
- y(yes)を自動入力してコマンドを実行する
- rootになる
- ファイルのハッシュを確認
- アプリケーションがインストールされているか確認
- アプリケーションの検索
- アプリケーションを追加
- アプリケーションを削除
- アプリケーションの詳細情報を確認
- ログを確認
- ログをコピー
- Apacheのログをコマンドで解析
- FTPのログを解析
- 監査に関するログを解析
- メールを表示
- メールをコマンドで表示
- バーチャルメールボックスのメールを確認
- メールのログを解析
- メールのログをコマンドで解析
- メールのログをmaillogconvert.plで変換してコマンドで解析
- バウンスメールを解析
- システムをリアルタイムに監視
- コマンドの実行時間を表示
- CentOSのバージョンと何ビットマシンかを調べる
- 各種バージョンを調べる
- CPUを調べる
- サーバの日時を確認
- サーバの日時を設定
- プロセスを確認&強制終了
- MySQLでプロセスを確認&強制終了
- MySQLで文字コードを確認
- MySQLでスロークエリログを記録
- MySQLで実行中のクエリを確認
- MySQLで現在のコネクション数を確認
- MySQLのデータ容量を確認
- MySQLのインデックスを確認
- MySQLでユーザを削除
- MySQLでデータベースエンジン(InnoDBかMyISAM)を確認
- MySQLでMyISAMをInnoDBに変更
- MySQLのバックアップ(エクスポートとインポート)
- PostgreSQLでユーザを確認
- メールのキューを確認
- ユーザ情報を確認
- ユーザ情報を変更
- グループ情報を確認
- コマンドを一定時間ごとに実行させる
- サービスの自動起動を確認する
- サーバをシャットダウン・再起動する
- 特殊なコマンド
- 危険なコマンド
由来
Linuxコマンドは単語の意味を理解するとグッと身近なものになる
http://qiita.com/tetsuya/items/46888bb4dfc8a6bfef02
新版 UNIX/Linux 由来/読み方辞書
http://x68000.q-e-d.net/~68user/unix/unix-term-dic.html
由来で覚えるlinux用語集 - Qiita
https://qiita.com/essei0-0/items/65d0584ed28c951e5e2b
意外と知らないUnixコマンドの正式名称集 #入門 - Qiita
https://qiita.com/kokiiii/items/5416793d4d846a98d093
あの日見たLinuxのディレクトリやコマンドのフルネームを僕達はまだ知らない - Qiita
https://qiita.com/to-fmak/items/61d515762ab03bac57c9
シェルスクリプトを使う
初心者向けシェルスクリプトの基本コマンドの紹介 - Qiita
https://qiita.com/zayarwinttun/items/0dae4cb66d8f4bd2a337
bashで始めるシェルスクリプト基礎の基礎 (1/2):Windowsユーザーに教えるLinuxの常識(8) - @IT
https://www.atmarkit.co.jp/ait/articles/0202/05/news001.html
/usr/bin/envを使って移植性の高いスクリプトを書く方法 | マイナビニュース
https://news.mynavi.jp/article/20180620-650003/
bash の select は令和の時代も役に立つ, その一例 - ようへいの日々精進XP
https://inokara.hateblo.jp/entry/2020/04/18/083329
Bash Scriptの作法 - Qiita
https://qiita.com/autotaker1984/items/bc758fcf368c1a167353
なぜ今シェルスクリプトを学ぶのか・シェルスクリプトのTips - 理系学生日記
https://kiririmode.hatenablog.jp/entry/20220430/1651309058
【永久保存版】シェルスクリプト完全攻略ガイド #初心者 - Qiita
https://qiita.com/osw_nuco/items/a5d7173c1e443030875f
仕組みと一緒に作りながら学ぶシェル #Bash - Qiita
https://qiita.com/S4nTo/items/841fd36c615f7d103047
ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
https://sreake.com/blog/shellscript-good-practices/
いい加減シェルスクリプトで [ $? -eq 0 ] や [ $? -ne 0 ] なんて エラー処理を書くのはやめよう! #Linux - Qiita
https://qiita.com/ko1nksm/items/09bd50e51cc8663a4f0e
ファイル・ディレクトリ操作
■ディレクトリ移動
$ cd … ホームディレクトリへ移動
$ cd - … 直前のディレクトリへ移動
「cd」は「Change Directory」の略
作業ディレクトリを移動するcdコマンドの詳細まとめました【Linuxコマンド集】
https://eng-entrance.com/linux-command-cd
■ファイルやディレクトリを一覧表示
$ ls
$ ls -l … 詳細情報とともに一覧表示(「ll」としても同様)
$ ls -t … 修正時刻の昇順に一覧表示
$ ls -lt … 詳細情報とともに修正時刻の昇順に一覧表示(「ll -t」としても同様)
$ ls -tr … 修正時刻の降順に一覧表示
$ ls -ltr … 詳細情報とともに修正時刻の降順に一覧表示(「ll -tr」としても同様)
「ls」は「List Segments」の略
lsコマンドの使い方と覚えたい15のオプション【Linuxコマンド集】
https://eng-entrance.com/linux_command_ls
■ファイルサイズを適当な単位で表示
$ ll
合計 72
-rwxrwxr-x 1 refirio refirio 6424 5月 4 21:49 2016 test
-rw-rw-r-- 1 refirio refirio 82 5月 4 21:40 2016 test.c
-rw-rw-r-- 1 refirio refirio 1504 5月 4 21:43 2016 test.o
-rw-rw-r-- 1 refirio refirio 444 5月 4 21:41 2016 test.s
$ ll -h
合計 72K
-rwxrwxr-x 1 refirio refirio 6.3K 5月 4 21:49 2016 test
-rw-rw-r-- 1 refirio refirio 82 5月 4 21:40 2016 test.c
-rw-rw-r-- 1 refirio refirio 1.5K 5月 4 21:43 2016 test.o
-rw-rw-r-- 1 refirio refirio 444 5月 4 21:41 2016 test.s
■ファイルの表示
$ vim test.txt … Vimを起動
$ vi test.txt … 大抵の環境ではVimが立ち上がる
$ view test.txt … Vimの読み取り専用モードで表示(Vimの行番号やカラースキーマが適用される)
$ cat test.txt … 内容をすべて表示
$ more test.txt … スペースキーで1ページずつ表示
$ less test.txt … ↑↓で1行ずつ表示。スペースキーで1ページずつ表示
Linuxでテキストファイルを閲覧できるコマンドにはいろいろあるよ - 無理しない感じ
http://hogesuke.hateblo.jp/entry/2014/04/08/041951
コマンド less ファイル表示プログラム (ページャ)
http://x68000.q-e-d.net/~68user/unix/pickup?less
インフラエンジニアとしてよく使うコマンド集
http://qiita.com/sion_cojp/items/04a2aa76a1021fe77079
■ファイルを作成
$ touch test.txt … test.txt を作成
$ touch `date +%Y%m%d_%H-%M-%S`.txt … 日時をファイル名としたファイル(20160905_13-26-19.txt など)を作成
以下のようにcatを使えば、ファイルの内容を指定して新規作成できる
ただしインデントの制御が完全ではなかったり、変数展開されたりなどがある
あくまでも簡易な手段として使える程度のものとなりそう
$ cat <<EOF > test.txt … ファイルをまるごと書き換える
ABCDEFG
HIJKLMN
EOF
$ cat <<EOF >> test.txt … ファイルの末尾に追加して書き込む
OPQRSTU
VWXYZ
EOF
catコマンドでファイルに書き込みをする | ハックノート
https://hacknote.jp/archives/13756/
知ると便利なヒアドキュメント - Qiita
https://qiita.com/kite_999/items/e77fb521fc39454244e7
■ファイルを複製
$ cp test1.txt test2.txt
$ cp -rp test1.txt test2.txt … pオプションも付けると、コピー元の所有者ID、グループID、アクセス権、最終更新日時、最終アクセス日時をコピー元と同じにしてコピーする
■ファイル名を変更(ファイルを移動)
$ mv test1.txt test2.txt
■ファイルを一括移動
$ mv /var/www/vhosts/xxx/html/* /var/www/vhosts/yyy/html
■ファイルを削除
$ rm test.txt … test.txt を削除
$ rm test_*.txt … ワイルドカードで一括削除
$ rm -f test_*.txt … 確認なしに削除
■ファイルをカラにする
$ cp /dev/null lsyncd.log
既存のファイルを空にするLinuxコマンド - Qiita
https://qiita.com/nabewata07/items/e67d008a1f10429bb3bf
■ファイルのタイムスタンプを変更
$ touch -t 201504201230 test.txt … test.txtのタイムスタンプを2015年4月20日の12:30に設定
■ファイルを検索
$ find ./ -type f -print | xargs grep 'ABC' … 文字列「ABC」が含まれるファイルを表示
$ find ./ -name test.txt -ls … ファイル名が「test.txt」のファイルを検索
$ find ./ -name test* -ls … ファイル名が「test」から始まるファイルを検索
# find / -name php.ini … 「php.ini」ファイルの場所を表示
findコマンドの使い方: UNIX/Linuxの部屋
http://x68000.q-e-d.net/~68user/unix/pickup?find
xargsでfindの結果をgrepに渡している
https://hydrocul.github.io/wiki/commands/xargs.html
findコマンドの使い方を簡単に理解するための7つのルール+実践的な知識 #Linux - Qiita
https://qiita.com/ko1nksm/items/7fec71f78a394a80ed2b
以下のように、grepでもファイルを検索できる
rでディレクトリから検索、Eで正規表現、iで大文字小文字を区別しない
$ grep -r "検索したい文字" ./
$ grep -r -i -E "正規表現で検索したい文字" ./
以下のようにすると
「extends Controller」を含むファイルの一覧から、「Carbon」を含むファイル一覧を表示
となる(要検証)
$ find ./ -type f -print | xargs grep "extends Controller" -l | xargs grep "Carbon" -l
以下はさらに拡張子でも絞り込んだ例
$ find ./ -type f -name "*.php" | xargs grep "extends Controller" -l | xargs grep "Carbon" -l
逆引きUNIXコマンド/grepでパターンヒットがあったファイルのファイル名のみ表示する方法 - Linuxと過ごす
https://linux.just4fun.biz/?%E9%80%86%E5%BC%95%E3%81%8DUNIX%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89/grep...
find
http://codezine.jp/unixdic/w/find
【linux】更新日が最近のファイルを見つける(findコマンド)
https://www.softel.co.jp/blogs/tech/archives/1332
【Linux】複数あるファイルの中から特定の文字列を検索するコマンド
http://kawatama.net/web/1141
お仕事で知っておけば便利。コマンドを叩くだけで使えるワンライナーチートシート
http://qiita.com/taiyop/items/bfeeb41259cb0d083d88
The Silver Searcher のススメ
http://qiita.com/thermes/items/e1e0c94e2875df96921c
検索対象のディレクトリを複数指定したり、ワイルドカードで指定したりもできる
以下は7月10日のログディレクトリから「太郎」という文字を含むファイルを探す例
# find 20180710/ -type f -print | xargs grep '太郎'
以下のようにすると、20180710〜20180713を対象にできる(個別に指定する例)
# find 20180710/ 20180711/ 20180712/ 20180713/ -type f -print | xargs grep '太郎'
以下のようにすると、20180710〜20180719を対象にできる(ワイルドカードで指定する例)
# find 2018071*/ -type f -print | xargs grep '太郎'
以下のようにすると、ファイルの更新日時をもとに検索できる
$ find ./ -mtime -11 -ls … 更新日が10日以内のファイルを表示
$ find ./ -mtime +7 -and -mtime -15 -ls … 更新日が一週間前より古くて二週間前より新しい
mtimeはファイルの更新日時
ctimeはファイル名やパーミッションなども含めた更新日時
UNIXの部屋 コマンド: タイムスタンプ
http://x68000.q-e-d.net/~68user/unix/pickup?%A5%BF%A5%A4%A5%E0%A5%B9%A5%BF%A5%F3%A5%D7
-11 ... 10日以内
+10 ... 10日以前
10 ... 10日前
+365 ... 一年間更新されていない
-8 ... 一週間以内に変更された
7 ... 一週間前に更新された
■ファイルを検索(Perl)
複数ワードでファイル内全文をAND検索など、コマンドの組み合わせで難しいものはPerlで検索スクリプトを書くといい
http://refirio.org/view/349
以下はプログラムの一例
##################################################
#ファイル内検索プログラム
##################################################
use strict;
print 'Search words: ';
my $input = <STDIN>;
chop($input);
&search('./', $input);
exit;
### 再帰検索
sub search {
my($dir, $word) = @_;
# 半角スペース区切りで検索ワードを取得
my @keywords = split(/\s+/, $word);
# 検索対象ディレクトリを開く
my @dir;
if (opendir(DIR, $dir)) {
@dir = sort { $a cmp $b } readdir(DIR);
closedir(DIR);
} else {
print "Can't open target directory: $dir\n";
}
# 対象を順に検索
foreach my $file (@dir) {
if ($file eq '.' or $file eq '..') {
next;
}
my $target = "$dir$file";
if (-d $target) {
# 対象がディレクトリなら再帰検索
&search("$target/", $word);
} else {
# 対象がファイルなら全文検索
my %hits;
if (open(FH, $target)) {
while (my $line = <FH>) {
foreach my $keyword (@keywords) {
if (index(lc($line), lc($keyword)) >= 0) {
$hits{$keyword} = 1;
}
}
}
close(FH);
} else {
print "Can't read target file: $target\n";
}
# AND検索チェック
my $flag = 1;
foreach my $keyword (@keywords) {
if (!$hits{$keyword}) {
$flag = 0;
}
}
# 検索結果に表示
if ($flag) {
print $target . "\n";
}
}
}
return;
}
例えば「search.pl」という名前で保存した場合、以下で検索できる
$ perl search.pl
■ディスク使用量を確認
# df … ディスク使用量を確認
ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置
devtmpfs 485216 0 485216 0% /dev
tmpfs 503468 0 503468 0% /dev/shm
tmpfs 503468 412 503056 1% /run
tmpfs 503468 0 503468 0% /sys/fs/cgroup
/dev/xvda1 12570604 4890012 7680592 39% /
tmpfs 100696 0 100696 0% /run/user/1000
# df -h … ディスク使用量を確認(見やすい単位で表示)
ファイルシス サイズ 使用 残り 使用% マウント位置
devtmpfs 474M 0 474M 0% /dev
tmpfs 492M 0 492M 0% /dev/shm
tmpfs 492M 412K 492M 1% /run
tmpfs 492M 0 492M 0% /sys/fs/cgroup
/dev/xvda1 12G 4.7G 7.4G 39% /
tmpfs 99M 0 99M 0% /run/user/1000
# lsblk … 利用できるブロックデバイスを一覧表示
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda 202:0 0 12G 0 disk
└─xvda1 202:1 0 12G 0 part /
【 df 】コマンド――ディスクの空き領域を表示する:Linux基本コマンドTips(58) - @IT
https://atmarkit.itmedia.co.jp/ait/articles/1610/24/news017.html
【 lsblk 】コマンド――ブロックデバイスを一覧表示する:Linux基本コマンドTips(180) - @IT
https://atmarkit.itmedia.co.jp/ait/articles/1802/02/news021.html
xvda(xvda1)がデータを恒久的に保存するストレージ領域。この「xvda」という名前は、OSが勝手に付ける名前
それ以外は「tmp」と付いているように一時的な領域。メモリ上にディスクを作成することにより、一時的な高速ストレージとして使用する
ストレージデバイス(ブロックストレージ)|ほげほげテクノロジー|note
https://note.com/tech_share/n/nb93761a67477
[Linux] メモリ上に高速なディスクを作成する - tmpfs
https://blog.katsubemakito.net/linux/ramdisk-tmpfs
Linuxのファイルシステムについて勉強したメモ - Qiita
https://qiita.com/toshihirock/items/ca717f8ad9c66ced4047
xvdaの名前は、「xvd」と「a」により成り立っている
よって複数のストレージを接続すると、「xvdb」「xvdc」などの名前になるみたい
「xvd」は「Xen Virtual block Device」から来た名前で、「Xen(仮想化フレームワーク)によるVirtual Block Device(仮想ブロックデバイス)」の略
第12章 DRBDとXenの使用
https://blog.drbd.jp/drbd-users-guide-8.4/ch-xen.html
mount - 「/ dev / xvda1」デバイスとは何ですか?
https://www.it-mure.jp.net/ja/mount/%E3%80%8C-dev-xvda1%E3%80%8D%E3%83%87%E3%83%90%E3%82%A4%E3%82%B9...
■ファイル数とディレクトリ数を数える
$ ls -laR | grep -c '^-' … 合計ファイル数
$ ls -laR | egrep -c '^d.+[^.]$' … 合計ディレクトリ数
あるディレクトリ以下の合計ファイル数を再帰的に知るunixコマンド
http://logic.moo.jp/data/archives/336.html
■ファイルをサイズ順にソートして表示
# ll -S … ファイルサイズが大きいものから表示
# ll -Sr … ファイルサイズが小さいものから表示
■サイズの大きいファイルを検索
# du -s /* | sort -nr … ストレージサイズの大きい領域を表示
4194312 /mnt … メモリのスワップに4GBを割り当てている場合(単位はKBで表示される)
1281572 /usr
616296 /var
142244 /lib
62628 /boot
以下のようにして、容量を圧迫している箇所を探っていく
# du -s /* | sort -nr
# du -s /var/* | sort -nr
# du -s /var/www/* | sort -nr
# du -s /var/www/html/* | sort -nr
以下のように -h をつけると、ファイルサイズを適当な単位で表示してくれる
# du -sh /* | sort -nr
# ll -h /var/www/html
■ディレクトリ構成を tree 風に表示する
$ pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
tree コマンドが無い環境で tree コマンドを実現 - Qiita
https://qiita.com/yone098@github/items/bba8a42de6b06e40983b
ディレクトリ構成を tree 形式に表示する - Qiita
https://qiita.com/hide/items/9a2876486b975e77b9c0
■所有者と権限を変更
# chown apache /var/www/html/test … ディレクトリの所有者をapacheに変更
# chown -hR apache /var/www/html/test … ディレクトリの所有者をapacheに変更(再帰的)
# chgrp apache /var/www/html/test … ディレクトリのグループをapacheに変更
# chgrp -hR apache /var/www/html/test … ディレクトリのグループをapacheに変更(再帰的)
# chown apache. /var/www/html/test … ディレクトリの所有者とグループをapacheに変更
# chown apache:apache /var/www/html/test … 上と同じ
# chown -hR apache. /var/www/html/test … ディレクトリの所有者とグループをapacheに変更(再帰的)
# chown -hR apache:apache /var/www/html/test … 上と同じ
# chmod 775 /var/www/html/test … 権限を775に変更
# chmod -R 775 /var/www/html/test … 権限を775に変更(再帰的)
# find /var/www/html/test -type d -print | xargs chmod 775 … ディレクトリのみ権限を775に変更(再帰的)
# find /var/www/html/test -type f -print | xargs chmod 664 … ファイルのみ権限を664に変更(再帰的)
Linuxコマンド【 chown 】ファイルの所有者やグループを変更 - Linux入門 - Webkaru
https://webkaru.net/linux/chown-command/
find + chmodでパーミッションの一括変更
http://ext.omo3.com/webmaster/chmod.html
■ファイル作成時の所属グループを、親ディレクトリのグループにする
以下のようにして、スティッキービットを設定する
# chmod g+s /var/www/html/test
ファイル作成時の所属グループを、ディレクトリのグループに設定する
http://qiita.com/ritukiii/items/bbb34c372ce35ec55679
setuid、setgid、およびスティッキービットを使用する特殊なファイルアクセス権 - Oracle Solaris 11.2 でのファイルのセキュリティー保護とファイル整合性の検証
https://docs.oracle.com/cd/E56342_01/html/E53949/secfile-69.html
■ファイル作成時の初期パーミッションを変更する
とあるユーザのファイル作成時の初期パーミッションが644だとして、これを例えば664などに変更できる
0002 は 002 という指定でもいい
$ umask 0002 … 設定
$ umask … 確認
0002
希望の値は、ファイルは 666 から、ディレクトリは 777 からデフォルトのアクセス権を引けば求められる
例えばデフォルトのファイルパーミッションを 664 にしたい場合、
666 - 664 = 002
となり、002 もしくは 0002 と設定すればいいことが判る
ただし、この設定はSSH接続を切断すると初期化されてしまうので注意
umask の値は、ログイン時に読み込まれる /etc/profile で指定されているので、ここを編集すれば恒久的に変更できる
# vi /etc/profile
uidが200以上か否かで umask の値が変わるが、
上記のように変更するとすべてのユーザのファイル作成の初期パーミッションが644から664になる
デフォルトのアクセス権 - umask
https://kazmax.zpp.jp/linux_beginner/default_permission.html
デフォルトのパーミッション設定: umask | 知識の箱
http://www.rivhiro-weather.com/knowledge/?p=168
ファイルやディレクトリ作成時の初期パーミッション設定を変えたい〜umask〜 - ITmedia エンタープライズ
https://www.itmedia.co.jp/help/tips/linux/l0353.html
umaskのデフォルト値 (CentOS6.4) - Web Application Security Memo
https://www.pupha.net/archives/151/
umaskはどこで設定されている? | VPSサーバーでWebサイト公開 備忘録 ~Linux、MySQLからAJAXまで
http://wordpress.honobono-life.info/lin-base/umask%E3%81%AF%E3%81%A9%E3%81%93%E3%81%A7%E8%A8%AD%E5%A...
umask の初期設定を全部のユーザーに適用する - それマグで!
https://takuya-1st.hatenablog.jp/entry/2018/02/13/190949
■ディレクトリを作成
if [ $UID -gt 199 ] && [ "`/usr/bin/id -gn`" = "`/usr/bin/id -un`" ]; then
umask 002
else
#umask 022
umask 002
fi
$ mkdir test … ディレクトリを作成
$ mkdir -p test/abc … 複数階層のディレクトリを作成
$ cd $_ … 作成したディレクトリに移動
「$_」で、ひとつ前に実行したコマンドラインの最後の引数を参照できる
もしくは、「ESC → .」で直前のコマンドの最後のパラメータを補完できる
[小ネタ] mkdir したディレクトリに cd する方法 9 選 +1 (BASH) | Developers.IO
http://dev.classmethod.jp/etc/make-and-cd-patterns/
■ディレクトリ名を変更
$ mv test1 test2
■ディレクトリを複製
$ cp test test_backup … 「cp: omitting directory `test'」と表示され、コピーできない
$ cp -r test test_backup … ディレクトリをコピーする際は「r」オプションを付ける
$ cp -rp test test_backup … pオプションも付けると、コピー元の所有者ID、グループID、アクセス権、最終更新日時、最終アクセス日時をコピー元と同じにしてコピーする
$ cp -rp test/* /test_backup/ ... 隠しファイルや隠しフォルダはコピー対象にならない
$ cp -rp test/. /test_backup/ ... 隠しファイルや隠しフォルダもコピー対象になる
以下は使用例
$ cp -rp /var/www/vhosts/xxx/html/phpmyadmin /var/www/vhosts/yyy/html
cpコマンドで不可視ファイルまでコピーする - Qiita
https://qiita.com/sayama0402/items/cdf7debc9784ebac0115
ディレクトリをコピーする際、コピー先にすでにディレクトリが存在するか否かで挙動が変わるので注意
(もしディレクトリが存在すれば、その中に改めてディレクトリを作って複製される)
cp でコピー先ディレクトリのあり/なし #Linux - Qiita
https://qiita.com/ngyuki/items/ea4d99cf29aa3d24655c
■ディレクトリを複製(特定ディレクトリを除外)
cpでは特定ディレクトリのみ除外して複製することはできないが、rsyncを使えば可能
普通に複製する場合、以下のようにする
$ rsync -a /var/www/vhosts/test/ /var/www/vhosts/test_backup/
/var/www/vhosts/test/
を
/var/www/vhosts/test_backup/
に複製するが、
/var/www/vhosts/test/blog/
は除外したい場合、以下のようにする(除外設定は、複製元のパスを基準に指定する)
$ rsync -a /var/www/vhosts/test/ /var/www/vhosts/test_backup/ --exclude '/blog/'
【linux】特定のディレクトリを除いてコピーしたい
https://www.softel.co.jp/blogs/tech/archives/5267
■ディレクトリを移動
$ mv /var/www/vhosts/example/html/deploy /var/www/vhosts/main/html
$ mv target/ ../ … 一階層上に移動
■ディレクトリを削除
$ rm -rf ディレクトリ名
$ rm -rf 201603* … ワイルドカードで一括削除
$ rm -rf 20160[3-8]* … 正規表現で一括削除
r ... 中身のファイルも含めてディレクトリごと削除
f ... 確認なしに削除
■ファイルを圧縮&展開
$ tar zcvf compress.tar.gz file1 file2 … TAR+GZIP形式で圧縮
$ gzip -dc compress.tar.gz | tar xvf … TAR+GZIP形式で展開
$ zip compress.zip file1 file2 … ZIP形式で圧縮
$ zip 201909.zip 201909*.jpg … ZIP形式で圧縮(正規表現で指定して圧縮)
$ zip -r compress.zip directory … ZIP形式で圧縮(ディレクトリを再帰的に圧縮)
$ unzip compress.zip … ZIP形式で展開
展開後、所有者と権限を調整する場合の例
# chown -R apache compress … 所有者をapacheに変更(再帰的)
# find compress -type d -print | xargs chmod 775 … ディレクトリの権限を775に変更(再帰的)
# find compress -type f -print | xargs chmod 664 … ファイルの権限を664に変更(再帰的)
古いログを削除する前にバックアップする場合の例
# cd /var/log/command/xxx … 作業ディレクトリへ移動
# zip -r 2016.zip 2016*/ … 「2016」から始まるディレクトリを1つに圧縮
# rm -rf 2016*/ … 「2016」から始まるディレクトリを削除
特定のディレクトリを除外して圧縮
$ zip -r example.zip example/ … ZIP形式でディレクトリを圧縮
$ zip -r example.zip example/ -x example/monitor/\* … ZIP形式でディレクトリを圧縮(monitorを除外)
$ zip -r example.zip example/ -x example/monitor/\* example/switch/\* … ZIP形式でディレクトリを圧縮(monitorとswitchを除外)
tarで圧縮する時に特定のディレクトリは除外する方法 - ex1-lab
https://ex1.m-yabe.com/archives/2145
カゲンぱぱのイイカゲンメモ帳: linuxのzipコマンドで特定フォルダーとファイルを除外する
http://kagen88.blogspot.jp/2012/12/linuxzip.html
■ファイルを暗号化&復号化
$ openssl enc -e -aes128 -in plain.txt -out crypted.txt … 暗号化
$ openssl enc -d -aes128 -in crypted.txt -out plain.txt … 復号化
opensslコマンドの使い方: UNIX/Linuxの部屋
http://x68000.q-e-d.net/~68user/unix/pickup?openssl
OpenSSLでファイルの暗号化・複合化するための備忘録 - Qiita
https://qiita.com/Yarimizu14/items/49690c141b62507e00d9
opensslコマンドで簡単なファイル暗号化 - Qiita
https://qiita.com/ikuwow/items/1cdb057352c06fd3d727
■ファイルを比較
$ diff config.default.php config.php … ファイルを比較
$ diff -u config.default.php config.php … git風にファイルを比較
$ diff -ybBw config.default.php config.php … WinMerge風にファイルを比較
diffコマンドを便利に使う | bacchi.me
https://bacchi.me/linux/diff-tips/
ハードリンクとシンボリックリンク
【Linux】lnコマンドでファイルのリンクを作成してみよう | 侍エンジニアブログ
https://www.sejuku.net/blog/50103
lnコマンドめっちゃ便利。 #Linuxコマンド - Qiita
https://qiita.com/mitsumizo/items/3c266699d9ca7a712108
【ln -s】世界一シンプルなシンボリックリンクまとめ [Linux] #Linux - Qiita
https://qiita.com/takuyanin/items/3682ac19bbbc21792849
シンボリックリンクの作成と削除 #Linux - Qiita
https://qiita.com/colorrabbit/items/2e99304bd92201261c60
■ファイルに対するハードリンク
ハードリンクを設定する(1つのファイルの実体に複数の名前を付ける)
$ vi test.txt
$ cat test.txt
TEST
$ ln test.txt h_test.txt
$ ll
-rw-r--r-- 2 apache apache 6 10月 3 17:38 h_test.txt
-rw-r--r-- 2 apache apache 6 10月 3 17:37 test.txt
$ cat test.txt
TEST
$ cat h_test.txt
TEST
リンク元のファイルを編集すると、リンク先ファイルにも反映される
$ vi test.txt
$ cat test.txt
TEST
TEST
$ cat h_test.txt
TEST
TEST
どちらも本物のファイルなので、元々のファイルである test.txt を削除しても h_test.txt を読み書きできる。
$ rm test.txt
$ cat h_test.txt
TEST
TEST
■ファイルに対するシンボリックリンク
シンボリックリンクを設定する(Windowsでいうショートカットを作成する。リンク先が実体ファイル)
$ vi test.txt
$ cat test.txt
TEST
$ ln -s test.txt s_test.txt
$ ll
lrwxrwxrwx 1 apache apache 8 10月 3 17:47 s_test.txt -> test.txt
-rw-r--r-- 1 apache apache 6 10月 3 17:46 test.txt
$ cat test.txt
TEST
$ cat s_test.txt
TEST
リンク元のファイルを編集すると、リンク先ファイルにも反映される
$ vi test.txt
$ cat test.txt
TEST
TEST
$ cat s_test.txt
TEST
TEST
リンク先のファイルが削除されると、内容を参照できなくなる
$ rm test.txt
$ ll
lrwxrwxrwx 1 apache apache 8 10月 3 17:47 s_test.txt -> test.txt
$ cat s_test.txt
cat: s_test.txt: No such file or directory
■ディレクトリに対するハードリンク
ディレクトリに対してハードリンクを作成することはできない
$ mkdir test
$ vi test/test.txt
$ cat test/test.txt
TEST
$ ln test h_test
ln: `test': ディレクトリに対するハードリンクは許可されていません
■ディレクトリに対するシンボリックリンク
シンボリックリンクを設定すると、どちらからでもディレクトリの内容を参照できる
$ mkdir test
$ vi test/test.txt
$ cat test/test.txt
TEST
$ ln -s test s_test
$ ll
lrwxrwxrwx 1 apache apache 4 10月 3 18:12 s_test -> test
drwxr-xr-x 2 apache apache 22 10月 3 18:10 test
$ ll test
-rw-r--r-- 1 apache apache 6 10月 3 18:10 test.txt
$ ll s_test/
-rw-r--r-- 1 apache apache 6 10月 3 18:10 test.txt
$ pwd
/home/webmaster
$ cd test
$ pwd
/home/webmaster/test
$ cd -
/home/webmaster
$ cd s_test/
$ pwd
/home/webmaster/s_test
ディレクトリへのシンボリックリンクは、通常どおりunlinkコマンドで削除できる
ただし最後に「/」を付けると、ディレクトリとみなされてシンボリックリンク(ファイル)を削除できないので注意
$ unlink s_test/
unlink: `s_test/' を削除 (unlink) できません: Not a directory
$ ll
合計 0
lrwxrwxrwx 1 apache apache 4 10月 3 18:12 s_test -> test
drwxr-xr-x 2 apache apache 22 10月 3 18:10 test
$ unlink s_test
$ ll
合計 0
drwxr-xr-x 2 apache apache 22 10月 3 18:10 test
■ディレクトリに対するシンボリックリンク(使用例)
以下のとおりシンボリックリンクを作成し、ブラウザから test/ にアクセスすると test1/index.html の内容が表示される
$ mkdir test1
$ vi test1/index.html
$ cat test1/index.html
test1
$ ln -s test1 test
$ ll
lrwxrwxrwx 1 apache apache 5 10月 3 18:25 test -> test1
drwxr-xr-x 2 apache apache 24 10月 3 18:24 test1
以下のようにするとリンクの張り替えができる
作業ファイルをディレクトリごとアップロードし、リンク先をそこに向けることで、過去のファイルを丸ごと残したバージョン管理ができる
以前のバージョンに戻す場合、リンク先を元に戻すだけで対応できる
(もちろん過去の領域ではすべてのファイルが残っているため、ディスクの消費量が大きくなるので注意が必要)
※シンボリックリンクの張り替えは「f」オプションが必要(リンクが存在する場合、既存のリンクを削除する)
対象がディレクトリの場合は「n」オプションも必要(リンクが存在してリンク先がディレクトリの場合、リンクを通常ファイルとして扱う)
$ mkdir test2
$ vi test2/index.html
$ cat test2/index.html
test2
$ ln -nfs test2 test
$ ll
lrwxrwxrwx 1 apache apache 5 10月 3 18:31 test -> test2
drwxr-xr-x 2 apache apache 37 10月 3 18:27 test1
drwxr-xr-x 2 apache apache 24 10月 3 18:27 test2
なお以下のようにすると、シンボリックリンクが存在する場合にエラーになる
$ ln -s test2 test
ln: シンボリックリンク `test/test2' の作成に失敗しました: File exists
シンボリックリンクの向き先変更(ln -nfs TARGET LINK_NAME) #UNIX - Qiita
https://qiita.com/takeoverjp/items/bb1576e90a8a495db4b3
lnコマンドのnオプションについて #コマンド - Qiita
https://qiita.com/Railroad3551/items/be14c1da32113f74aaa3
コマンド入力
Ctrl+A で入力中の行頭に移動
Ctrl+E で入力中の行末に移動
Ctrl+K でカーソルより行末方向の文字を削除(キルバッファに格納)
Ctrl+Y でキルバッファに格納された文字を貼り付け
コマンド履歴
$ history … 履歴を表示
$ history 10 … 履歴を10件表示
$ !123 … 履歴から123のコマンドを実行
$ !! … 直前のコマンドを実行
Ctrl+R でreverse-i-searchが呼び出される
その状態で文字列を入力すると過去のコマンドが履歴から検索され、入力候補として表示される
再度 Ctrl+R でさらに昔の候補が表示される
ESCで終了できる
[ターミナル] コマンドの履歴検索と実行
http://dev.classmethod.jp/tool/terminal-reverse-i-search/
■コマンド履歴に実行日時を追加
※未検証
コマンド履歴に日光日時は記録されていないが、記録しておくとトラブル時の調査に役立つ可能性がある
HISTTIMEFORMAT を設定することで、自動で記録することはできるみたい
永続化の作業が別途必要みたいなので注意
historyにコマンドの実行時刻が表示されるようにする - Qiita
https://qiita.com/kawaz/items/92457e3d1664383b18bc
history コマンドに日時を付与する - Qiita
https://qiita.com/bezeklik/items/56a597acc2eb568860d7
■コマンド履歴を削除
※未検証
削除を履歴に残したいなら「history -d 行番号」を実行、
履歴に残したくないなら「~/.bash_history」を編集、
で良さそう
間違って入力したコマンドのhistoryの削除 - Qiita
https://qiita.com/katamuki/items/f9806bad3641baac2747
【 history 】コマンド――コマンド入力の履歴を表示、再利用する:Linux基本コマンドTips(154) - @IT
https://atmarkit.itmedia.co.jp/ait/articles/1710/20/news015.html
コマンド実行の優先度を下げる
niceコマンドを使えば、優先度を変えてプログラムを実行できる
具体的には、サーバに負荷がかかるコマンドを打つ場合、下記をコマンドの先頭に付ける
$ ionice -c 2 -n 7 nice -n 19
-c 2:ディスクI/Oの実行優先度をベストエフォートで実行
-n 7:さらにこのコマンドの優先度を低くする
-n 19:プロセスの実行優先度を一番低くする
以下は付けなかった場合と付けた場合のコマンド例
実行結果は同じ
$ du -s /var/www/html/* | sort -nr
$ ionice -c 2 -n 7 nice -n 19 du -s /var/www/html/* | sort -nr
インフラエンジニアとしてよく使うコマンド集 - Qiita
https://qiita.com/sion_cojp/items/04a2aa76a1021fe77079
nice【コマンド】とは|「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
https://wa3.i-3-i.info/word15019.html
「nice」というのは英語のniceness(優しさ・親切さ)が語源になっている
「他のプロセスに対して優しい・親切な実行方法」ということらしい
linuxのコマンド、nice,reniceの語源由来って?linuxの... - Yahoo!知恵袋
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11215881816
nice (Unix) - Wikipedia
https://en.wikipedia.org/wiki/Nice_(Unix)#Etymology
コマンド実行の言語を指定する
OSの設定が日本語でも、コマンドの前に「LC_ALL=C」を付加すれば英語で実行結果を取得できる
実行結果をもとに何らかの処理を行う場合、日本語混じりでない方が都合がいいことがある
$ ll
合計 16
drwxr-xr-x 2 apache apache 4096 11月 11 2020 images
-rw-r--r-- 1 apache apache 6 11月 11 2020 test1.txt
-rw-r--r-- 1 apache apache 17 11月 26 2020 test2.txt
-rw-r--r-- 1 apache apache 35 11月 26 2020 test3.txt
$ LC_ALL=C ll
total 16
drwxr-xr-x 2 apache apache 4096 Nov 11 2020 images
-rw-r--r-- 1 apache apache 6 Nov 11 2020 test1.txt
-rw-r--r-- 1 apache apache 17 Nov 26 2020 test2.txt
-rw-r--r-- 1 apache apache 35 Nov 26 2020 test3.txt
y(yes)を自動入力してコマンドを実行する
例えば以下のように実行確認を求めてくるシェルスクリプトがあるとして、
./test.sh
実行してもよろしいですか? [Y/n]:
この「y」入力を手動ではなく自動で行う方法
以下のようにすることで対応できる
echo y | ./test.sh
もしくはyesコマンド(延々と「y」を入力するだけのコマンド)を使って、
以下のようにすることでも対応できる
yes | ./test.sh
サーバをコマンドで自動構築する場合に活用できる
コマンドの途中で聞いてくる yes を自動入力したい?それ yes で出来るよ - 自主的20%るぅる
https://www.agent-grow.com/self20percent/2018/08/06/linux-command-auto-yes/
シェルスクリプトで [y/n] を入力させて処理を分岐する方法 | LFI
https://linuxfan.info/shell-script-y-n
rootになる
$ su … ホームディレクトリは作業ユーザのままで、シェルや環境変数も引き継ぐ
$ su - … ホームディレクトリが /root になり、rootの環境変数を使用する
$ sudo su - … ユーザパスワードでrootになる(sudoを許可されている必要がある)
# exit … rootからログアウト
「su」は「Substitute User」の略
Linux (Unix) の su コマンドの su は何の略か - 元RX-7乗りの適当な日々
https://www.na3.jp/entry/20190326/p1
第410回 あなたの人生を少しだけ豊かにするsudoの使い方:Ubuntu Weekly Recipe|gihyo.jp … 技術評論社
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0410
今は「sudo -i」などの使われるらしい
ただし「sudo su -」とまったく同じ意味では無いので注意
sudo su とかしてる人はだいたいおっさん
https://zenn.dev/tmtms/articles/202105-sudo-su
ファイルのハッシュを確認
https://ja.osdn.net/projects/filezilla/releases/
などにある「ハッシュ」は、ファイルの内容が改ざんされていないか確認するためのもの
以下のような方法でファイルのハッシュを確認できる
■Unix
$ md5sum target.txt
ac831b62e07eef4d60e778a769d40e2e target.txt
$ sha1sum target.txt
bd950235476818fcb481e8a29f876b8e5328d380 target.txt
$ sha256sum target.txt
1639e3c3377b98ddc5e3adc806f26ef4f2cf6031788ed7d38b6207b1371f6849 target.txt
■Windows PowerShell
Get-FileHash target.txt -Algorithm md5
Get-FileHash target.txt -Algorithm sha1
Get-FileHash target.txt -Algorithm sha256
■PHP
<?php
echo hash_file('md5', 'target.txt');
echo '<hr>';
echo hash_file('sha1', 'target.txt');
echo '<hr>';
echo hash_file('sha256', 'target.txt');
■参考
hashアルゴリズムとハッシュ値の長さ一覧 - Qiita
https://qiita.com/KEINOS/items/c92268386d265042ea16
アプリケーションがインストールされているか確認
# rpm -q httpd
httpd-2.4.6-67.el7.centos.6.x86_64
アプリケーションの検索
# yum search httpd
アプリケーションを追加
# yum install httpd
# yum -y install httpd … 確認せずにインストール
アプリケーションを削除
# rpm -q postgresql
postgresql-8.4.20-1.el6_5.x86_64
# yum remove postgresql … 古いpostgresqlを削除。「remove」は「erase」としても同じ
アプリケーションの詳細情報を確認
# yum info httpd
読み込んだプラグイン:fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: www.ftp.ne.jp
* epel: ftp.kddilabs.jp
* extras: www.ftp.ne.jp
* remi-safe: mirrors.mediatemple.net
* updates: www.ftp.ne.jp
* webtatic: sp.repo.webtatic.com
インストール済みパッケージ
名前 : httpd
アーキテクチャー : x86_64
バージョン : 2.4.6
リリース : 67.el7.centos.6
容量 : 9.4 M
リポジトリー : installed
提供元リポジトリー : updates
要約 : Apache HTTP Server
URL : http://httpd.apache.org/
ライセンス : ASL 2.0
説明 : The Apache HTTP Server is a powerful, efficient, and extensible
: web server.
ログを確認
KEIROMICHI | IPアドレスから住所検索
http://keiromichi.com/
IPひろば
http://www.iphiroba.jp/
ANSI Whois Gateway
http://whois.ansi.co.jp/
使用中のIPアドレス確認
https://www.cman.jp/network/support/go_access.cgi
■Linux
OSが起動した直後からsyslogが起動するまでのログ(dmesgコマンドでも確認できる / 起動してからは /var/log/messages に記録される)
# cat /var/log/dmesg
システム全般に関するログ。ファイヤーウォールのログなども記録される
# cat /var/log/messages
認証に関するログ(suやsudoの実行履歴など。rootの操作内容が残るわけではないので、root権限が必要な処理はsudo経由で実行させることが好ましい)
# cat /var/log/secure
監査に関するログ(セキュリティに関するイベントが記録される)
# cat /var/log/audit/audit.log
cronに関するログ
# cat /var/log/cron
メールに関するログ
# cat /var/log/maillog
yumによるパッケージ情報操作に関するログ
# cat /var/log/yum.log
システム起動時に画面に表示されていた内容
# cat /var/log/boot.log
sudoポリス「誰だ! 本番環境でsudo suしてるのは!」 - Qiita
https://qiita.com/keys/items/ba03b71fd34ebbff4c6e
ログインに成功したログ(バイナリファイル。内容はlastコマンドで確認する)
# /var/log/wtmp
ログインに失敗したログ(バイナリファイル。内容はlastbコマンドで確認する)
# /var/log/btmp
各ユーザーの最後にログインした日時のログ(バイナリファイル。内容はlastlogコマンドで確認する)
# /var/log/lastlog
ログインに成功したログを整形して表示
# last -n 10 refirio
ログインに成功したログを整形して表示(ホストを省略せずに最後に表示)
# last -n 100 refirio -a
ログインに失敗したログを整形して表示
# last -n 10 refirio
各ユーザーの最後にログインした日時のログを整形して表示
# lastlog
【last, lastlog】Linuxでログイン履歴を確認するコマンド | UX MILK
https://uxmilk.jp/26163
last、lastb、lastlogの結果にIPアドレスは含まれていないが、
/var/log/messages
を見ればログインしたときのIPアドレスは判る
コマンド一つ一つの実行者のIPアドレスまでは記録されないようだが、実行中に限れば以下の方法で調べることはできる
SSHで接続して処理を実行中のユーザーの接続元IPを確認する方法
http://www.lesstep.jp/wiki/index.php?SSH%E3%81%A7%E6%8E%A5%E7%B6%9A%E3%81%97%E3%81%A6%E5%87%A6%E7%90...
■Apache
アクセスログ
# cat /var/log/httpd/access_log
アクセスログ(SSLの場合)
# cat /var/log/httpd/ssl_access_log
エラーログ
# cat /var/log/httpd/error_log
エラーログ(SSLの場合)
# cat /var/log/httpd/ssl_error_log
ログの解析については、後述の
「Apacheのログをコマンドで解析」
も参照
■nginx
アクセスログ
# cat /var/log/nginx/access.log
エラーログ
# cat /var/log/nginx/error.log
■Vsftpd
アクセスログ(ファイルのアップロード、ダウンロード、削除などが記録される)
# cat /var/log/xferlog
環境によっては /var/log/xferlog/vsftpd.log などの名前に変更されているかもしれない
ログの解析については、後述の
「FTPのログを解析」
も参照
■Postfix
メールに関するログ
# cat /var/log/maillog
ログの解析については、後述の
「メールのログを解析」
「メールのログをコマンドで解析」
「メールのログをmaillogconvert.plで変換してコマンドで解析」
も参照
■PHP
アクセスログ
なし(Apacheに依存)
エラーログ
なし(Apacheに依存)
■MySQL
アクセスログ
なし(記録していない)
エラーログ・アプリケーションログ
# cat /var/log/mysqld.log
専用ログ
スロークエリログファイル(slow_query_log_file で設定)
# cat /var/run/mysqld/mysqld-slow.log
mysql> SELECT * FROM mysql.slow_log;
■Zabbix
Zabbixサーバのログ
# cat /var/log/zabbix/zabbix_server.log
Zabbixエージェントのログ
# cat /var/log/zabbix/zabbix_agentd.log
Zabbixプロキシサーバのログ
# cat /var/log/zabbix/zabbix/_proxy.log
■SFTP
デフォルト設定ではSFTPの操作はログに記録されないが、設定を変更することで記録できる
主に以下のページを参考に設定
SFTPの操作をログに残すための設定 #Linux - Qiita
https://qiita.com/Sophick12224/items/b62e5f1af335a29217e0
SFTPサーバーのログ取得設定 - インフォサーカス・インコーポレイテッド - Info Circus, Inc.
https://www.infocircus.jp/2020/08/06/sftp-server-logging-config/
sshd_config内にある設定で「-l INFO」を付与する
# vi /etc/ssh/sshd_config
「INFO」は、ファイルの転送・許可の変更などに関する情報を記録する
ログは /var/log/messages に記録される
一例だが以下の操作を行ったとき、
1. SFTPで /home/ec2-user にアクセス
2. ディレクトリ test を作成
3. ファイル test/test.txt を作成
4. ファイル test/test.txt を test/test1.txt に名前変更
5. ディレクトリ test を test1 に名前変更
6. ファイル test1/test1.txt を削除
7. ディレクトリ test1 を削除
8. 接続を終了
/var/log/messages には以下の内容が記録されていた(実際は空行なし)
SSH接続の際はIPアドレスは記録されないようだが、SFTP接続の際は記録されている
Subsystem sftp /usr/libexec/openssh/sftp-server
↓
Subsystem sftp /usr/libexec/openssh/sftp-server -l INFO
# systemctl restart sshd
Dec 5 05:04:51 ip-10-1-0-246 systemd: Started Session 15 of user ec2-user.
Dec 5 05:04:51 ip-10-1-0-246 systemd-logind: New session 15 of user ec2-user.
Dec 5 05:04:51 ip-10-1-0-246 sftp-server[23652]: session opened for local user ec2-user from [203.0.113.1]
Dec 5 05:04:51 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:04:51 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:05:00 ip-10-1-0-246 sftp-server[23652]: mkdir name "/home/ec2-user/test" mode 0777
Dec 5 05:05:02 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:05:02 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:05:04 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user/test"
Dec 5 05:05:04 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user/test"
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: session opened for local user ec2-user from [203.0.113.1]
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: opendir "/home/ec2-user/test"
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: closedir "/home/ec2-user/test"
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: open "/home/ec2-user/test/test.txt" flags WRITE,CREATE,TRUNCATE mode 0666
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: close "/home/ec2-user/test/test.txt" bytes read 0 written 6
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: opendir "/home/ec2-user/test"
Dec 5 05:05:07 ip-10-1-0-246 sftp-server[23696]: closedir "/home/ec2-user/test"
Dec 5 05:05:39 ip-10-1-0-246 sftp-server[23652]: rename old "/home/ec2-user/test/test.txt" new "/home/ec2-user/test/test1.txt"
Dec 5 05:05:40 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:05:40 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:05:59 ip-10-1-0-246 sftp-server[23652]: rename old "/home/ec2-user/test" new "/home/ec2-user/test1"
Dec 5 05:06:07 ip-10-1-0-246 sftp-server[23696]: session closed for local user ec2-user from [203.0.113.1]
Dec 5 05:06:11 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user/test1"
Dec 5 05:06:11 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user/test1"
Dec 5 05:06:14 ip-10-1-0-246 sftp-server[23652]: remove name "/home/ec2-user/test1/test1.txt"
Dec 5 05:06:20 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:06:20 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:06:21 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:06:21 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:06:23 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user/test1"
Dec 5 05:06:23 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user/test1"
Dec 5 05:06:23 ip-10-1-0-246 sftp-server[23652]: rmdir name "/home/ec2-user/test1"
Dec 5 05:06:23 ip-10-1-0-246 sftp-server[23652]: opendir "/home/ec2-user"
Dec 5 05:06:23 ip-10-1-0-246 sftp-server[23652]: closedir "/home/ec2-user"
Dec 5 05:06:35 ip-10-1-0-246 sftp-server[23652]: session closed for local user ec2-user from [203.0.113.1]
Dec 5 05:06:35 ip-10-1-0-246 systemd-logind: Removed session 15.
■grepの使用例
# tail -n 100 /var/log/secure | grep warning
# tail -n 100 /var/log/secure | grep refuse
# tail -n 100 /var/log/secure | grep fail
# tail -n 100 /var/log/secure | grep error
# tail -n 100 /var/log/messages | grep invalid
# tail -n 100 /var/log/messages | grep fail
# tail -n 100 /var/log/messages | grep error
件数を取得
# grep ConnectException -c /var/log/httpd/error_log
正規表現で検索
# cat error_log | grep digest
# cat error_log | grep done
↓
# cat error_log | egrep '(digest|done)'
圧縮されたログを表示
# zcat /var/log/httpd/access_log
圧縮されたログを検索
# zgrep XXX /var/log/httpd/access_log
gzのファイルを展開せずにgrepする - Qiita
https://qiita.com/aaaaAAAA1111/items/7b56b2f5c3073f8f6b19
■ファイルの監視
# tail -f /var/log/httpd/access_log … 対象ファイルに変更があれば即座に反映(「Ctrl+c」で終了)
# tail -n 5 -f /var/log/httpd/access_log … 対象ファイルに変更があれば即座に反映(デフォルトで5件まで表示)
# tail -f /var/log/httpd/access_log | grep /test/ … 対象ファイルから「/test/」を検索。変更があれば即座に反映
# tail -n 5 -f /var/log/httpd/access_log /var/log/httpd/error_log … 複数ファイルを同時に監視(ただしmultitailを使う方が良さそう)
multitailで複数のログを同時に監視
https://rcmdnk.com/blog/2016/03/06/computer-linux-mac/
複数ファイルを tail できる multitail が便利!
http://loumo.jp/wp/archive/20130228202358/
# cd /var/log/httpd
# multitail -f access_log -f error_log … 「-f」が「-F」でいいかは要動作確認
[Linux]「tail -f」での監視はもう古い!?超絶便利なlessコマンド
http://qiita.com/shuntaro_tamura/items/faaebb3282c37a718b76
tail -fやtailfを使うのはやめてless +Fを使おう
http://qiita.com/LOUIS_rui/items/8d935526571ccfe171ae
エンジニアなら知っておきたい lessコマンドtips 11選
http://qiita.com/ine1127/items/64b5b6cf52471c3fe59c
「tail -f」を使うのは情弱、情強は「less +F」を使う
http://www.softantenna.com/wp/unix/stop-using-tail-f/
ログをコピー
Apacheのログ
/var/log/httpd/access_log
すべてのログを /var/www/logs/ 内にコピーする例
\cp -f /var/log/* /var/www/logs/
\cp -f /var/log/audit/* /var/www/logs/audit/
\cp -f /var/log/conman/* /var/www/logs/conman/
\cp -f /var/log/conman.old/* /var/www/logs/conman.old/
\cp -f /var/log/cups/* /var/www/logs/cups/
\cp -f /var/log/httpd/* /var/www/logs/httpd/
\cp -f /var/log/mail/* /var/www/logs/mail/
\cp -f /var/log/pm/* /var/www/logs/pm/
\cp -f /var/log/ppp/* /var/www/logs/ppp/
\cp -f /var/log/prelink/* /var/www/logs/prelink/
一部のログを /var/www/logs/ 内にコピーする例
\cp -f /var/log/httpd/access_log /var/www/logs/access_log
\cp -f /var/log/httpd/access_log* /var/www/logs/
\cp -f /var/log/httpd/error_log /var/www/logs/error_log
\cp -f /var/log/cron /var/www/logs/cron
\cp -f /var/log/maillog /var/www/logs/maillog
\cp -f /var/log/mysqld.log /var/www/logs/mysqld.log
\cp -f /var/log/secure /var/www/logs/secure
\cp -f /var/log/vsftpd.log /var/www/logs/vsftpd.log
\cp -f /var/log/yum.log /var/www/logs/yum.log
パーミッションを変更
chmod 644 /var/www/logs/*
過去のログ
\cp -f /var/log/httpd/access_log.1 /var/www/logs/access_log
削除
# rm -f /var/www/logs/*
Apacheのログをコマンドで解析
※可能なら、最初からcatではなくgrepを使う方が高速。計測方法は「コマンドの実行時間を表示」を参照
※SSL経由のアクセスの場合、ログは /var/log/httpd/ssl_access_log に記録されるので注意
※コマンド以外だと、例えば以下のようなソフトがある
ApacheLogViewerソフトでログからアクセス解析 [DokuWikiで情報発信]
https://dokuwiki.oreda.net/access/apachelogviewer.html
sedでこういう時はどう書く? - Qiita
https://qiita.com/hirohiro77/items/7fe2f68781c41777e507
■各項目の参照(cut版とsed版)
IPアドレス
# cat /var/log/httpd/access_log | cut -d ' ' -f 1
# cat /var/log/httpd/access_log | sed 's/ .*$//'
日時
# cat /var/log/httpd/access_log | cut -d '[' -f 2 | cut -d ']' -f 1
# cat /var/log/httpd/access_log | sed 's/^.*\[\([^]]*\)\].*/\1/'
リクエスト
# cat /var/log/httpd/access_log | cut -d ' ' -f 7
# cat /var/log/httpd/access_log | sed 's/^[^"]*"\([^"]*\)".*/\1/'
リファラー
# cat /var/log/httpd/access_log | cut -d '"' -f 4
# cat /var/log/httpd/access_log | sed 's/.*"\([^"]*\)" .*$/\1/'
User Agent
# cat /var/log/httpd/access_log | cut -d '"' -f 6
# cat /var/log/httpd/access_log | sed 's/.*"\([^"]*\)"$/\1/'
■変換
日時を時間に変換
# cat /var/log/httpd/access_log | cut -d '[' -f 2 | cut -d ']' -f 1 | awk -F : '{print $2":"$3}'
■ソート
※IPアドレスを例に紹介。他の項目の場合も手順は同じ
IPアドレス一覧
# cat /var/log/httpd/access_log | cut -d ' ' -f 1
ソート
# cat /var/log/httpd/access_log | cut -d ' ' -f 1 | sort
重複を除外して件数を表示(重複を除外する前にソートが必要)
# cat /var/log/httpd/access_log | cut -d ' ' -f 1 | sort | uniq -c
件数の降順にソート
# cat /var/log/httpd/access_log | cut -d ' ' -f 1 | sort | uniq -c | sort -nr
上位10件
# cat /var/log/httpd/access_log | cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head -n 10
■除外
CSSや画像などへのアクセスを除外
# cat /var/log/httpd/access_log | egrep -iv '(.css|.js|.gif|.jpeg|.jpg|.jpe|.png|.ico|.swf)'
さらにbotからのアクセスを除外
# cat /var/log/httpd/access_log | egrep -iv '(.css|.js|.gif|.jpeg|.jpg|.jpe|.png|.ico|.swf|clawler|Googlebot|googlebot|DotBot|Slurp|msnbot|robots|spider|Wget|ScoutJet|mlbot)'
以下は旧版。grepよりもegrepの方が読みやすい
# cat /var/log/httpd/access_log | grep -ive "\(\.css\|\.js\|\.gif\|\.jpeg\|\.jpg\|\.jpe\|\.png\|\.ico\|\.swf\)"
# cat /var/log/httpd/access_log | grep -ive "\(\.css\|\.js\|\.gif\|\.jpeg\|\.jpg\|\.jpe\|\.png\|\.ico\|\.swf\|clawler\|Googlebot\|googlebot\|DotBot\|Slurp\|msnbot\|robots\|spider\|Wget\|ScoutJet\|mlbot\)"
■絞り込み
特定ユーザの特定のアクセス
# cat /var/log/httpd/access_log | grep '203.0.113.1' | grep '/mypage/profile'
2016年2月10日のみ
# cat /var/log/httpd/access_log | grep '10/Feb/2016'
2016年2月10日15時のみ
# cat /var/log/httpd/access_log | grep '10/Feb/2016:15'
2016年2月10日15時20〜29分のみ
# cat /var/log/httpd/access_log | grep '10/Feb/2016:15:2'
2016年2月10日15時台の、リクエストが多かったページ上位10件
# cat /var/log/httpd/access_log | grep '10/Feb/2016:15' | cut -d ' ' -f 7 | sort | uniq -c | sort -nr | head -n 10
直近の10件のみ
# tail -n 10 /var/log/httpd/access_log
直近の1000件の、リクエストが多かったページ上位10件
# tail -n 1000 /var/log/httpd/access_log | cut -d ' ' -f 7 | sort | uniq -c | sort -nr | head -n 10
MP4とPDFへのアクセスのみ
# grep '01/Aug/2022:15' access_log | grep mp4
# grep '01/Aug/2022:15' access_log | grep pdf
# cat /var/log/httpd/access_log | egrep -i '(.mp4)'
# cat /var/log/httpd/access_log | egrep -i '(.pdf)'
# grep '01/Aug/2022:15' access_log | egrep -i '(.mp4|.pdf)'
巨大ファイル(10MB以上の重いファイル)へのアクセスのみ
# cat /var/log/httpd/access_log | awk '($10 >= 10000000) {print $0}'
ファイル名を表示
# cat /var/log/httpd/access_log | awk '($10 >= 10000000) {print $7}'
ファイルサイズとファイル名を表示
# cat /var/log/httpd/access_log | awk '($10 >= 10000000) {print int($10/1024/1024)"MB:"$7}' | uniq | sort -nr
特定日時で絞り込んで巨大ファイルへのアクセスを確認(「$(NF-2)」は「末尾から数えて3番目」の値。末尾は0なので単に「$NF」と書く)
# cat /var/log/httpd/access_log | grep '27/Jun/2019:09:1[2-6]' | awk '($(NF-2) >= 10000000) {print $0}'
エラーのみ
# cat /var/log/httpd/access_log | awk '($9 >= 400 || $7 >= 400) {print $0}'
エラーの比率
# cat /var/log/httpd/access_log | awk '($9 < 400) {ok++} ($9 >= 400 || $7 >= 400) {ng++} END {print ng/(ok+ng)*100}'
■レスポンスタイム解析
以下のように、ログフォーマットに「%D」が記載されているものとする(レスポンスタイムがマイクロ秒で記録される)
LogFormat "%h %l %u %t \"%!414r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D" combined
※末尾のデータは「$NF」で参照できるが、例えば末尾からn番目の場合は「$(NF-n)」で参照できる
※1秒 = 1,000ミリ秒 = 1,000,000マイクロ秒
レスポンスタイムを参照
# cat /var/log/httpd/access_log | awk '{print $NF}'
1秒以上かかったレスポンス数
# cat /var/log/httpd/access_log | awk '$NF > 1000000 {print $NF/1000, $7}' | wc -l
レスポンスの遅かったリクエストトップ10
# cat /var/log/httpd/access_log | awk '{print $NF/1000, $7}' | sort -nr | head -n 10
平均レスポンスタイム(ミリ秒)
# cat /var/log/httpd/access_log | awk '{sum += $NF; count++}; END{print (sum/count)/1000}'
2016年11月5日15時台の、平均レスポンスタイム(ミリ秒)
# cat /var/log/httpd/access_log | grep '05/Nov/2016:15' | awk '{sum += $NF; count++}; END{print (sum/count)/1000}'
※例えば以下の形式(末尾から2つ目がレスポンスタイム)で記録されている場合、
LogFormat "%h %l %u %t \"%!414r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D %{X-Forwarded-For}i %{X-Forwarded-Proto}i" combined
以下のように $(NF-2) と指定すれば解析できる
# cat /var/log/httpd/access_log | awk '{print $(NF-2)/1000, $7}' | sort -nr | head -n 10
# cat /var/log/httpd/access_log | awk '{sum += $(NF-2); count++}; END{print (sum/count)/1000}'
# cat /var/log/httpd/access_log | grep '05/Nov/2016:15' | awk '{sum += $(NF-2); count++}; END{print (sum/count)/1000}'
■5分以内のApacheログを表示
※月をまたぐと、余計なデータが表示されてしまう
あらかじめ日でgrepしておくか。高速化にもなるかも。要検証
grep '01/Jun/2018' /var/log/nginx/access.log | awk -F'\\[|\\]' '"01/Jun/2018:01:00:00" < $2'
# date … 現在の日時を表示
# date "+%Y-%m-%d %H:%M:%S" … フォーマットして表示(「+」に続けてフォーマットを指定)
# LC_ALL=C date "+%d/%b/%Y:%H:%M:%S" … 日本語環境でも英語表記で表示
# LC_ALL=C date -d '5 minutes ago' "+%d/%b/%Y:%H:%M:%S" … 5分前の日時を英語表記で表示
# tail -n 10 /var/log/httpd/access_log | awk -F'\\[|\\]' '{ print $2 }' … Apacheログの日時を取得
# tail -n 10 /var/log/nginx/access.log | awk -F'\\[|\\]' '{ print $2 }' … nginxログの日時を取得
# awk -F'\\[|\\]' '"31/May/2018:19:30:00" < $2' /var/log/httpd/access_log … 特定日時以降のApacheログを表示
# awk -F'\\[|\\]' '"31/May/2018:19:30:00" < $2' /var/log/nginx/access.log … 特定日時以降のnginxログを表示
$ vi get_access_log.sh … 5分以内のログを表示
■メモ
あなたはだんだん、ファイルを読むのにlessコマンドを使いたくなる
http://qiita.com/marrontan619/items/95e954972706f32be255
Apache ログを awk と uniq だけで集計する
https://qiita.com/bezeklik/items/f5c292c4360cde140bef
アクセスログからピーク時の分間hit数を割り出す
https://hacknote.jp/archives/11938/
Apacheのログからエラーアクセスだけ抽出
http://hole.sugutsukaeru.jp/archives/625
Apacheのレスポンス分析に必要なスクリプトまとめ
http://koduki.hatenablog.com/entry/2012/11/24/171534
Apacheのログから応答速度分布やエラー状況を分析する(原始的な方法)
http://www.teradas.net/archives/5298/
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する
https://blog.riywo.com/2011/02/07/162154/
awkで末尾から数えてn番目のフィールドを取り出す。
http://qiita.com/koitatu3/items/3d746c7e292908c6167e
ログ分析に使えるLinuxコマンド6選 - Qiita
https://qiita.com/moneymog/items/16d2f843c344a5ace51a
grepでAND検索とOR検索 #UNIX - Qiita
https://qiita.com/ritukiii/items/968f17f9c308743e85a7
date コマンド | コマンドの使い方(Linux) | hydroculのメモ
https://hydrocul.github.io/wiki/commands/date.html
"date" 日付・時刻の表示 @LCD -Linux Command Dictionary-|Replog!株式会社レップワンスタッフによるブログです
http://www.rep1.co.jp/staff/200vcxg/217rav/date_lcd_-linux_command_dictio_2.htm
特別なコマンド無しで「◯◯時からXX時までの間のログを抽出」というように、時間指定でログを抽出させる方法(awk,sed)
https://orebibou.com/2015/04/%E7%89%B9%E5%88%A5%E3%81%AA%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E7%84%A...
awkへシェルスクリプトの変数を渡す - Qiita
https://qiita.com/yamao2253/items/cf69b68447214036e914
俺の愛用ワンライナー、Web企業のエンジニア16人に聞きました - エンジニアHub|若手Webエンジニアのキャリアを考える!
https://employment.en-japan.com/engineerhub/entry/2018/05/08/110000
■Apacheのログをツールで解析
【Apache】アクセスログ解析ソフトの一覧
http://matome.naver.jp/odai/2142278136708605501
便利ツール(9)アクセスログ解析ソフト「ApacheLogViewer」
http://win.kororo.jp/weblog/2006/08/17/post_0808.php
「生ログ」を解析してみよう!
http://jugemstaff.jugem.jp/?eid=25
#!/bin/bash
# 5分前の日時を取得
datetime=`LC_ALL=C date -d '5 minutes ago' "+%d/%b/%Y:%H:%M:%S"`
# 5分以内のApacheログを表示
awk -F'\\[|\\]' '"'"${datetime}"'" < $2' /var/log/httpd/access_log
# 5分以内のnginxログを表示
#awk -F'\\[|\\]' '"'"${datetime}"'" < $2' /var/log/nginx/access.log
FTPのログを解析
FTPソフトで接続して
1. ファイルを新規にアップロード
1. ファイルを上書きアップロード
2. ファイルを削除
3. ディレクトリを作成
4. ディレクトリを削除
としたときのログ /var/log/xferlog は以下のとおり
「どのディレクトリに移動した」のようなログは残らないが、アップロードや削除はログに残っている
Wed Nov 30 11:38:26 2022 [pid 91078] CONNECT: Client "203.0.113.1"
Wed Nov 30 11:38:26 2022 [pid 91078] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, not reused, no cert"
Wed Nov 30 11:38:26 2022 [pid 91077] [refirio] OK LOGIN: Client "203.0.113.1"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_RECEIVED_SHUTDOWN"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:27 2022 [pid 91079] [refirio] OK UPLOAD: Client "203.0.113.1", "/html/test.txt", 0.00Kbyte/sec
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:27 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_RECEIVED_SHUTDOWN"
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:32 2022 [pid 91079] [refirio] OK UPLOAD: Client "203.0.113.1", "/html/test.txt", 0.00Kbyte/sec
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:32 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:33 2022 [pid 91078] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:37 2022 [pid 91072] [refirio] OK DELETE: Client "203.0.113.1", "/html/test.txt"
Wed Nov 30 11:38:42 2022 [pid 91072] [refirio] OK MKDIR: Client "203.0.113.1", "/html/test"
Wed Nov 30 11:38:45 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:45 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:45 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:45 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:48 2022 [pid 91072] [refirio] OK RMDIR: Client "203.0.113.1", "/html/test"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:49 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:50 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:50 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:50 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:50 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
Wed Nov 30 11:38:53 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "Connection terminated without SSL shutdown - buggy client?"
FTPソフトで「最新の情報に更新」をすると、以下が記録された
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL version: TLSv1/SSLv3, SSL cipher: ECDHE-RSA-AES128-SHA, reused, no cert"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: NONE"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: SSL_SENT_SHUTDOWN"
Wed Nov 30 11:38:48 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "SSL shutdown state is: 3"
上記に関する部分を除外すると、以下のようになる
作業内容と一致している
Wed Nov 30 11:38:26 2022 [pid 91078] CONNECT: Client "203.0.113.1"
Wed Nov 30 11:38:26 2022 [pid 91077] [refirio] OK LOGIN: Client "203.0.113.1"
Wed Nov 30 11:38:27 2022 [pid 91079] [refirio] OK UPLOAD: Client "203.0.113.1", "/html/test.txt", 0.00Kbyte/sec
Wed Nov 30 11:38:32 2022 [pid 91079] [refirio] OK UPLOAD: Client "203.0.113.1", "/html/test.txt", 0.00Kbyte/sec
Wed Nov 30 11:38:37 2022 [pid 91072] [refirio] OK DELETE: Client "203.0.113.1", "/html/test.txt"
Wed Nov 30 11:38:42 2022 [pid 91072] [refirio] OK MKDIR: Client "203.0.113.1", "/html/test"
Wed Nov 30 11:38:48 2022 [pid 91072] [refirio] OK RMDIR: Client "203.0.113.1", "/html/test"
Wed Nov 30 11:38:53 2022 [pid 91071] [refirio] DEBUG: Client "203.0.113.1", "Connection terminated without SSL shutdown - buggy client?"
上記はFTPだが、SFTPの場合は操作ログが残らないようなので注意
設定を変更することで残すことはできるみたい(未検証)
SFTPの操作をログに残すための設定 - Qiita
https://qiita.com/Sophick12224/items/b62e5f1af335a29217e0
監査に関するログを解析
監査に関するログは
/var/log/audit/audit.log
に保存されるが、ログの日時がタイムスタンプだったりと扱いづらい
確認の際はausearchコマンドを使用するといい
# ausearch -i -if /var/log/audit/audit.log --start 16:50:00 --end 17:00:00
【ausearch】SELinuxのログの見方とトラブルシュート, 監査設定, tail リアルタイム表示〜 | SEの道標
https://milestone-of-se.nesuke.com/sv-basic/linux-basic/audit-log-ausearch/
Linuxの監査システム Auditについて理解する - Qiita
https://qiita.com/Brutus/items/7ec3d06adf6af6ca24b7
ausearchをcronで定期実行させる - 14Room
https://naked123.hatenablog.com/entry/2017/05/08/090532
Linuxコマンドメモ(一)(随時更新) - Ousei Blog
https://ousei.hatenablog.com/entry/linux-command-memo
B.2. 監査レコードタイプ Red Hat Enterprise Linux 6 | Red Hat Customer Portal
https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/6/html/security_guide/sec-aud...
メールを表示
PEARの時代は Mail_mimeDecode を使っていたが、Composerでは定番とされるようなライブラリは無いみたい
Composerで使える、メール解析って何がある? | 株式会社ビヨンド
https://beyondjapan.com/blog/2017/04/mail-parser-on-composer/
受信したメールをPHPで解析してDBに格納する - Qiita
https://qiita.com/ga_ku/items/2f2640905f91aeb82d6c
日本語メールの仕組み | SendGridブログ
https://sendgrid.kke.co.jp/blog/?p=10958
MIMEエンコードされたメールのデコード方法 - Qiita
https://qiita.com/sheepland/items/2065ffcc7ec8c03145cc
以下のメール解析に役立ちそう
PHPでのHTMLメール・デコメールの送り方
https://www.systemexpress.co.jp/php/htmlmail.html
以下にメール全般の基礎がまとめられている
おさえておきたいメールの基礎用語 | SendGridブログ
https://sendgrid.kke.co.jp/blog/?p=658
メールをコマンドで表示
※Etcetra.txt の「メールを確認する」「root宛のメールを削除する」も参照
以下の場所にメールが保存されている(EC2だと /var/spool/mail に保存されている)
# cd /var/mail
# ls -l
合計 144
-rw------- 1 pi mail 137159 2月 6 12:00 pi
-rw------- 1 root mail 2200 9月 5 13:19 root
$ cat root
メールを表示するにはmailコマンドを使用する
コマンドを使えなければインストールする
# mail
-bash: mail: コマンドが見つかりません
$ sudo yum -y install mailx … mailコマンドインストール(CentOS系の場合)
$ sudo apt-get install -y mailutils … mailコマンドインストール(Ubuntu系の場合)
「mail」とだけ入力すると、新着メールを表示できる
「?」が表示されると入力待ち状態。数字を入力すると該当するメールが、「h」と入力するとメールの一覧を表示できる
「q」と入力すると終了できる
# mail
"/var/mail/root": 4 messages 4 new
>N 1 pi@raspberrypi 土 12月 12 16: 14/522 *** SECURITY information for raspberrypi ***
N 2 pi@raspberrypi 土 12月 12 16: 14/485 *** SECURITY information for raspberrypi ***
N 3 pi@raspberrypi 土 12月 12 16: 14/522 *** SECURITY information for raspberrypi ***
N 4 pi@raspberrypi 土 12月 12 16: 14/485 *** SECURITY information for raspberrypi ***
? 2
Return-Path: <pi@raspberrypi>
X-Original-To: root
Delivered-To: root@raspberrypi
Received: by raspberrypi (Postfix, from userid 1000)
id 66381BE9F5; Sat, 12 Dec 2020 16:16:15 +0900 (JST)
To: root@raspberrypi
From: pi@raspberrypi
Auto-Submitted: auto-generated
Subject: *** SECURITY information for raspberrypi ***
Message-Id: <20201212071615.66381BE9F5@raspberrypi>
Date: Sat, 12 Dec 2020 16:16:15 +0900 (JST)
raspberrypi : Dec 12 16:16:15 : pi : unable to resolve host raspberrypi
? q
Held 4 messages in /root/mbox
新着メールが無い場合、「mail」を実行しても以下の表示になる
# mail
No mail for root
この場合、「-f」を付けると以前のメールを表示できる(環境によってはこのオプションはエラーになる?)
# mail -f
"/root/mbox": 4 messages 2 new 2 unread
>N 1 pi@raspberrypi 土 12月 12 16: 14/522 *** SECURITY information for raspberrypi ***
N 2 pi@raspberrypi 土 12月 12 16: 14/485 *** SECURITY information for raspberrypi ***
U 3 pi@raspberrypi 土 12月 12 16: 17/566 *** SECURITY information for raspberrypi ***
U 4 pi@raspberrypi 土 12月 12 16: 16/504 *** SECURITY information for raspberrypi ***
以下のようにしてメールの削除と確認ができる
(「d 番号」でメールを削除し、「h」で一覧できる)
# mail
"/var/mail/root": 2 messages 2 new
> 1 Mail Delivery System Wed Feb 15 14:42 82/3412 "Undelivered Mail Returned to Sender"
2 Mail Delivery System Wed Feb 15 14:44 82/3412 "Undelivered Mail Returned to Sender"
& d 1
& h
> 2 Mail Delivery System Wed Feb 15 14:44 82/3412 "Undelivered Mail Returned to Sender"
& d 2
& h
No applicable messages
& q
逆引きUNIXコマンド/mailコマンドの操作とメールの指定削除 - Linuxと過ごす
https://linux.just4fun.biz/?%E9%80%86%E5%BC%95%E3%81%8DUNIX%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89/mail...
mailコマンドは対話式だが、以下のようにすることでメール一覧を取得できる
# echo q | mail
また以下のようにすることで、新着メールと未読メールの件数を取得できる(本当に正しいコードかどうかは要検証)
# echo q | mail | grep -c '^.[NU]'
また以下のようなシェルスクリプトで、root宛てにメールが届いたときに任意のアドレスに通知できる
(この場合 from@example.com が送信元としたいアドレス、to@example.com が通知先のアドレスとなる)
#!/bin/bash
count=$(echo q | mail | grep -c '^.[NPU*]')
if [ $count -ge 1 ]; then
echo "You've Got ${count} Mail(s) for root." | mail -s "You've Got Mail" -r from@example.com to@example.com
fi
バーチャルメールボックスのメールを確認
※Etcetra.txt の「メールを確認する」も参照
メールの保存場所へ移動
# cd /home/virtualmail/
# ll
合計 4
drwxr-xr-x 4 mailuser mailuser 4096 11月 25 23:04 refirio.net
メールを確認
# ll refirio.net/test/Maildir/
合計 44
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:44 cur
-rw-r--r-- 1 mailuser mailuser 399 12月 11 15:44 dovecot-uidlist
-rw-r--r-- 1 mailuser mailuser 8 11月 25 23:14 dovecot-uidvalidity
-r--r--r-- 1 mailuser mailuser 0 11月 25 23:10 dovecot-uidvalidity.619f9968
-rw-r--r-- 1 mailuser mailuser 5056 12月 11 15:44 dovecot.index.cache
-rw-r--r-- 1 mailuser mailuser 4140 12月 11 15:46 dovecot.index.log
-rw-r--r-- 1 mailuser mailuser 48 11月 25 23:14 dovecot.mailbox.log
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:54 new
-rw-r--r-- 1 mailuser mailuser 11 11月 25 23:14 subscriptions
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:54 tmp
新着メールがある状態
# ll refirio.net/test/Maildir/
合計 44
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:44 cur
-rw-r--r-- 1 mailuser mailuser 399 12月 11 15:44 dovecot-uidlist
-rw-r--r-- 1 mailuser mailuser 8 11月 25 23:14 dovecot-uidvalidity
-r--r--r-- 1 mailuser mailuser 0 11月 25 23:10 dovecot-uidvalidity.619f9968
-rw-r--r-- 1 mailuser mailuser 5056 12月 11 15:44 dovecot.index.cache
-rw-r--r-- 1 mailuser mailuser 4140 12月 11 15:46 dovecot.index.log
-rw-r--r-- 1 mailuser mailuser 48 11月 25 23:14 dovecot.mailbox.log
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:54 new
-rw-r--r-- 1 mailuser mailuser 11 11月 25 23:14 subscriptions
drwxr-xr-x 2 mailuser mailuser 4096 12月 11 15:54 tmp
# ll refirio.net/test/Maildir/new/
合計 4
-rw------- 1 mailuser mailuser 2346 12月 11 15:54 1639205681.Vfd04I155a9cM401882.refirio.net
# ll refirio.net/test/Maildir/cur/
合計 24
-rw------- 1 mailuser mailuser 2792 11月 25 23:13 1637849600.Vfd04I155a7fM749425.refirio.net:2,RS
-rw------- 1 mailuser mailuser 4056 11月 29 23:22 1638195771.Vfd04I155a64M782368.refirio.net:2,S
-rw------- 1 mailuser mailuser 2804 11月 29 23:42 1638196942.Vfd04I155a95M440234.refirio.net:2,S
-rw------- 1 mailuser mailuser 2789 12月 4 15:49 1638600578.Vfd04I155a90M122562.refirio.net:2,RS
-rw------- 1 mailuser mailuser 3336 12月 4 18:23 1638609801.Vfd04I155a99M649171.refirio.net:2,RS
-rw------- 1 mailuser mailuser 2344 12月 11 15:44 1639205090.Vfd04I155a58M173551.refirio.net:2,S
新着メールを確認
# cat refirio.net/test/Maildir/new/1639205681.Vfd04I155a9cM401882.refirio.net
Return-Path: <example@gmail.com>
X-Original-To: test@refirio.net
Delivered-To: test@refirio.net
Received: from mail-lf1-f41.google.com (mail-lf1-f41.google.com [209.85.167.41])
by mail.refirio.net (Postfix) with ESMTP id D9F85CAD9
for <test@refirio.net>; Sat, 11 Dec 2021 15:54:40 +0900 (JST)
Received: by mail-lf1-f41.google.com with SMTP id t26so21825132lfk.9
for <test@refirio.net>; Fri, 10 Dec 2021 22:54:40 -0800 (PST)
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;
d=gmail.com; s=20210112;
h=mime-version:from:date:message-id:subject:to;
bh=kVIp+Wogyi4Zcccev+7pJGCEarR9keCB1jCzsDPwgmA=;
b=XtSwYkXuBm/RGtUMg1BmV2xp3C+r7nOfNdxM2pHDXafMH5V6m2ow7hOBH5PBKE9LG8
NrscLqdt3twmqpuOLa6ZAd4QLu03bsAlXBjMhhZqAZkDMsfl36pM/d+ibnUlrZSUkkz+
ePZEuEkPBXg2YZBEmrvOjfSTo37PIOWbrZRNpgLcJmLvXud+mMwK63JCTOvYHN7D+NsL
OvEMRXlSkCdHFYinxTV0CU4HNLaSGDlczyT/xWQsqf4pIIysRDkfKXoG57Nkrm7H7UJY
FC+j8ifgn77b38B0ff1el1bDMLbt+m86BKf9aenK44VkfidmIaLS365PdQugqfKZg1WA
KIAw==
X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;
d=1e100.net; s=20210112;
h=x-gm-message-state:mime-version:from:date:message-id:subject:to;
bh=kVIp+Wogyi4Zcccev+7pJGCEarR9keCB1jCzsDPwgmA=;
b=u7tqRDDwA8BIAZO9Tb6OMT+TkbsoUALTC9m+sba1Fdp597JmTIs4FqL/2hl43NZsLP
rG/aDxTOpSJKD0ybi5FNecKB4vahjTvB+I59+iTXhUDhp3CQTMx7S1ajzzUSpqRI/CgY
vQnzRaLyUe8zQScjJvdzlIGrKj6YFRI9VuTlthpZpdA4+SLbLNPSlNcYSycXM2L0SIQg
ua8y5zIEgs6o/P9cCDiCX+Dwf/WJh6ouCmQE+OAA/wGhcnRNAi5sUDQLTUbA1QTanP8n
bQbMEJyYr1ShU0Y82t/cOXoWw6kQ2ISBNTxnkGqJ8G7ZvoKlYx/3oRpt0VzKy4Wy/KjJ
KfjA==
X-Gm-Message-State: AOAM532Ce85LZVAUWbPf5eBdGfKlz0T6p0qtDYRKgvFzerUjR6Vx6JTP
XF+6Klb7X3mfYz/CSXYVGPc7jjxemE2tAxoezAYnNKH3Vfc=
X-Google-Smtp-Source: ABdhPJwRE6ZESquGtxGZM62QJtk9w1vvJpe/mw7HUVBA/SxUvS80swT7qSyoaqrO6P/rMNWmsEEtqIuSEzMADSkFSR4=
X-Received: by 2002:ac2:44c3:: with SMTP id d3mr9021772lfm.610.1639205679066;
Fri, 10 Dec 2021 22:54:39 -0800 (PST)
MIME-Version: 1.0
From: =?UTF-8?B?5bGx6YeO5a+b5ZKM?= <example@gmail.com>
Date: Sat, 11 Dec 2021 15:53:42 +0900
Message-ID: <CABiFHFMcu+=mnMzBrOLiPJoVsBbWMeXY1AdHVXrR_2r5w97s+g@mail.gmail.com>
Subject: TEST MAIL 2
To: test@refirio.net
Content-Type: text/plain; charset="UTF-8"
This is a test message.
from refirio.
メーラーで受信した状態
# ll refirio.net/test/Maildir/new/
合計 0
# ll refirio.net/test/Maildir/cur/
合計 28
-rw------- 1 mailuser mailuser 2792 11月 25 23:13 1637849600.Vfd04I155a7fM749425.refirio.net:2,RS
-rw------- 1 mailuser mailuser 4056 11月 29 23:22 1638195771.Vfd04I155a64M782368.refirio.net:2,S
-rw------- 1 mailuser mailuser 2804 11月 29 23:42 1638196942.Vfd04I155a95M440234.refirio.net:2,S
-rw------- 1 mailuser mailuser 2789 12月 4 15:49 1638600578.Vfd04I155a90M122562.refirio.net:2,RS
-rw------- 1 mailuser mailuser 3336 12月 4 18:23 1638609801.Vfd04I155a99M649171.refirio.net:2,RS
-rw------- 1 mailuser mailuser 2344 12月 11 15:44 1639205090.Vfd04I155a58M173551.refirio.net:2,S
-rw------- 1 mailuser mailuser 2346 12月 11 15:54 1639205681.Vfd04I155a9cM401882.refirio.net:2,
メーラーで既読にした状態
# ll refirio.net/test/Maildir/new/
合計 0
# ll refirio.net/test/Maildir/cur/
合計 28
-rw------- 1 mailuser mailuser 2792 11月 25 23:13 1637849600.Vfd04I155a7fM749425.refirio.net:2,RS
-rw------- 1 mailuser mailuser 4056 11月 29 23:22 1638195771.Vfd04I155a64M782368.refirio.net:2,S
-rw------- 1 mailuser mailuser 2804 11月 29 23:42 1638196942.Vfd04I155a95M440234.refirio.net:2,S
-rw------- 1 mailuser mailuser 2789 12月 4 15:49 1638600578.Vfd04I155a90M122562.refirio.net:2,RS
-rw------- 1 mailuser mailuser 3336 12月 4 18:23 1638609801.Vfd04I155a99M649171.refirio.net:2,RS
-rw------- 1 mailuser mailuser 2344 12月 11 15:44 1639205090.Vfd04I155a58M173551.refirio.net:2,S
-rw------- 1 mailuser mailuser 2346 12月 11 15:54 1639205681.Vfd04I155a9cM401882.refirio.net:2,S
メーラーで返信にした状態
# ll refirio.net/test/Maildir/cur/
合計 28
-rw------- 1 mailuser mailuser 2792 11月 25 23:13 1637849600.Vfd04I155a7fM749425.refirio.net:2,RS
-rw------- 1 mailuser mailuser 4056 11月 29 23:22 1638195771.Vfd04I155a64M782368.refirio.net:2,S
-rw------- 1 mailuser mailuser 2804 11月 29 23:42 1638196942.Vfd04I155a95M440234.refirio.net:2,S
-rw------- 1 mailuser mailuser 2789 12月 4 15:49 1638600578.Vfd04I155a90M122562.refirio.net:2,RS
-rw------- 1 mailuser mailuser 3336 12月 4 18:23 1638609801.Vfd04I155a99M649171.refirio.net:2,RS
-rw------- 1 mailuser mailuser 2344 12月 11 15:44 1639205090.Vfd04I155a58M173551.refirio.net:2,S
-rw------- 1 mailuser mailuser 2346 12月 11 15:54 1639205681.Vfd04I155a9cM401882.refirio.net:2,RS
メールの内容を確認
「:2,RS」のような値も含めて指定する(指定する際はエスケープが必要)
# cat refirio.net/test/Maildir/cur/1639205681.Vfd04I155a9cM401882.refirio.net\:2\,RS
Return-Path: <example@gmail.com>
X-Original-To: test@refirio.net
Delivered-To: test@refirio.net
Received: from mail-lf1-f41.google.com (mail-lf1-f41.google.com [209.85.167.41])
by mail.refirio.net (Postfix) with ESMTP id D9F85CAD9
for <test@refirio.net>; Sat, 11 Dec 2021 15:54:40 +0900 (JST)
Received: by mail-lf1-f41.google.com with SMTP id t26so21825132lfk.9
for <test@refirio.net>; Fri, 10 Dec 2021 22:54:40 -0800 (PST)
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;
d=gmail.com; s=20210112;
h=mime-version:from:date:message-id:subject:to;
bh=kVIp+Wogyi4Zcccev+7pJGCEarR9keCB1jCzsDPwgmA=;
b=XtSwYkXuBm/RGtUMg1BmV2xp3C+r7nOfNdxM2pHDXafMH5V6m2ow7hOBH5PBKE9LG8
NrscLqdt3twmqpuOLa6ZAd4QLu03bsAlXBjMhhZqAZkDMsfl36pM/d+ibnUlrZSUkkz+
ePZEuEkPBXg2YZBEmrvOjfSTo37PIOWbrZRNpgLcJmLvXud+mMwK63JCTOvYHN7D+NsL
OvEMRXlSkCdHFYinxTV0CU4HNLaSGDlczyT/xWQsqf4pIIysRDkfKXoG57Nkrm7H7UJY
FC+j8ifgn77b38B0ff1el1bDMLbt+m86BKf9aenK44VkfidmIaLS365PdQugqfKZg1WA
KIAw==
X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;
d=1e100.net; s=20210112;
h=x-gm-message-state:mime-version:from:date:message-id:subject:to;
bh=kVIp+Wogyi4Zcccev+7pJGCEarR9keCB1jCzsDPwgmA=;
b=u7tqRDDwA8BIAZO9Tb6OMT+TkbsoUALTC9m+sba1Fdp597JmTIs4FqL/2hl43NZsLP
rG/aDxTOpSJKD0ybi5FNecKB4vahjTvB+I59+iTXhUDhp3CQTMx7S1ajzzUSpqRI/CgY
vQnzRaLyUe8zQScjJvdzlIGrKj6YFRI9VuTlthpZpdA4+SLbLNPSlNcYSycXM2L0SIQg
ua8y5zIEgs6o/P9cCDiCX+Dwf/WJh6ouCmQE+OAA/wGhcnRNAi5sUDQLTUbA1QTanP8n
bQbMEJyYr1ShU0Y82t/cOXoWw6kQ2ISBNTxnkGqJ8G7ZvoKlYx/3oRpt0VzKy4Wy/KjJ
KfjA==
X-Gm-Message-State: AOAM532Ce85LZVAUWbPf5eBdGfKlz0T6p0qtDYRKgvFzerUjR6Vx6JTP
XF+6Klb7X3mfYz/CSXYVGPc7jjxemE2tAxoezAYnNKH3Vfc=
X-Google-Smtp-Source: ABdhPJwRE6ZESquGtxGZM62QJtk9w1vvJpe/mw7HUVBA/SxUvS80swT7qSyoaqrO6P/rMNWmsEEtqIuSEzMADSkFSR4=
X-Received: by 2002:ac2:44c3:: with SMTP id d3mr9021772lfm.610.1639205679066;
Fri, 10 Dec 2021 22:54:39 -0800 (PST)
MIME-Version: 1.0
From: =?UTF-8?B?5bGx6YeO5a+b5ZKM?= <example@gmail.com>
Date: Sat, 11 Dec 2021 15:53:42 +0900
Message-ID: <CABiFHFMcu+=mnMzBrOLiPJoVsBbWMeXY1AdHVXrR_2r5w97s+g@mail.gmail.com>
Subject: TEST MAIL 2
To: test@refirio.net
Content-Type: text/plain; charset="UTF-8"
This is a test message.
from refirio.
なおこのとき、mailコマンドでは上記のメールを確認できなかった
# mail
Heirloom Mail version 12.5 7/5/10. Type ? for help.
"/var/spool/mail/root": 1 message
> 1 example@refirio.net Sun Oct 24 18:13 17/612 "*** SECURITY information for refirio.net ***"
& q
Held 1 message in /var/spool/mail/root
ユーザの切り替えもできなかった
# su mailuser
This account is currently not available.
# su virtualmail
su: user virtualmail does not exist
メールのログを解析
メールを送信できたかどうかの判断に、メールログを解析することがある
ログを調査する他にバウンスメールを解析する手段もある
それぞれ後述する
迷惑メール扱いされた場合の対策は
Trouble.txt の「メールを送信しても届かない / 迷惑メールとして処理される」を参照
そもそも迷惑メール扱いされないようにするための対策は、
Network.txt の「メールを送信する際、迷惑メール扱いされないための設定」を参照
メールのログをコマンドで解析
メールに関するログは /var/log/maillog に記録されている
具体的には、以下のような内容となっている
Oct 2 07:44:21 web1 sendmail[21798]: u91MiLhk021798: from=<auto@refirio.net>, size=1528, class=0, nrcpts=1, msgid=<8933a528ed38e17adf4c065ed90c21cb@refirio.net>, proto=ESMTP, daemon=MTA, relay=localhost [127.0.0.1]
Oct 2 07:44:21 web1 sendmail[21800]: u91MiLhk021798: to=<taro@example.com>, delay=00:00:00, xdelay=00:00:00, mailer=esmtp, pri=121528, relay=iron01.mailgw.jp. [210.171.0.59], dsn=2.0.0, stat=Sent (ok: Message 719393598 accepted)
ログの見方は以下を参照
/var/log/maillogとは|「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
https://wa3.i-3-i.info/word13859.html
mailログ確認方法
https://web.archive.org/web/20170819142211/http://support.fsv.jp/manual/analysis/log/check/mail.html
メールサーバーが出すログの記述を把握する | GMOクラウドアカデミー
https://academy.gmocloud.com/lesson/20160907/3592
Postfixのメールログの探し方・読み方・使い方を解説 - ベアメールブログ
https://baremail.jp/blog/2021/10/05/1635/
メールサーバー - KAGOYA Internet Routing
https://support.kagoya.jp/kir/manual/mail_server/log_smtp.html
ステータスコードとエラーコードは以下を参照
メールのエラーコードと、メールサーバのmaillog解析方法まとめ
http://oxynotes.com/?p=9810
冒頭のログからは、以下の情報を読み取れる
日時 ... 10月2日7時44分21秒に送信
ホストサーバー名 ... web1
プロセスの情報 ... sendmailがプロセスID [21798] で処理した
メッセージID ... sendmailによってID [u91MiLhk021798] が割り当てられた
送受信者の情報 ... auto@refirio.net から送信された / taro@example.com に送信された
メッセージサイズ ... 1528
メッセージ優先度 ... 0
メッセージ受信者数 ... 1
メッセージ識別番号 ... 8933a528ed38e17adf4c065ed90c21cb@refirio.net
プロトコル情報 ... ESMTP
サーバーデーモン名 ... MTA
メッセージ送信サーバ ... localhost [127.0.0.1]
リレー先サーバ ... iron01.mailgw.jp
ステータス ... dsn=2.0.0, Sent (ok: Message 719393598 accepted)
※「relay=localhost [127.0.0.1]」は現れたり現れなかったりするような。また改めて違いを調べたい
※「dsn」は「Delivery Status Notifications」の略受信側のサーバが受信状況を送信側に通知する仕組み。「2.0.0」は成功
※「Sent」は送信したということ
※メールログは1つの処理が複数行からなる。また、処理内容によってログ形式は変わるみたい?要勉強
生ログの解析は大変なので、maillogconvert.plなどを使って変換したログを解析する方が良さそう
Postfix トラブル調査でメールログを調べる手順
http://plumpliver.com/postfix-maillog-procedure
なお、外部のSMTPで送信した場合などは maillog にログが記録されない
メール送信部分を管理しなくていいメリットはあるが、トラブル時の調査にログを見られないデメリットはあるので注意
Postfixによるメール送信設定 | 稲葉サーバーデザイン
https://inaba-serverdesign.jp/blog/20160620/postfix_send_mail.html
「外部メールサービスの利用について」が参考になる
メールのログをmaillogconvert.plで変換してコマンドで解析
maillogconvert.plを使うと、メールログを読みやすい形式にしてくれる
http://hobbit.ddo.jp/awstatsdocs/awstats_tools.html
以下からダウンロードできる
https://ja.osdn.net/projects/sfnet_awstats/
以下はWindows環境での解析例
C:\xampp\perl\bin\perl maillogconvert.pl standard < C:\mail\maillog > mail.log
以下はUnix環境での解析例
perl maillogconvert.pl standard < /var/log/maillog > mail.log
ログローテートに注意すること(ローテートされているかは「ll /var/log/ | grep maillog」のようにして調べることができる)
以下のように変換される
2016-10-02 07:44:21 auto@refirio.net taro@example.com localhost mail01.example.com SMTP - 1 1528
変換されたログからは、以下の情報を読み取れる
日時 ... 10月2日7時44分21秒に送信
送受信者の情報 ... auto@refirio.net から taro@example.com に送信された
メッセージ送信サーバ ... localhost
リレー先サーバ ... mail01.example.com
プロトコル情報 ... SMTP
SMTPレスポンスコード ... 1
メッセージサイズ ... 1528
PHPから送信したときは、送信者は「apache」になるみたい?次の行もセットで記録されるみたい?
2016-10-02 08:15:59 apache example@docomo.ne.jp localhost 127.0.0.1 SMTP - 1 928
2016-10-02 08:15:59 apache@web1.refirio.net example@docomo.ne.jp localhost mfsmax.docomo.ne.jp SMTP - 1 1151
以下のようなログが大量に記録されているが、中国からのアクセス。リレーメールを拒否した際のログ
2016-10-05 04:07:14 <> example@163.com 183.240.203.45 - SMTP - 550 ?
2016-10-05 04:07:14 example@s.jp example@163.com 183.240.203.45 - SMTP - 550 0
送信元が「<>」なのは送信元が不明なメール。スパムの可能性が高い
こういったメールを拒否して運用することは多いが、必要なメールも拒否してしまう可能性はあるので注意
【postfix】envelope-FROMを強制的に付与する
http://ameblo.jp/server-study/entry-10270572107.html
変換の際に作成されたmail.logは、理由がなければ削除しておく
引き続き、解析方法や集計方法について勉強中
■SMTPレスポンスコード
maillogconvert.plでは、成功時のSMTPレスポンスコードは 1 になるみたい
また、原因不明のエラーは 999 になるみたい
その他のレスポンスコードは以下を参照
SMTP応答コード
http://www.puni.net/~mimori/smtp/reply.html
バウンスメールを受け取らなくても、これでメールが届いたかどうかは十分に判る?
バウンスメールの本文からしか判らない情報もあるみたい?要勉強
■コマンドでの解析例
2016年10月2日15時のみ
# cat mail.log | grep '2016-10-02 15'
特定の送信元
# cat mail.log | awk '($3 == "apache@refirio.net") {print $0}'
特定の送信先
# cat mail.log | awk '($4 == "example@example.com") {print $0}'
エラーのみ
# cat mail.log | awk '($9 != 1) {print $0}'
バウンスメールを解析
メールログの調査だけではなく、バウンスメールも解析するといい
でも「バウンスは発生しないが、メールも届かない」はあり得るのでこれも絶対ではない(迷惑メール扱いされた、など)
Postfix+VERPでメールを識別できるようにする…という方法はあるが、
maillogを解析して「どのアドレスに届かなかったか」が判ればある程度は対応できる
が、可能ならmaillogとバウンスメールの両方を調査できる状態にしておくことが好ましい
VERP でメール不達エラーの宛先アドレスを識別する
https://fumiyas.github.io/2014/12/25/verp.postfix-advent-calendar.html
バウンス理由の一覧 | Sisimai: Mail Analyzing Interface
https://libsisimai.org/ja/reason/
■バウンスメールの概要
Network.txt の「バウンスメール」を参照
■バウンスメールの書式
バウンスメールの書式はRFCで定義されているが、定義に沿っていないものもあるようなので注意
5.3 バウンスメールにより通知される送信失敗|Cuenote
https://www.cuenote.jp/documents/smtp/000203.html
以下はRFCによるものだが推測も含む
メールヘッダの「Content-Type」に以下が記録されるみたい
これにより、バウンスメールか否かを判断できそう
multipart/report; report-type=delivery-status;
バウンスメールの場合、メール本文に以下のような情報が記載される
これにより、バウンスの理由などを判断できそう
Reporting-MTA: dns; web1.refirio.net
Received-From-MTA: DNS; localhost
Arrival-Date: Tue, 1 Jun 2021 13:06:22 +0900
Final-Recipient: RFC822; xxxxxxxxxx@ezweb.be.jp
Action: failed
Status: 5.1.2
Remote-MTA: DNS; ezweb.be.jp
Diagnostic-Code: SMTP; 550 Host unknown
Last-Attempt-Date: Tue, 1 Jun 2021 13:06:22 +0900
以下のようなものもある。似た内容が記録されるが、項目には差がある
Reporting-MTA: dns; web1.refirio.net
Arrival-Date: Tue, 1 Jun 2021 08:52:57 +0900
Final-Recipient: RFC822; xxxxxxxxxxxx@icliud.com
Action: delayed
Status: 4.4.1
Remote-MTA: DNS; icliud.com
Last-Attempt-Date: Tue, 1 Jun 2021 13:45:01 +0900
Will-Retry-Until: Sun, 6 Jun 2021 08:52:57 +0900
「550」のような値は応答コード、「5.1.1」のような値はステータスコード
これらにより、バウンスメール扱いとなった理由を知ることができる
メール配信が失敗した時のエラーコード一覧!エラー内容を把握して配信リストの質を高めよう - Benchmark Email
https://www.benchmarkemail.com/jp/blog/error-codes-of-bounced-emails/
メールのエラーコード(SMTPステータスコード)の意味と対策 | ベアメールブログ
https://baremail.jp/blog/2021/02/25/1020/
■バウンスメールの種類
バウンスメールはソフトバウンスとハードバウンスに分けられる
ソフトバウンスは、メールアドレスが正しく、受信者のサーバに到達したが、以下の様な理由で返されたということを意味する
・メールボックスが一杯だった
・サーバがダウンしていた
・メッセージサイズが大きすぎた
ハードバウンスは、以下の様な理由で受信を恒久的に拒否された場合に発生する
・メールアドレスが無効/不正
・メールアドレスが存在しない
ハードバウンスが発生したメールアドレスにメールを送り続けると、手当たり次第にスパムを送信していると判定される可能性がある
メール送信サービスによっては、ハードバウンスの割合が一定数を超えると利用警告されることがあるので注意
場合によっては、実際にメールを送信する前にアドレスの妥当性を検証する仕組みの導入を検討する
メールアドレスをリアルタイムに検証してハードバウンスをなくす方法 | SendGridブログ
https://sendgrid.kke.co.jp/blog/?p=7837
なお、ハードバウンスは
「応答コードが550で、ステータスコードが5.1.1 もしくは 5.1.2」
という判定ができそう(要検証)
バウンスメールとその対策 | SendGridブログ
https://sendgrid.kke.co.jp/blog/?p=1338
ステータスコードが5.2.0としてバウンスメールになることもあるが、
これはドメイン指定拒否の場合に記録されるものみたい
携帯電話宛バウンスの宛先不明とドメイン指定拒否を見分ける | Sisimai: Mail Analyzing Interface
https://libsisimai.org/ja/docs/distinguish-between-the-unknown-and-the-filtered.html
メールを解析していると、はじめから件名に「[SPAM]」と付いていることがある
プロバイダなどが自動で付与しているものだと思われるので、基本的にはスパム扱いで問題なさそう
タイトルに[spam]とついたメールが届く | よくある質問(FAQ) | BIGLOBE会員サポート
https://faq.support.biglobe.ne.jp/faq_detail.html?faq_id=12363
システムをリアルタイムに監視
Sysstatをインストールしておくと、sarコマンドでシステムの状況を表示できるようになる
インストールするだけで、システムの状況が /etc/cron.d/sysstat によって /var/log/sa/ 内に記録されるようになる。
記録された情報は
# sar -f /var/log/sa/sa05
で確認できる。(上の例は、ある月の5日の情報)また
# sar [オプション] [秒] [カウント]
とすれば現在の状況をリアルタイムに監視できる。
使用例は以下のとおり。
# sar -q 1 10 … システム全体の負荷
# sar -u 1 10 … CPUの使用状況
# sar -P ALL 1 10 … CPUの使用状況(コアごと)
# sar -r 1 10 … メモリの使用状況
# sar -W 1 10 … スワップの確認
# sar -b 1 10 … I/Oの確認
# sar -d -p 1 10 … ブロックデバイスの確認
# sar -n DEV 1 10 … ネットワークデバイスの確認
# sar -n DEV 1 10 | grep eth0 … ネットワークデバイスの確認(eth0のみ)
# sar -q -s 10:00:00 -e 12:30:00 -f /var/log/sa/sa05 … 時間を指定して確認
sarコマンドでLinuxサーバのシステムモニタリングを行う方法
http://naoberry.com/tech/sar/
コマンドの実行時間を表示
$ time sleep 3
real 0m3.001s
user 0m0.000s
sys 0m0.000s
real ... プログラムの呼び出しから終了までにかかった実時間(秒)
user ... プログラム自体の処理時間(秒)(ユーザCPU時間)
sys ... プログラムを処理するために、OSが処理をした時間(秒)(システム時間)
以下は計測例。余計なcatを挟まない方が高速であることが判る
ログ解析コマンドのチューニングなどに使える
# time cat /var/log/httpd/access_log | grep -ie "\(\.ico\)"
real 0m0.005s
user 0m0.000s
sys 0m0.000s
# time grep -ie "\(\.ico\)" /var/log/httpd/access_log
real 0m0.004s
user 0m0.000s
sys 0m0.000s
CentOSのバージョンと何ビットマシンかを調べる
CentOSのバージョンと?bitマシンかを調べる。
http://qiita.com/GENYA/items/9ffbd78cb7f82ecc5b7e
# cat /etc/redhat-release … CentOSのバージョンを調べる
CentOS release 6.7 (Final)
# uname -m … 何ビットマシンかを調べる
x86_64
# arch … 「uname -m」と同じ結果が表示される
x86_64
「x86_64」「amd64」という文字があれば64ビット
「i386」「i686」「x86」という文字があればは32ビット
「x86」自体はビット数とは関係なく、IntelCPUの総称
x86はプロセッサの型番から来ている
x86 - Wikipedia
https://ja.wikipedia.org/wiki/X86
以下のようにすると、マシンに関するすべての情報が表示される
# uname -a … 何ビットマシンかを調べる
Linux refirio.net 2.6.32-573.1.1.el6.x86_64 #1 SMP Sat Jul 25 17:05:50 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux
各種バージョンを調べる
$ uname -r … カーネルのバージョンを調べる
2.6.32-573.1.1.el6.x86_64
$ php -v … PHPのバージョンを調べる
PHP 5.3.3 (cli) (built: Feb 9 2016 10:36:17)
Copyright (c) 1997-2010 The PHP Group
Zend Engine v2.3.0, Copyright (c) 1998-2010 Zend Technologies
$ mysql -u root -p'1234' -D mysql -e "SELECT VERSION()" … MySQLのバージョンを調べる
+-----------+
| VERSION() |
+-----------+
| 5.1.73 |
+-----------+
$ psql --version … PostgreSQLのバージョンを調べる
psql (PostgreSQL) 9.2.24
CPUを調べる
$ cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 63
model name : Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz
stepping : 2
〜略〜
cache_alignment : 64
address sizes : 46 bits physical, 48 bits virtual
power management:
サーバの日時を確認
$ date
2016年 1月 20日 水曜日 19:55:25 JST
サーバの日時を設定
dateコマンドでLinuxサーバの時刻変更
http://qiita.com/na0AaooQ/items/af6b853faf32c58c21d3
$ date -s "12/08 13:00 2016" … 任意の日時に変更
$ date … 日時の確認
AWSのEC2で上の設定を行い、S3を使おうとすると以下の例外が発生する
S3Exception: The difference between the request time and the current time is too large.
WindowsOS上のインターネット時刻同期無効化後、RDP切断、ヘルスチェックエラー
https://forums.aws.amazon.com/thread.jspa?tstart=0&threadID=147084
AWSでは時刻の変更は非推奨みたい
プロセスを確認&強制終了
■top
$ top … システム全体の負荷を表示。プロセス、CPU、メモリ、スワップの統計情報も表示
「%CPU」と「%MEM」で、CPUとメモリの使用率が判る。ただし数値が大きくても、すぐに終わる処理なら問題はない
CPUの使用時間は「TIME+」で判る
時間は「分、秒、1/10秒」もしくは「時、分、秒」で表示される。しばらく眺めてどちらの表示なのか判断する
top実行中に「1」を入力 … 「Cpu(s)」の項目で、CPUごとのデータを表示
top実行中に「c」を入力 … COMMAND列に、コマンドの詳細を表示
top実行中に「Shift+p」 … CPU使用率順にソート(デフォルト)
top実行中に「Shift+m」 … メモリ使用率順にソート
top実行中に「Shift+o」 … ソートできる項目が一覧表示されるので、ソートしたいアルファベットを入力してEnter
topコマンドを終了したい場合、「q」もしくは「Ctrl+c」を入力する
topコマンドの使い方 - Qiita
https://qiita.com/k0kubun/items/7368c323d90f24a00c2f
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
https://orebibou.com/2015/07/top%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%81%A7%E8%A6%9A%E3%81%88%E3%8...
■ps
$ ps aux … BSDオプションでプロセスを確認。topとは違い、リアルタイムではない
$ ps aux | grep プロセス名 … プロセス名で絞り込み
$ ps aux --sort=-pcpu … CPUの降順にソート
$ ps aux --sort=-pmem … メモリの降順にソート
$ ps auxw --sort=-pcpu … wを付けるとCOMMANDを省略せずに表示
$ pstree … ツリー状に表示
$ pstree -c … サブツリーをまとめずに、ツリー状に表示
$ ps aux -L … スレッドを確認する
PIDがプロセスID、LWPがスレッドID、NLWPがスレッド数
$ ps -ef … UNIXオプションでプロセスを確認
BSDオプションに比べると情報量は少ないが、親プロセス(PID)が含まれる
プロセスの親子関係も含めて確認する場合は便利
$ ps auxf … BSDオプションでも、fをつけるとCOMMANDがツリー表示される
「ps aux」のようにオプションにハイフンを付けないものは、「BSDオプション」と呼ばれる記法
「ps -ef」のようにオプションにハイフンを付けるものは、「UNIX」オプションと呼ばれる記法
Linuxではどちらの記法も指定可能で、混在させることもできる
ps - CodeZine(コードジン)
https://codezine.jp/unixdic/w/ps
ps のオプションについてのメモ書き - 双六工場日誌
http://sechiro.hatenablog.com/entry/20120805/1344139544
逆引きUNIXコマンド/psコマンドでスレッドを確認する方法
http://linux.just4fun.biz/?%E9%80%86%E5%BC%95%E3%81%8DUNIX%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89/ps%E3...
psでCPU使用率をはからないように - ikeasの日記
http://d.hatena.ne.jp/ikeas/20091130/1259595249
topとはCPU使用率の計算方法が異なるようなので注意
■プロセスの強制終了
$ kill -KILL プロセス番号 … プロセスを強制終了
$ kill -9 プロセス番号 … 「-KILL」と「-9」は同じ意味
pgrep, pkill を使用してプロセスを殺す
http://d.hatena.ne.jp/lurker/20061102/1162427170
MySQLでプロセスを確認&強制終了
MYSQL障害解析の被疑箇所別 勘所 まとめ
http://www.hachim.jp/study-by-incident/mysql-unyo-viewpoint-2.html
MySQL プロセスを強制終了する
http://mysql.javarou.com/dat/000580.html
MySQLで処理に長時間かかっている複数クエリをまとめて殺す方法
http://tech.basicinc.jp/MySQL/2014/04/06/mysql_processlist_kill/
MySQLはシングルプロセスでマルチスレッドなので、topやpsでは1プロセスしか確認できない
$ top
3008 mysql 20 0 16.7g 7.4g 4748 S 16.9 47.0 1710:57 mysqld
1081 apache 20 0 452m 32m 7780 S 2.3 0.2 0:12.92 httpd
6524 apache 20 0 450m 30m 7744 S 1.0 0.2 0:11.13 httpd
14172 apache 20 0 448m 28m 7784 S 1.0 0.2 0:12.11 httpd
1352 root 20 0 0 0 0 S 0.3 0.0 21:55.68 kondemand/4
1516 root 39 19 0 0 0 S 0.3 0.0 301:43.94 kipmi0
$ ps aux --sort=-pcpu
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
mysql 3008 1.5 46.9 17528172 7719056 ? Sl 2015 1711:00 /usr/libexec/mysqld --defaults-file=/etc/my.cnf -
root 1724 0.2 0.3 797704 54604 ? Ssl 2015 582:05 /usr/sbin/eecd
bwave 17628 0.2 0.0 15300 1572 pts/0 S+ 10:17 0:32 top
apache 373 0.1 0.1 442372 22744 ? S 11:14 0:09 /usr/sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.
apache 820 0.1 0.1 461384 32292 ? S 10:05 0:15 /usr/sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.
apache 1081 0.1 0.2 463188 33328 ? S 10:05 0:12 /usr/sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.
スレッドの確認は、以下のようにmysqlコマンド内で SHOW PROCESSLIST を使う
KILL でスレッドの強制終了ができる
mysql> SHOW PROCESSLIST;
+----+------+----------------+--------+---------+------+-------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+------+----------------+--------+---------+------+-------+------------------+
| 9 | root | localhost:4049 | testdb | Sleep | 39 | | NULL |
| 13 | root | localhost:4451 | test | Query | 0 | NULL | SHOW PROCESSLIST |
+----+------+----------------+--------+---------+------+-------+------------------+
2 rows in set (0.00 sec)
mysql> KILL 9;
Query OK, 0 rows affected (0.00 sec)
mysql> SHOW PROCESSLIST;
+----+------+----------------+------+---------+------+-------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+------+----------------+------+---------+------+-------+------------------+
| 13 | root | localhost:4451 | test | Query | 0 | NULL | SHOW PROCESSLIST |
+----+------+----------------+------+---------+------+-------+------------------+
1 row in set (0.00 sec)
なお
mysql> SHOW PROCESSLIST;
の代わりに
mysql> SELECT * FROM information_schema.PROCESSLIST;
として一覧することもできる。この場合、
mysql> SELECT * FROM information_schema.PROCESSLIST WHERE TIME > 60;
このようにすれば、60秒より長く実行され続けているクエリを探すこともできる
(デッドロックが発生したときなど、長く処理されているものを強制終了させるときに使える)
上記の方法だと長いSQLが省略表示されてしまうが、
以下のように「\G」をつけると全文を確認できる
mysql> SHOW FULL PROCESSLIST \G;
*************************** 1. row ***************************
Id: 164233
User: webmaster
Host: 10.0.0.225:54468
db: NULL
Command: Query
Time: 0
State: starting
Info: SHOW FULL PROCESSLIST
*************************** 2. row ***************************
Id: 164473
User: webmaster
Host: 10.0.0.225:54812
db: test
Command: Execute
Time: 0
State: Sending data
Info: select * from `test` where `status` is null
*************************** 3. row ***************************
Id: 164703
User: webmaster
Host: 10.0.0.119:51828
db: test
Command: Sleep
Time: 198
State:
Info: NULL
*************************** 4. row ***************************
〜略〜
*************************** 10. row ***************************
Id: 164778
User: webmaster
Host: 10.0.0.119:51892
db: test
Command: Execute
Time: 0
State: Sending data
Info: select * from `test` where `status` is null
10 rows in set (0.00 sec)
ERROR:
No query specified
実行中のプロセスの一覧を表示する - MySQL 逆引きリファレンス
http://mysql.javarou.com/dat/000582.html
■RDS
※未検証
RDSでは「KILL 9;」ではエラーになり、「CALL mysql.rds_kill(9);」のようにする必要があるみたい
…だが、普通に「KILL 9;」でもKILLできるような…
Amazon RDS な MySQL で 不要 process を kill する - Garbage in, gospel out
http://libitte.hatenablog.jp/entry/20141202/1417452564
RDS上のMySQLでKILLは使えない | // sakura note
https://saku.io/cant-use-kill-on-rds-mysql/
MySQLで文字コードを確認
mysql> SHOW VARIABLES LIKE '%char%'; … MySQLの文字コードを確認
mysql> SHOW CREATE DATABASE `test`; … 特定データベースの文字コードを確認
mysql> SHOW CREATE TABLE `address`; … 特定テーブルの文字コードを確認
MySQLでスロークエリログを記録
※実際の調査内容は「Trouble.txt」の「サーバが重い・サーバに繋がらない」を参照
※AWSでのスロークエリ確認方法は「AWS.txt」の「RDS」を参照
Mysql slow queryの設定と解析方法 - 主夫ときどきプログラマ
http://masayuki14.hatenablog.com/entry/20120704/1341360260
mysql> SELECT * FROM mysql.slow_log; … スロークエリを確認
Empty set (0.30 sec)
mysql> SHOW GLOBAL VARIABLES LIKE 'slow_query_log'; … スロークエリのON/OFFを確認(初期設定はOFF)
+----------------+-------+
| Variable_name | Value |
+----------------+-------+
| slow_query_log | OFF |
+----------------+-------+
1 row in set (0.25 sec)
mysql> SHOW GLOBAL VARIABLES LIKE 'long_query_time'; … スロークエリの記録時間を確認(初期設定は10秒)
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
mysql> SHOW GLOBAL VARIABLES LIKE 'log_output'; … スロークエリの記録先を確認(初期設定はファイル)
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output | FILE |
+---------------+-------+
1 row in set (0.00 sec)
mysql> SHOW GLOBAL VARIABLES LIKE 'slow_query_log_file'; … スロークエリの記録ファイルを確認(初期設定は /var/lib/mysql/refirio-slow.log)
+---------------------+---------------------------------+
| Variable_name | Value |
+---------------------+---------------------------------+
| slow_query_log_file | /var/lib/mysql/refirio-slow.log |
+---------------------+---------------------------------+
1 row in set (0.01 sec)
mysql> SET GLOBAL slow_query_log = ON; … スロークエリのON/OFFを変更
mysql> SET GLOBAL long_query_time = 1.0; … スロークエリの記録時間を変更
mysql> SET GLOBAL log_output = 'TABLE'; … スロークエリの記録先をデータベースに変更
mysql> SELECT * FROM mysql.slow_log; … スロークエリを確認
mysql> SELECT * FROM mysql.general_log; … 一般ログを確認
mysql> SELECT * FROM mysql.slow_log ORDER BY query_time DESC LIMIT 10; … スロークエリを時間の長い順に表示する例
なお以下のようにすると、スロークエリログをファイルに書き出せる
$ echo 'SELECT * FROM mysql.slow_log ORDER BY start_time DESC LIMIT 100;' | mysql -u ユーザー名 -p データベース名 > ダンプファイル名
■ファイルに記録したスロークエリを解析する例
スロークエリの出力ファイルを変更する場合
mysql> set global slow_query_log_file = '/tmp/mysql-slow.log';
スロークエリを表示
$ vi /var/run/mysqld/mysqld-slow.log
スロークエリを解析(実行時間の遅い順に表示)
$ mysqldumpslow -s t /var/run/mysqld/mysqld-slow.log
MySQLで実行中のクエリを確認
実行中のクエリを確認
mysql> SHOW PROCESSLIST\G
1000文字を超えるSQLも表示
mysql> SHOW FULL PROCESSLIST\G
MySQLをチューニング,そしてスケールアップ/スケールアウトへ
http://gihyo.jp/dev/serial/01/MySQL-tuning-scale/0005?page=2
MySQLで現在のコネクション数を確認
$ /usr/bin/mysql -s -N -u [USER] -p[PASSWD] -e "SHOW STATUS LIKE 'Threads_connected';" | cut -f2
MySQLのデータ容量を確認
MySQLでDBとテーブルのサイズを確認するSQL
http://qiita.com/iKenji/items/b868877492fee60d85ce
■DBのサイズ
SELECT
table_schema AS DB, SUM(data_length) / 1024 / 1024 AS MB
FROM
information_schema.tables
GROUP BY
table_schema
ORDER BY
SUM(data_length + index_length) DESC;
+------------------------+-------------+
| DB | MB |
+------------------------+-------------+
| test | 40.50000000 |
| company | 29.70312500 |
| abc | 13.28125000 |
+------------------------+-------------+
■テーブルのサイズ
SELECT
table_name, engine, table_rows AS tbl_rows,
FLOOR((data_length + index_length) / 1024) AS allKB, #総容量
FLOOR((data_length) / 1024) AS dataKB, #データ容量
FLOOR((index_length) / 1024) AS indexKB #インデックス容量
FROM
information_schema.tables
WHERE
table_schema = database()
ORDER BY
(data_length + index_length) DESC;
+------------+--------+----------+-------+--------+---------+
| table_name | engine | tbl_rows | allKB | dataKB | indexKB |
+------------+--------+----------+-------+--------+---------+
| rooms | InnoDB | 1829 | 1552 | 1552 | 0 |
| buildings | InnoDB | 554 | 160 | 160 | 0 |
| users | InnoDB | 2 | 96 | 16 | 80 |
+------------+--------+----------+-------+--------+---------+
MySQLのインデックスを確認
mysql> SHOW INDEX FROM tablename;
MySQLでユーザを削除
mysql> DELETE FROM mysql.user WHERE user = 'username'; … 「username」を削除
mysql> FLUSH PRIVILEGES; … 設定を反映
MySQLでデータベースエンジン(InnoDBかMyISAM)を確認
mysql> USE information_schema;
mysql> SELECT table_name, engine FROM TABLES WHERE table_schema = 'tablename';
MySQLでMyISAMをInnoDBに変更
MyISAMとInnoDBのどちらを使うべきか
http://opendatabaselife.blogspot.jp/2009/10/myisaminnodb.html
MySQLでMyISAMからInnoDBに乗り換える際に知らないとハマる、怖い話
http://y-ken.hatenablog.com/entry/mysql-migration-from-mysiam-to-innodb-tips
mysql> ALTER TABLE tablename ENGINE=InnoDB;
mysql> SELECT COUNT(*) FROM tablename WHERE text LIKE '%テスト%';
+----------+
| COUNT(*) |
+----------+
| 558622 |
+----------+
1 row in set (5.08 sec)
InnoDBにすると、集計が1秒ほど遅くなった
MySQLのバックアップ(エクスポートとインポート)
■エクスポート
$ mysqldump -u ユーザー名 データベース名 > ダンプファイル名
$ mysqldump -u webmaster -p test > /var/www/backups/mysql_test_20140130.sql
$ mysqldump -u webmaster -p test --default-character-set=binary > /var/www/backups/mysql_test_20140130.sql
「--default-character-set」に「binary」を指定しても文字化けする場合、「utf8」や「latin1」も試す
dump時に「Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces」のようなエラーが表示される場合、
「--no-tablespaces」を付与して実行する
具体的には以下のようになる
$ mysqldump -u webmaster -p test --default-character-set=binary --no-tablespaces > /var/www/backups/mysql_test_20140130.sql
MySQL5.7から、dumpにはPROCESS権限が必要になった
よってdumpを実行したいユーザにこの権限を追加で付与してもいいが、上記のように「--no-tablespaces」を付与することでも対応できる
バックアップの手順を見直したほうがよさそうでしょうか?
https://www.chatwork.com/#!rid119727508-1472084389675421696
mysqldumpで「Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces」となる場合の対処: 小粋空間
https://www.koikikukan.com/archives/2021/02/17-235555.php
MySQL | ユーザーに設定できる権限の種類と一覧
https://www.dbonline.jp/mysql/user/index5.html
mysqldumpでPROCESS権限(PROCESS privilege)を要求される - いっさいがっさい
https://isgs-lab.com/424/
dump時に「Couldn't execute 'SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"') FROM information_schema.COLUMN_STATISTICS」のようなエラーが表示される場合、
「--skip-column-statistics」を付与して実行する
mysqldumpコマンドで "Unknown table 'COLUMN_STATISTICS' in information_schema (1109)" と怒られる原因と対策 - モヒカンメモ
https://blog.pinkumohikan.com/entry/mysqldump-disable-column-statistics
dump時に「database 'XXX' when using LOCK TABLES」のようなエラーが表示される場合、
「--single-transaction」を付与して実行する
【MySQL】 mysqldumpしようとしたら 「 when doing LOCK TABLES 」でdumpできない - 旅するえんじにあ - Engineers to Travel -
https://deadcode.hatenablog.jp/entry/2014/05/08/223627
■テーブルを指定してエクスポート
$ mysqldump -u ユーザー名 -p データベース名 テーブル名 > ダンプファイル名
$ mysqldump -u ユーザー名 -p データベース名 テーブル名1 テーブル名2 > ダンプファイル名
MySQLで特定のテーブルをdumpする方法。 - Qiita
https://qiita.com/kooohei/items/530f46b6ef8909227dc8
■テーブルを除外してエクスポート
※未検証
$ mysqldump -u username -p -t database_name --ignore-table=database_name.table_name
$ mysqldump -u username -p -t database_name --ignore-table=database_name.table_name --ignore-table=database_name.another_table_namme
指定したテーブル以外のレコードをdumpする #MySQL - Qiita
https://qiita.com/kadoppe/items/ca54fdc57097e109a151
■一行ずつのINSERTでエクスポート
dump時に「--skip-extended-insert」を付けると、一行ずつのINSERTでエクスポートされる
具体的には以下のようになる
# mysqldump -u ユーザー名 -p データベース名 --skip-extended-insert > /var/www/backups/mysql_test_20140130.sql
mysqldumpで一行ずつのINSERT文を出力する方法 - ハックノート
https://hacknote.jp/archives/5557/
■検索結果をエクスポート
$ echo 'SELECT * FROM mysql.slow_log ORDER BY start_time DESC LIMIT 100;' | mysql -u ユーザー名 -p データベース名 > ダンプファイル名
MySQLで抽出結果をファイルに出力する方法 - Qiita
https://qiita.com/tasmas256/items/ec7e23278ee2b40aad79
■検索結果をCSVとしてエクスポート
$ SELECT id, name FROM staffs INTO OUTFILE ダンプファイル名 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"';
RDSなど「INTO OUTFILE」が使えない環境の場合、以下のようにする
$ echo 'SELECT id, name FROM staffs;' | mysql -u ユーザー名 -p データベース名 | sed 's/\t/","/g;s/^/"/;s/$/"/;s/\n//g' > ダンプファイル名
MySQLのデータをCSVに吐こうとするとエラーになる。 - H_Yamaguchiのブログ
http://h-yamaguchi.hatenablog.com/entry/2013/09/19/155205
mysql - Exporting table from Amazon RDS into a csv file - Stack Overflow
https://stackoverflow.com/questions/9536224/exporting-table-from-amazon-rds-into-a-csv-file
■インポート
$ mysql -u root データベース名 < ダンプファイル名
$ mysql -u webmaster -p test < mysql_test_20140130.sql
$ mysql -u webmaster -p test --default-character-set=binary < mysql_test_20140130.sql
■WindowsのXAMPP環境での実行例
C:\xampp\mysql\bin\mysqldump -u root -p test --default-character-set=binary > mysql_test_20140130.sql
C:\xampp\mysql\bin\mysql -u root -p test --default-character-set=binary < mysql_test_20140130.sql
■PHPからの実行例
<?php
echo shell_exec('mysqldump -u webmaster -p"1234" test --default-character-set=binary > mysql_test_20140130.sql');
exit('Complete');
PHPで独自にSQLエクスポートの仕組みを作るより、圧倒的に高速
データが巨大すぎて独自システムからエクスポートできなかったものも、難なくエクスポートできた
同様に、以下のようにしてインポートもできた
<?php
echo shell_exec('mysql -u webmaster -p"1234" twitter_test --default-character-set=binary < mysql_test_20140130.sql');
exit('Complete');
■文字化け対策
文字化けする場合は「--default-character-set=binary」を指定して試す
mysqldumpで文字化けデータを頑張ってダンプ&リストア
http://koexuka.blogspot.jp/2009/04/mysqldumpdump.html
■SOURCEコマンド
MySQLにログイン後、SOURCEコマンドを実行してインポートすることもできる
mysql> SOURCE mysql_test_20140130.sql
ファイル読込|データのインポート・エクスポート|MySQL|PHP & JavaScript Room
http://phpjavascriptroom.com/?t=mysql&p=mysqlimport
■LOADコマンド
LOADコマンドでの登録が一番高速らしい
CSVを作成する際に、バリデーションなどは行っておく必要はある
$ cat /tmp/eccube.csv
1,'アイスクリーム',NULL,1,中略,NULL,0,2,'2016-09-13 09:22:23','2016-09-13 09:22:23',2
LOAD DATA INFILE "/tmp/eccube.csv" INTO TABLE dtb_products FIELDS TERMINATED BY "," LINES TERMINATED BY "\n";
MySQLに大量のデータを入れるときに最適な方法は?
http://naoberry.com/tech/mysqldata/
■MySQLを定期バックアップ
MySQLデータベース自動バックアップ運用(mysqldump)
http://centossrv.com/mysql-backup.shtml
PostgreSQLでユーザを確認
$ psql -c "SELECT * FROM pg_shadow;"
メールのキューを確認
# mailq … メールキューを確認
# mailq | grep 'Request.' … メールキューの合計サイズと件数を確認
-- 1 Kbytes in 1 Request.
# mailq | grep 'Request.' | awk '{print $5}' … メールキューの件数を確認
1
Linux(CentOS 6) - メールキューの確認方法と削除方法
http://nobuneko.com/blog/archives/2013/05/linux_centos_6_mailq_postsuper.html
ユーザ情報を確認
# cat /etc/passwd … ユーザ一覧を表示(誰でも表示可能)
# cat /etc/shadow … ユーザのパスワードを表示(rootのみ表示可能 / パスーワードはハッシュ化されている)
$ w … ログインユーザを確認
18:49:52 up 146 days, 5:08, 3 users, load average: 0.44, 0.30, 0.12
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
webmaste pts/0 p7cdba6cd.osakff Mon02 40:05m 0.00s 0.00s -bash
ec2-user pts/1 p7cdba6cd.osakff 18:48 0.00s 0.00s 0.00s w
ec2-user pts/2 p7cdba6cd.osakff 11May17 6days 0.10s 0.10s -bash
※ログインしているユーザの名前、それらのユーザが何をしているか、およびコンピュータにかかっている負荷を要約して表示する
$ last -5 … ログイン履歴を確認(最近の5件)
ec2-user pts/1 p7cdba6cd.osakff Tue May 30 19:44 still logged in
ec2-user pts/1 p7cdba6cd.osakff Tue May 30 18:48 - 19:42 (00:53)
ec2-user pts/1 p7cdba6cd.osakff Tue May 30 18:48 - 18:48 (00:00)
ec2-user pts/1 p7cdba6cd.osakff Tue May 30 18:47 - 18:47 (00:00)
ec2-user pts/1 p7cdba6cd.osakff Tue May 30 11:19 - 11:36 (00:17)
wtmp begins Fri Oct 30 16:59:37 2015
$ last -5 webmaster … 特定ユーザのログイン履歴を確認
webmaste pts/0 p7cdba6cd.osakff Mon May 29 02:44 still logged in
webmaste pts/3 p7cdba6cd.osakff Wed May 24 17:24 - 20:07 (02:43)
webmaste pts/1 p7cdba6cd.osakff Wed May 24 17:23 - 17:28 (00:05)
webmaste pts/1 p7cdba6cd.osakff Wed May 24 17:20 - 17:21 (00:00)
webmaste pts/0 p7cdba6cd.osakff Wed May 24 15:59 - 16:29 (00:29)
ユーザ情報を変更
■SSHでのログインを許可
# cat /etc/passwd | grep test-user
test-user:x:502:502::/home/test-user/:/sbin/nologin
# usermod -s /bin/bash test-user
# cat /etc/passwd | grep test-user
test-user:x:502:502::/home/test-user/:/bin/bash
■ホームディレクトリを変更
以下でホームディレクトリを変更する
「実行中のプロセスがある」のようなメッセージが表示された場合、いったんすべての接続を終了してから試す
# usermod -d /home/test-user/ test-user
グループ情報を確認
# vi /etc/group … グループ一覧を表示(誰でも表示可能)
# vi /etc/gshadow … グループのパスワードを表示(rootのみ表示可能 / パスーワードはハッシュ化されている)
コマンドを一定時間ごとに実行させる
$ watch ls -l /var/www/html/ … 2秒ごとにコマンドを実行(ファイルの監視。2秒はデフォルトの間隔)
watchコマンドで覚えておきたい使い方6個
http://orebibou.com/2015/07/watch%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%81%A7%E8%A6%9A%E3%81%88%E3%...
サービスの自動起動を確認する
# chkconfig --list … 自動起動を確認する
# chkconfig --list サービス名 … サービスの自動起動を確認する
# chkconfig --add サービス名 … サービス設定の追加
# chkconfig --del サービス名 … サービス設定の追加
# chkconfig サービス名 on … サービスの自動起動を有効化
# chkconfig サービス名 off … サービスの自動起動を有効化
# chkconfig --list httpd
httpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
ランレベルの2〜5がonになっていれば自動起動が有効
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
ランレベル 状態
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0 システムの停止
1 シングルユーザモード
2 マルチユーザモード
3 マルチユーザモード(コンソールログイン)
4 未使用
5 マルチユーザモード(ディスプレイマネージャ使用)
6 システム再起動
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
サーバをシャットダウン・再起動する
# shutdown -h now … すぐにシャットダウンする
# shutdown -r now … すぐに再起動する
# shutdown -h 0:0 … 0時にシャットダウンする
# shutdown -r 10:30 … 10時半に再起動する
# halt … マシンを停止する
# reboot … マシンを再起動する
# poweroff … マシンの電源を切る
特殊なコマンド
シェルスクリプトの [ は /bin/[ と言ったり [ "x$var" = "xval" ] と書く人はオジサン - Qiita
https://qiita.com/ko1nksm/items/f772b782a760bbfa1b28
危険なコマンド
【危険シェル芸】禁じられた闇の魔術とその防衛術 - Qiita
https://qiita.com/_-_-_-_-_/items/214d537aae2c1488692c
Bashの邪悪なコマンド9選 - Qiita
https://qiita.com/rana_kualu/items/be32f8302017b7aa2763
Amazon Linux 2 で「rm -rf /*」を実行してみた | DevelopersIO
https://dev.classmethod.jp/articles/tried-rm-rf-root-on-amazon-linux-2/