Linux基本コマンドとその活用法

echo $PATH
export PATH="$HOME/bin:$PATH" # 一時的な追加。永続化するには ~/.bashrc 等に追記

pwd          # 現在の作業ディレクトリを表示
cd works     # worksディレクトリに移動
./my_program # カレントディレクトリの my_program を実行

which ls       # lsコマンドのパスを表示 (例: /usr/bin/ls)
which python3  # python3コマンドのパスを表示

pwd

ls
ls -l        # 詳細情報 (パーミッション、所有者、サイズ、更新日時など) を表示
ls -a        # ドット(.)で始まる隠しファイル・ディレクトリも表示
ls -la       # 隠しファイルを含む詳細表示
ls -lh       # 詳細情報を読みやすい形式 (KB、MB) で表示

cd /path/to/directory # 指定したディレクトリへ移動
cd ..        # 親ディレクトリへ移動
cd ~         # ホームディレクトリへ移動
cd           # 引数なしでもホームディレクトリへ移動
cd -         # 直前にいたディレクトリへ移動

mkdir newdir
mkdir -p dir1/dir2/dir3 # 親ディレクトリが存在しない場合、それらもまとめて作成

rmdir mydir

touch existing_file.txt # タイムスタンプ更新
touch new_file.txt      # 空ファイル作成

cat file1.txt
cat file1.txt file2.txt
cat file1.txt file2.txt > combined.txt # 連結結果をファイルに保存

less large_logfile.log

head file.txt
head -n 5 file.txt # 先頭5行を表示

tail file.txt
tail -n 20 file.txt # 末尾20行を表示
tail -f log.txt    # ファイルへの追記をリアルタイムで表示。Ctrl+Cで終了

cp source.txt destination.txt   # ファイルをコピー
cp file1.txt file2.txt target_dir/ # 複数のファイルをディレクトリにコピー
cp -r sourcedir/ destdir/       # ディレクトリを中身ごと再帰的にコピー
cp -i source.txt dest.txt      # 上書き前に確認を求める

mv source.txt /path/to/destination/ # ファイルを移動
mv oldname.txt newname.txt          # ファイル名を変更
mv dir1/ ../dir2/                   # ディレクトリを移動
mv -i source target                 # 上書き前に確認を求める

rm file.txt                     # ファイルを削除
rm file1.txt file2.txt          # 複数のファイルを削除
rm -r directory/                # ディレクトリを中身ごと再帰的に削除
rm -i file.txt                  # 削除前に確認を求める
rm -f file.txt                  # 確認なしで強制的に削除

ls *.log
cp chapter?.md docs/
rm report[1-3].txt # report1.txt、report2.txt、report3.txt に一致

ls -l > file_list.txt            # lsの結果を file_list.txt に保存
echo "Log entry" >> system.log   # 文字列を system.log の末尾に追記
sort < data.txt                # data.txt の内容を sort コマンドの入力とする
make 2> error_log.txt           # make 実行時のエラーメッセージを error_log.txt に保存
./my_script.sh > output.log 2>&1 # スクリプトの全出力を output.log に保存

ls -l /etc | less                   # /etc ディレクトリの詳細一覧を less で表示
ps aux | grep 'httpd'             # 全プロセス情報から 'httpd' を含む行を検索
cat access.log | cut -d ' ' -f 1 | sort | uniq -c | sort -nr # アクセスログからIPアドレス毎のアクセス数を集計

grep 'error' logfile.txt          # logfile.txt から 'error' を含む行を検索
grep -i 'warning' /var/log/syslog # 大文字小文字を区別せずに 'warning' を検索
grep -r 'function setup()' ./src  # ./src ディレクトリ以下を再帰的に検索
ps aux | grep 'nginx'             # psコマンドの出力から 'nginx' を含む行を検索
grep -v '^#' config.conf          # '#' で始まる行を除外して表示

sed 's/apple/orange/g' input.txt > output.txt # input.txt内の'apple'を'orange'に全て置換しoutput.txtへ出力
sed -i 's/http/https/g' config.html         # config.html ファイルを直接編集して置換
sed '1,5d' data.txt                          # data.txt の1行目から5行目を削除して表示

ls -l | awk '{print $9, $5}'          # ls -l の出力から9番目(ファイル名)と5番目(サイズ)のフィールドを表示
awk -F ':' '{print $1}' /etc/passwd   # ':' を区切り文字として /etc/passwd の1番目のフィールド(ユーザー名)を表示
awk '$3 > 1024 {print $0}' data.log  # data.log の3番目のフィールドが1024より大きい行全体を表示

sort names.txt                   # names.txt の行をアルファベット順にソート
sort -n numbers.txt              # numbers.txt の行を数値順にソート
sort -r scores.txt               # scores.txt の行を逆順にソート
sort -k 3 -t ',' data.csv        # data.csv をカンマ区切りとし、3番目のフィールドでソート

sort data.txt | uniq               # data.txt をソート後、重複行を除去
sort access.log | uniq -c          # 重複する行の出現回数をカウント
sort words.txt | uniq -d           # 重複している行のみを表示

wc report.txt                    # report.txt の行数、単語数、バイト数を表示
wc -l *.py                       # 拡張子 .py の全ファイルの行数を表示
ls /bin | wc -l                  # /bin ディレクトリ内のファイル数をカウント

# アーカイブ作成
tar -cvf archive.tar file1.txt dir1/     # file1.txtとdir1/を archive.tar にまとめる
tar -czvf archive.tar.gz documents/     # documents/をgzip形式で圧縮しながらまとめる
tar -cjvf backup.tar.bz2 /data          # /dataをbzip2形式で圧縮しながらまとめる

# アーカイブ展開
tar -xvf archive.tar                   # archive.tar を展開する
tar -xzvf archive.tar.gz               # gzip圧縮された archive.tar.gz を展開
tar -xjvf backup.tar.bz2 -C /tmp/      # bzip2圧縮された backup.tar.bz2 を /tmp/ ディレクトリに展開

# 内容表示
tar -tvf archive.tar                   # archive.tar の内容一覧を表示

gzip report.txt         # report.txt を圧縮 (report.txt.gz が生成され、report.txt は消える)
gunzip report.txt.gz    # report.txt.gz を解凍 (report.txt が復元され、report.txt.gz は消える)
gzip -k data.csv        # 元のファイル data.csv を残して圧縮
gunzip -k image.jpg.gz  # 元のファイル image.jpg.gz を残して解凍

zip archive.zip file1.txt dir1/   # file1.txt と dir1/ を archive.zip に圧縮
unzip archive.zip                # archive.zip をカレントディレクトリに展開
unzip archive.zip -d /path/to/extract # 指定したディレクトリに展開

ps aux # 全ユーザーの全プロセスを詳細表示
ps -ef # 全プロセスを詳細表示
ps aux | grep 'chrome' # 特定のプロセスを検索

kill 1234           # プロセスID 1234 に通常の終了要求 (SIGTERM) を送る
kill -9 5678        # プロセスID 5678 を強制終了 (SIGKILL)

pkill firefox       # 'firefox' という名前を含むプロセスを終了
killall nginx       # 'nginx' という名前のプロセスを終了

nohup ./long_script.sh &
# 標準出力・標準エラー出力は nohup.out ファイルにリダイレクトされる

at now + 5 minutes  # 5分後に実行する場合
warning: commands will be executed using /bin/sh
at> /path/to/my_script.sh  # 実行したいコマンドを入力
at>              # Ctrl+D を押して入力を終了
job 2 at Mon Aug  5 10:30:00 2024 # 予約されたジョブ情報が表示される

atq # 予約済みのジョブ一覧を表示
atrm <ジョブ番号> # ジョブの予約を取り消す

su -         # rootユーザーに切り替え (rootのパスワード要)
su username  # 指定したユーザーに切り替え (usernameのパスワード要)
exit         # 元のユーザーに戻る

sudo apt update   # apt update コマンドを管理者権限で実行
sudo -i           # rootユーザーとして対話的なシェルを開始

passwd                # 自分のパスワードを変更
sudo passwd username  # 指定ユーザーのパスワードを変更

chmod 755 script.sh  # rwxr-xr-x (所有者:RWX、グループ:R-X、その他:R-X)
chmod u+x script.sh  # 所有者に実行権限を追加
chmod -R 644 data_dir/ # rw-r--r-- をディレクトリ配下に再帰的に適用

sudo chown newuser file.txt       # file.txt の所有者を newuser に変更
sudo chown user:group report.pdf  # report.pdf の所有者を user、グループを group に変更
sudo chown -R www-data:www-data /var/www/html # /var/www/html 以下全ての所有者・グループを www-data に再帰的に変更

uname -a # 利用可能な全ての情報を表示

sudo lshw -short   # ハードウェア構成の概要を表示
lsusb              # USBデバイスの一覧を表示
lspci              # PCIデバイスの一覧を表示

df -h   # 読みやすい単位 (GB、MB) で表示

du -sh /path/to/dir # 指定したディレクトリの合計サイズを読みやすい単位で表示
du -h --max-depth=1 . # カレントディレクトリの1階層下のディレクトリ毎のサイズを表示

sudo apt update           # 利用可能なパッケージリストを最新の情報に更新
sudo apt upgrade          # インストール済みパッケージを新しいバージョンに更新
sudo apt full-upgrade     # より大規模な更新。必要ならパッケージの削除や追加も伴う
sudo apt install  # 指定したパッケージをインストール
sudo apt remove   # パッケージを削除
sudo apt purge    # パッケージを完全に削除
sudo apt autoremove       # 不要なパッケージを削除
apt search       # キーワードでパッケージを検索
apt show    # パッケージの詳細情報を表示

sudo dpkg -i package.deb  # ローカルにある .deb ファイルをインストール
dpkg -l                   # インストール済みの全パッケージ一覧を表示
dpkg -L     # 指定したパッケージに含まれるファイル一覧を表示
dpkg -S /path/to/file     # 指定したファイルがどのパッケージに属するかを表示

sudo systemctl start nginx     # nginxサービスを開始
sudo systemctl stop nginx      # nginxサービスを停止
sudo systemctl restart nginx   # nginxサービスを再起動
sudo systemctl reload nginx    # nginxサービスの設定ファイルを再読み込み
systemctl status nginx       # nginxサービスの状態を確認
sudo systemctl enable nginx    # システム起動時にnginxサービスが自動起動するように設定
sudo systemctl disable nginx   # 自動起動を無効化

journalctl               # 全てのジャーナルログを表示
journalctl -u nginx.service # 特定のユニット (nginxサービス) のログを表示
journalctl -f            # ログをリアルタイムで表示し続ける

sudo shutdown -h now   # 直ちにシャットダウン
sudo shutdown -r now   # 直ちに再起動
sudo shutdown -h +10   # 10分後にシャットダウン
sudo shutdown -c       # 予約されたシャットダウンをキャンセル

ping example.com       # example.com に ICMP ECHO_REQUEST パケットを送信
ping -c 4 google.com   # google.com に4回送信して終了

ip addr show (or ip a)     # IPアドレス情報を表示
ip link show (or ip l)     # ネットワークデバイス情報を表示
ip route show (or ip r)    # ルーティングテーブルを表示
ip neigh show (or ip n)    # ARPキャッシュテーブルを表示

ss -tulnp                 # TCP/UDPの待ち受けポートと、それを使用しているプロセスを表示
ss -tan                   # 全てのTCP接続を表示

curl https://example.com              # URLの内容を標準出力へ表示
curl -o output.html https://example.com # 内容を output.html というファイルに保存
curl -O https://example.com/file.zip  # URLのファイル名で保存
curl -sL https://example.com/install.sh | bash # スクリプトをダウンロードして直接bashで実行

wget https://example.com/file.zip          # file.zip をダウンロード
wget -O newname.zip https://example.com/file.zip # newname.zip という名前で保存
wget -c https://example.com/largefile.iso # ダウンロードを途中から再開

# pip install gdown  # まずインストールが必要
gdown https://drive.google.com/uc?id=YOUR_FILE_ID
gdown --id YOUR_FILE_ID -O output.zip

ssh username@hostname_or_ip              # 指定ユーザーでリモートホストにログイン
ssh -p 2222 user@server.example.com      # ポート番号を指定してログイン
ssh -i ~/.ssh/my_key user@host           # 秘密鍵ファイルを指定してログイン

sftp username@hostname_or_ip
# (sftpセッション内でのコマンド例)
sftp> put localfile.txt remotepath/  # ローカルファイルをリモートにアップロード
sftp> get remotefile.txt localpath/  # リモートファイルをローカルにダウンロード
sftp> ls                           # リモートのファイル一覧表示
sftp> pwd                          # リモートの現在のディレクトリ表示
sftp> cd remotedir                 # リモートのディレクトリ移動
sftp> exit                         # sftpセッション終了

scp localfile.txt username@hostname:/remote/path/  # ローカルファイルをリモートにコピー
scp -r localdir/ user@host:/remote/parentdir/    # ローカルディレクトリをリモートに再帰的にコピー
scp user@host:/remote/file.txt .                   # リモートファイルをカレントディレクトリにコピー

git init                     # 新規リポジトリをカレントディレクトリに初期化
git clone    # リモートリポジトリをローカルに複製
git status                   # 作業ツリーとステージングエリアの状態を表示
git add                # 指定したファイルの変更をステージングエリアに追加
git add .                    # カレントディレクトリ以下の全ての変更・新規ファイルをステージング
git commit -m "Message"      # ステージングされた変更内容をメッセージ付きでローカルリポジトリに記録
git log                      # コミット履歴を表示
git diff                     # 作業ツリーとステージングエリアの差分を表示
git branch                   # ブランチの一覧表示
git branch       # 新しいブランチを作成
git checkout    # 指定したブランチに切り替え
git checkout -b  # 新しいブランチを作成して、すぐにそのブランチに切り替え
git merge       # 指定したブランチの変更内容を現在のブランチに統合
git pull     # リモートリポジトリの指定ブランチから最新の変更を取得し、現在のブランチにマージ
git push     # ローカルリポジトリのコミットをリモートリポジトリの指定ブランチに送信
git remote -v                # 登録されているリモートリポジトリの一覧を表示
git stash                    # 作業ツリーの未コミットの変更を一時的に退避
git stash pop                # 退避した変更内容を復元し、退避リストから削除

# Python パッケージのインストール (pip)
!pip install numpy pandas matplotlib

# システムパッケージの更新とインストール (apt-get)
!apt-get update
!apt-get install -y libgl1-mesa-glx # 例: グラフィック関連ライブラリ

# インストール済みパッケージの確認
!pip list
!dpkg -l | grep libgl1

# Google Drive のマウント
from google.colab import drive
drive.mount('/content/drive')

# Drive内のファイルを確認
!ls -l /content/drive/MyDrive/

# Gitリポジトリのクローン
!git clone https://github.com/user/repository.git

# リポジトリに移動 (%cd マジックコマンド)
%cd repository

# Git操作
!git status
!git add .
!git commit -m "Update from Colab"

!ls -lh data/                       # dataディレクトリ内のファイルサイズを読みやすく表示
!file data/image.jpg                # ファイルの種類を判別
!wc -l data/labels.txt              # ラベルファイルの行数をカウント
!du -sh dataset/                    # datasetディレクトリの合計サイズを表示
!grep -r 'class_A' dataset/annotations/ # annotationsディレクトリ以下で 'class_A' を含む行を再帰的に検索
!find . -name '*.csv' -mtime -1     # カレントディレクトリ以下で最近1日以内に変更されたCSVファイルを検索
!rm -rf temp_output/                # 不要なディレクトリを削除

# 結果を圧縮してDriveに保存
!tar -czvf results.tar.gz output_files/
!cp results.tar.gz /content/drive/MyDrive/

# Driveから圧縮ファイルを展開
!cp /content/drive/MyDrive/dataset.zip .
!unzip dataset.zip

!ping -c 4 google.com
!curl -I https://api.example.com/status # ヘッダー情報のみ取得