檢查linux伺服器的檔案或目錄的使用空間 - du 指令

列出當前目錄下各個子目錄所使用的空間
指令：du -h --max-depth=1

Linux rsync 指令備忘 (同步遠端 server 目錄)

指令範例：rsync -avp -e ssh root@tsthost:/app/abc/def /app/abc
 
以 root 帳號 ssh 登入 tsthost 並將 tsthost 上的 /app/abc/def 目錄同步備份到本機 (下此指令的機器) 的 /app/abc 路徑下


參數詳解 (reference from rsync參數詳解--990209)：
-v, --verbose 詳細模式輸出訊息
-q, --quiet 安靜模式，幾乎沒有訊息產生。常用在以 cron 執行 rsync
-c, --checksum 打在傳送之前透過 128bit 的 MD4 檢查碼來檢查所有要傳送的檔案（會拖慢速度）
-a, --archive 備份模式，表示以遞迴方式傳輸文件，並保持所有文件屬性，等於 -rlptgoD（沒有 -H）
-r, --recursive 對子目錄以遞迴模式處理
-R, --relative 使用相對路徑名稱
     --no-relative 不使用相對路徑
     --no-implied-dirs
rsync foo/bar/foo.c remote:/tmp/
則在 /tmp 目錄下產生 foo.c 文件，而如果使用 -R 參數：
rsync -R foo/bar/foo.c remote:/tmp/
則會產生文件 /tmp/foo/bar/foo.c，也就是會保持完全路徑。

-b, --backup 產生備份，也就是對於目的已經存在有同樣的文件名時，將老的文件重新命名為 ~filename。可以使用 --suffix 選項來指定不同的備份文件前綴。
     --backup-dir=DIR 將備份文件（如~filename）存放在在目錄下。
     --suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新，也就是略過所有已經存在於目的端，且文件時間比要備份的檔案為新。（不覆蓋較新的文件）
     --inplace
-K, --keep-dirlinks 接收方將連結到資料夾的檔案視為資料夾處理
-l, --links 保留符號連結
-L, --copy-links 像對待常規文件一樣處理符號連結
     --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的連結
     --safe-links 忽略指向來源端路徑目錄樹以外的連結
-H, --hard-links 保留硬式連結
-p, --perms 保留檔案權限
-o, --owner 保留檔案擁有者資訊（root only）
-g, --group 保留檔案所屬群組資訊
-D, --devices 保留設備檔案資訊（root only）
-t, --times 保留檔案時間資訊
-S, --sparse 對稀疏檔案進行特殊處理以節省目的端的空間
-n, --dry-run 不實際執行傳送,只顯示將會有的傳輸動作
-W, --whole-file 複製檔案，不進行增量檢測
     --no-whole-file 關閉 --whole-file 參數
-x, --one-file-system 不要跨越檔案系統分界（只在一個檔案系統處理）
-B, --block-size=SIZE 強制透過 rsync 程式去比對修復 block-sizeforce，預設是700字節
-e, --rsh=COMMAND 定義所使用的 remote shell
     --rsync-path=PATH 定義 rsync 在遠端機器存放資料的路徑
     --existing 只比對更新目的端已經存在的檔案，而不備份那些新產生的檔案
     --ignore-existing 忽略目的端已經存在的檔案（也就是不更新）
     --delete 刪除傳送端已經不存在，而目的端存在的檔案
     --delete-excluded 除了把傳送端已經不存在，而目的端存在的檔案刪除之外，也刪除 --exclude 參數所包含的檔案
     --delete-after rsync 預設會在檔案傳送前進行相關刪除動作確保接收端有足夠的檔案空間，但可以透過 --delete-after 讓刪除動作在檔案傳送後再行刪除
     --ignore-errors 忽略任何錯誤既使是 I/O error 也進行 --delete 刪除動作
     --max-delete=NUM 定義 rsync 不要刪除超過 NUM 個檔案
     --partial rsync若遇到傳輸過程中斷時，會把那些已經傳輸的檔案刪除。在某種狀況下保留那些部分傳送的檔案是令人高興的。你可以透過 --partial 參數達到這個目的
     --partial-dir=DIR 在 --partial 參數啟動時，你還可以定義 rsync 把那些部分傳送的檔案寫入定義的資料夾，而非直接寫入目的端。需要注意的是，此資料夾不應該被其他使用者可以寫入（如:/tmp）
     --force 當目的端資料夾被傳送端非資料夾名稱覆蓋時，強制 rsync 刪除資料夾，即使該資料夾不是空的
     --numeric-ids 不將傳送端檔案的 UID 及 GID 值，與目的端的使用者/群組進行配對。若傳送端並沒有 UID 及 GID 的對應名稱（如:原帳號群組被刪除的遺留檔案），或目的端沒有相對應的帳號/群組，保留數字型態的 UID/GID
     --timeout=TIMEOUT 設定 I/O 逾時的時間（秒）。超過這個秒數而沒有資料傳送，rsync 將會結束。預設為 0，也就是沒有定義逾時時間
-I, --ignore-times 不跳過那些有同樣的時間和長度的文件，可以透過此參數關閉此快速檢查
     --size-only 只檢查檔案大小是否改變，不管時間存取點是否改變。通常用在 mirror，且對方時間不太正確時
     --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，預設為 0
-T, --temp-dir=DIR 定義 rsync 在接收端產生暫時性的複製檔案時使用資料夾暫存。預設是直接在接收端資料夾直接產生暫存檔案
     --compare-dest=DIR 定義 rsync 在目的端建立資料夾來比對傳送過來的檔案
     --link-dest=DIR 與 --compare-dest 相同，但同時會針對無法改變的檔案建立硬式連結
-P, 等同於 --partial --progress 顯示備份過程，只是為了把參數簡單化
-z, --compress 對備份的檔案在傳輸時進行壓縮處理
-C, --cvs-exclude 排除那些通常不希望傳送的檔案。定義的方式與CVS傳送相同：
                          RCS SCCS CVS CVS.adm RCSLOG cvslog.* tags TAGS .make.state .nse_depinfo *~ #* .#* ,* _$* *$ *.old *.bak *.BAK *.orig *.rej .del-* *.a *.olb *.o *.obj *.so *.exe *.Z *.elc *.ln core .svn/ 符合以上條件的都會被忽略而不傳送
     --exclude=PATTERN 符合 PATTERN（規則表示式）樣式的檔案不進行傳送
     --exclude-from=FILE 和 --exclude 參數相同，不過是把不進行傳送的檔案事先寫入某一檔案，執行時，透過此參數讓 rsync 讀取。（; # 開頭的行列或空白行會被 rsync 忽略）
     --include=PATTERN 指定義 rsync 不要排除符合 pattern 樣式的檔案
     --include-from=FILE 和 --include 參數相同，只不過把要包含的檔案寫到某一檔案
     --files-from=FILE 把要傳送的檔案名稱都精確的寫入某一檔案，讓 rsync 讀取
                             如：rsync -a --files-from=/tmp/foo /usr remote:/backup
-0, --from0 定義檔案所要讀取的檔案是null字元結尾
     --version 顯示 rsync 版本
     --daemon 定義 rsyn c以 daemon 型態執行
     --no-detach 當以 daemon 型態執行時，不要進行分裂且變成背景程序
     --address=ADDRESS 定義所要連結（bind）的ip位址或是 host 名稱（daemon限定）
     --config=FILE 定義所要讀取的設定檔 rsyncd.conf 位置（daemon 限定）
                        預設值為 /usr/local/etc/rsyncd.conf
     --port=PORT 定義 rsyncd（daemon）要執行的 port（預設為 tcp 873）
     --blocking-io 使用 blocking I/O 連結遠端的 shell，如 rsh、remsh
     --no-blocking-io 使用 non-blocking 連結遠端的 shell，如 ssh（預設值）
     --stats 顯示檔案傳送時的資訊狀態
     --progress 顯示傳送的進度（給檔案傳送時，怕無聊的人用的..）
     --log-format=FORMAT 定義 log 的格式（在 rsyncd.conf 設定）
     --password-file=FILE 從檔案讀取與遠端 rsync 伺服器連結的密碼
     --bwlimit=KBPS 定義傳輸頻寬的大小（KBytes/秒）
     --write-back=FILE 把紀錄資料寫入一個檔案（給其他相同環境且相同需求的機器使用）
     --read-batch=FILE 透過讀取紀錄檔案來進行傳輸（檔案由 --write-batch 參數產生）
     --checksum-seed=NUM 定義檔案 checksum-seed 的大小（byte）
-4, --ipv4 使用 IPv4 協定
-6, --ipv6 使用 IPv6 協定
-h, --help 顯示 rsync 求助資訊

Linux ssh key (免密碼登入另一 host)

確認是否在該登入 user account 的 Home 目錄下。
例如 user = "abc"，Home 目錄就是 /home/abc
或直接使用指令: cd ~ 就可以指向 Home目錄

1. 執行keygen指令 (2 選 1)：

• ssh-keygen -t rsa
  產出 .ssh/id_rsa 及 .ssh/id_rsa.pub 兩個檔案

• ssh-keygen -d
  產出 .ssh/id_dsa 及 .ssh/id_dsa.pub 兩個檔案

2. 檔案產出後，將id_rsa.pub/id_dsa.pub檔案的內容 copy 到 target host (假設 target host name = testHost) 之相同 user 目錄之.ssh/authorized_keys 中。
舉例：home/abc/.ssh/authorized_keys

3. 確認 .ssh 目錄之權限為 0700。如下圖：


4. 試著 ssh 目標 server (舉例: host name = testHost)
   ssh testHost
   沒問你要密碼就直接登入成功即代表設定完成。

Linux scp 指令(抓取目錄下所有檔案)

scp -r [user name]@[server name]:/some/remote/directory /some/local/directory

-r: 遞迴抓取，若要一次抓取整個目錄的東西要加這個參數

Linux crontab 指令格式速查

• crontab 指令格式

• 範例： 
• # Clean Expired Files
  30 5 * * 0 /bin/sh /opt/online/bin/cleanExpiredFiles.sh
• 每個星期天的早上五點三十分執行 /opt/online/bin/cleanExpiredFiles.sh 這支 shell 程式

•  如何在 Linux 中完成設定？
• 可將所有的 crontab 指令編輯為文字檔，如 myCrontab.cron，放在 Linux Server 之檔案目錄中，如 /tmp/myCrontab.cron
• 以 root 登入 Linux  Server 後在命令提示字元下輸入 crontab myCrontab.cron 即可
• 命令提示字元下輸入 crontab -l 可查詢目前系統中設定之 crontab job
• Linux 登入時用哪個帳號，則只有該帳號才看得到剛才設定的 crontab job，即目前只有 root 這個 user 會有 crontab -l 之內容
• root 亦可為其他 login user 建立 crontab，舉例
• crontab -u myuser myCrontab.cron

Linux find 指令 速查

【 基本語法 】

查詢檔案名稱 ( 也可以查詢「目錄名稱」，其中 * 是萬用字元 )

find $HOME -name '*.mp3'

   註1: $HOME 是 Linux 下的一個環境變數，預設指向執行帳號的 HOME 目錄

查詢檔案名稱 (不區分大小寫)

find /etc -iname 'Network'

指定只要搜尋「檔案」名稱

find /var/log -iname '*.log' -type f

指定只要搜尋「目錄」名稱

find /etc -iname 'apache2' -type d

   補充說明：可用的 –type 參數值如下

    b      block (buffered) special

    c      character (unbuffered) special

    d      directory ( 一般目錄 )

    p      named pipe (FIFO)

    f      regular file ( 一般檔案 )

    l      symbolic link

    s      socket

    D      door (Solaris)

找尋所有檔案大小大於 50MB 的檔案

find /var -type f -size +50M

   註1: 不加上 –name 參數即代表搜尋所有檔案

找尋所有檔案大小小於 50MB 的檔案

find /var -type f -size -50M

尋找超過 7 天沒有被存取或修改過的檔案 (判斷檔案存取時間)

find $HOME -type f -atime +7

尋找曾經在 7 天內被存取或修改過的檔案 (判斷檔案存取時間)

find $HOME -type f -atime -7

尋找超過 10 分鐘沒有被存取或修改過的檔案 (判斷檔案存取時間)

find $HOME -type f -amin +10

尋找曾經在 10 分鐘內被存取或修改過的檔案 (判斷檔案存取時間)

find $HOME -type f -amin -10

尋找檔案建立時間已超過 30 天的檔案

find $HOME -type f -ctime +30

尋找特定使用者的檔案 ( 以帳號名稱 tom 為例 )

find $HOME -type f -user tom

【 進階應用 】

刪除 30 天以上未經存取過的暫存檔案 ( 注意: 以下指令最後一個分號(;)前一定要加上反斜線 )

find /tmp -type f -atime +30 -print -exec rm -f '{}' \;

   註1: 加上 –print 是為了讓被刪除的檔案檔名一併顯示在畫面上，這個參數可以省略
   註2: 使用 –exec 會讓查詢到的每一個檔案路徑代入 ‘{}’ 位置，一個檔案會執行一遍 rm 命令

刪除 30 天以上未經存取過的暫存檔案 ( 使用 xargs 當成單一命令的參數 )

find /tmp -type f -print0 | xargs -0 rm -v

   註1: 加上 –print0 是為了讓輸出的結果不以「斷行字元」分隔，而改以 null 為結果的分隔字元
   註2: 使用 xargs 命令加上 –0 是為了讓傳入的資料以 null 字元當成參數的分隔
   註3: 使用 rm 命令加上 –v 是為了能顯示出被刪除的檔案名稱，這個參數可以省略
   註4: 使用 xargs 會將所有 find 命令查到的檔案轉換成 rm 的參數列，如果檔案過多可能會執行失敗!
   註5: 使用 xargs 可確保後面的程式 ( rm ) 只執行一次，所以理論上執行速度較快！

相同參數需輸入多筆並且以「或」邏輯運算時要用 –o 參數串接起來

例1：同時找兩種檔名樣式的檔案

find $HOME -name '*.mp3' -o -user '*.ogg'

例2：同時找兩個擁有者的檔案

find /usr/local -user user1 -o -user user2



【 注意事項 】

    使用萬用字元時務必加上單引號( ' )

    ！！以下是錯誤示範！！

    [user1@server ~]# find $HOME -name *.txt
    find: paths must precede expression
    Usage: find [path...] [expression]

解 tar 指令

解壓縮 tar.gz
tar -zxvf xxxx.tar.gz

壓縮 tar.gz
tar -zcvf xxxx.tar.gz /folder

解壓縮 tar.bz2
tar -jxvf xxxx.tar.bz2

壓縮 tar.bz2
tar -jcvf xxxx.tar.bz2 /folder

解開 .tar
tar -xvf xxxx.tar

打包 .tar
tar -cvf xxxx.tar /folder

RedHat Linux 上安裝 RPM 版本 LibreOffice 3.5

1. 解壓縮

tar zxvf [安裝檔名]

例如:

tar zxvf LibO_3.5.2_Linux_x86-64_install-rpm_en-US.tar.gz

2. 解壓縮的目錄會位於壓縮檔的相同路徑下

例如:

LibO_3.5.2_Linux_x86-64_install-rpm_en-US.tar.gz ← 在 /user/home

LibO_3.5.2rc2_Linux_x86-64_install-rpm_en-US ← 也會在 /user/home

進入解完壓縮後的目錄

cd LibO_3.5.2rc2_Linux_x86-64_install-rpm_en-US/RPMS

並執行下列命令 (必須為 root 帳號)

rpm -Uvh *.rpm

3. 安裝完畢後的路徑

/opt/libreoffice3.5/program

4. 啟動 Service 指令(背景執行)

/usr/bin/nohup /opt/libreoffice3.5/program/soffice -headless -accept="socket,host=127.0.0.1,port=8100;urp;" -nofirststartwizard 0</dev/null 1>/dev/null 2>/dev/null &

5. shell 檔案如下 (在 server 上啟動 Libre Office 的服務)

<startup_soffice.sh>

#!/bin/bash

# Update source files from Subversion and build them

#

# History

# 2012.04.20 GUC-Kaohung

# create this file

LibreOffice_HOME=/opt/libreoffice3.5/program/soffice.bin

# find tomcat PID

tomcatpid=`ps -ef | grep "$LibreOffice_HOME" | grep -v grep | awk '{print $2}'`

if [ -n "$tomcatpid" ]; then

kill -9 $tomcatpid

echo "LibreOffice3.5 service is stopped."

fi

/usr/bin/nohup /opt/libreoffice3.5/program/soffice -headless -accept="socket,host=127.0.0.1,port=8100;urp;" -nofirststartwizard 0</dev/null 1>/dev/null 2>/dev/null &

echo "LibreOffice3.5 service is started."

<shutdown_soffice.sh>

#!/bin/bash

# Update source files from Subversion and build them

#

# History

# 2012.04.20 GUC-Kaohung

# create this file

LibreOffice_HOME=/opt/libreoffice3.5/program/soffice.bin

# find tomcat PID

tomcatpid=`ps -ef | grep "$LibreOffice_HOME" | grep -v grep | awk '{print $2}'`

if [ -n "$tomcatpid" ]; then

kill -9 $tomcatpid

echo "LibreOffice3.5 service is stopped."

fi