操作系統按完成後，使用下面腳本做一次初始化

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/os/personalise.sh | bash
			
			

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/web/nginx/stable/nginx.sh | bash
			
			

		
curl -s https://raw.githubusercontent.com/oscm/shell/master/queue/rabbitmq/rabbitmq-server-3.7.15.sh | bash		
		
			

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/openjdk/java-1.8.0-openjdk.sh | bash
			
			

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/maven/apache-maven-3.6.1.sh | bash				
				
				

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/gradle/gradle-5.4.1.sh | bash				
				
				

前端開發會用到Node.js

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/node.js/binrary/node-v12.4.0.sh | bash			
			
			

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/project/gitlab/gitlab.centos7.sh | bash			
			
			

Gitlab 配置請參考 《Netkiller Project 手札》

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/project/gitlab/gitlab-runner.sh | bash				
				
				

				
yum localinstall jdk-8u212-linux-x64.rpm

curl -s https://raw.githubusercontent.com/oscm/shell/master/project/git.sh | bash
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/maven/apache-maven-3.6.1.sh | bash
				
				

定義 .history 檔案格式，記錄每一步操作，便于查看什麼時間執行了什麼命令

通過~/.bash_history檔案記錄系統管理員的操作記錄，定製.bash_history格式

			
HISTSIZE=1000
HISTFILESIZE=2000
HISTTIMEFORMAT="%Y-%m-%d-%H:%M:%S "
export HISTTIMEFORMAT
			
			

看看實際效果

			
$ history | head
1 2012-02-27-09:10:45 do-release-upgrade
2 2012-02-27-09:10:45 vim /etc/network/interfaces
3 2012-02-27-09:10:45 vi /etc/network/interfaces
4 2012-02-27-09:10:45 ping www.163.com
			
			

臨時檔案不應該有執行權限

/tmp

			
/dev/sda3 /tmp ext4 nosuid，noexec，nodev，rw 0 
			
			

同時使用符號連接將/var/tmp 指向 /tmp

/dev/shm

			
none /dev/shm tmpfs defaults，nosuid，noexec，rw 0 0
			
			

以資料庫為例,從安全形度考慮我們需要如下更改

			
chown mysql:mysql /usr/bin/mysql*
chmod 700 /usr/bin/mysql*
			
			

mysql用戶是DBA專用用戶, 其他用戶將不能執行mysql等命令。

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/os/selinux.sh | bash				
			
			

對於某些檔案沒必要記錄檔案的訪問時間，由其是在高並發的IO密集操作的環境下，通過兩個參數可以實現noatime,nodiratime減少不必要的系統IO資源。

編輯/etc/fstab 添加 noatime,nodiratime 參數

			
/dev/sdb1 /www ext4 noatime,nodiratime 0 0
			
			

我一般分區規劃是，/系統根分區,swap交換分區,/www數據分區，同時 禁止寫入atime時間,因為/www頻繁請求會影響IO

臨時mount

			
mount -o remount,noatime,nodiratime /dev/sda3 /mnt/your
			
			

LABEL 方式

			
LABEL=/www /www ext3 defaults,noatime,nodiratime 1 1
			
			

UUID 方式

			
UUID=eeff3e86-7964-4a48-ac02-51ea167ea6b2 /www ext4 defaults,noatime,nodiratime 1 2
			
			

至此，Linux 的OS部分安裝配置與優化完成。

btrfa 的快照功能非常適合快速備份

子卷功能比物理分區更靈活

			
[root@netkiller ~]# cat /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Fri Nov 21 18:16:53 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=6634633e-001d-43ba-8fab-202f1df93339 / ext4 defaults,barrier=0 1 1
UUID=786f570d-fe5c-4d5f-832a-c1b0963dd4e6 /srv btrfs defaults 1 1
UUID=786f570d-fe5c-4d5f-832a-c1b0963dd4e6 /var/lib/mongo  btrfs   noatime,nodiratime,subvol=@mongo 0 2
UUID=786f570d-fe5c-4d5f-832a-c1b0963dd4e6 /var/lib/mysql  btrfs   noatime,nodiratime,subvol=@mysql 0 2
UUID=786f570d-fe5c-4d5f-832a-c1b0963dd4e6 /www  btrfs   noatime,nodiratime,subvol=www 0 2			
			
			

這節主要講與SSH有關的安全配置

			
PermitRootLogin no
			
				

			
MaxAuthTries 3
			
				

				
PubkeyAuthentication no
AuthorizedKeysFile /dev/null
				
				

			
PasswordAuthentication no
			
				

			
ChallengeResponseAuthentication yes
			
				

				
GSSAPIAuthentication no
#GSSAPIAuthentication yes
#GSSAPICleanupCredentials yes
#GSSAPICleanupCredentials yes
#GSSAPIStrictAcceptorCheck yes
#GSSAPIKeyExchange no
				
				

			
AllowTcpForwarding no
			
				

					# vim /etc/hosts.allow
					sshd:192.168.2.1,192.168.2.2

				

					# vim /etc/hosts.deny
					sshd:ALL
				

			
#!/bin/bash
########################################
# Homepage: http://netkiller.github.io
# Author: neo <netkiller@msn.com>
########################################
PIPE=/var/tmp/pipe
pidfile=/var/tmp/$0.pid
BLACKLIST=/var/tmp/black.lst
WHITELIST=/var/tmp/white.lst

LOGFILE=/var/log/secure
DAY=5
########################################

if [ -z "$( egrep "CentOS|7." /etc/centos-release)" ]; then
	echo 'Only for CentOS 7.x'
	exit
fi

if [ -f $BLACKLIST ]; then
	find $BLACKLIST -type f -mtime +${DAY} -delete
fi

if [ ! -f ${BLACKLIST} ]; then
    touch ${BLACKLIST}
fi

if [ ! -f ${WHITELIST} ]; then
    touch ${WHITELIST}
fi

for ipaddr in $(grep rhost ${LOGFILE} | grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" | sort | uniq -c | sort -r -n | head -n 10| awk '{print $2}')
do

    if [ $(grep -c $ipaddr ${WHITELIST}) -gt 0 ]; then
		continue
    fi

    if [ $(grep -c $ipaddr ${BLACKLIST}) -eq 0 ] ; then
		echo $ipaddr >> ${BLACKLIST}
        iptables -I INPUT -p tcp --dport 22 -s $ipaddr -j DROP
        #iptables -I INPUT -s $ipaddr -j DROP
    fi
done			
			
				

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/os/ssh/config.sh | bash				
				
				

配置檔案

		
ls  /etc/pam.d/
chfn         crond                login    passwd            remote    runuser-l          smtp          ssh-keycat  sudo-i       system-auth-ac
chsh         fingerprint-auth     newrole  password-auth     run_init  smartcard-auth     smtp.postfix  su          su-l
config-util  fingerprint-auth-ac  other    password-auth-ac  runuser   smartcard-auth-ac  sshd          sudo        system-auth
		
			

認證插件

		
ls /lib64/security/
		
			

			
auth required pam_tally2.so deny=3 onerr=fail unlock_time=300
			
				

			
# pam_tally2
Login           Failures Latest failure     From
root               14    07/12/13 15:44:37  192.168.6.2
neo                 8    07/12/13 15:45:36  192.168.6.2
			
				

			
# pam_tally2 -r -u root
Login           Failures Latest failure     From
root               14    07/12/13 15:44:37  192.168.6.2

# pam_tally2 -r -u neo
Login           Failures Latest failure     From
neo                 8    07/12/13 15:45:36  192.168.6.2
			
				

				
# cat  /etc/pam.d/sshd
#%PAM-1.0
auth required pam_tally2.so deny=3 onerr=fail unlock_time=300

auth	   required	pam_sepermit.so
auth       include      password-auth
account    required     pam_nologin.so
account    include      password-auth
password   include      password-auth
# pam_selinux.so close should be the first session rule
session    required     pam_selinux.so close
session    required     pam_loginuid.so
# pam_selinux.so open should only be followed by sessions to be executed in the user context
session    required     pam_selinux.so open env_params
session    optional     pam_keyinit.so force revoke
session    include      password-auth
				
					

			
auth required pam_tally2.so deny=3 unlock_time=5 even_deny_root root_unlock_time=1800
			
				

			
auth       required     pam_listfile.so item=user sense=allow file=/etc/ssh/whitelist onerr=fail
			
				

			
# cat /etc/ssh/whitelist
neo
www
			
				

				
# cat /etc/pam.d/sshd
#%PAM-1.0
auth       required     pam_listfile.so item=user sense=allow file=/etc/ssh/whitelist onerr=fail
auth       required     pam_tally2.so deny=3 onerr=fail unlock_time=300

auth	   required	pam_sepermit.so
auth       include      password-auth
account    required     pam_nologin.so
account    include      password-auth
password   include      password-auth
# pam_selinux.so close should be the first session rule
session    required     pam_selinux.so close
session    required     pam_loginuid.so
# pam_selinux.so open should only be followed by sessions to be executed in the user context
session    required     pam_selinux.so open env_params
session    optional     pam_keyinit.so force revoke
session    include      password-auth
				
					

			
auth       required     pam_listfile.so item=user sense=deny file=/etc/ssh/blacklist onerr=fail
			
				

			
account required pam_access.so
			
				

			
cat >>  /etc/security/access.conf << EOF

- : root : ALL EXCEPT 192.168.6.1
EOF
			
				

			
- : root : ALL EXCEPT 192.168.6.1 192.168.6.2
			
				

			
auth		required	pam_wheel.so use_uid
			
				

			
# usermod -G wheel www

# id www
uid=501(www) gid=501(www) groups=501(www),10(wheel)
			
				

			
$ su - root
Password:
su: incorrect password
			
				

每個伺服器必須安裝 NTP，以保證伺服器的時間準確。

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/os/ntpd/ntpdate.sh | bash			
			
			

OpenJDK 1.8

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/openjdk/java-1.8.0-openjdk.sh | bash			
			
			

OpenJDK 11

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/lang/java/openjdk/java-11-openjdk.sh | bash			
			
			

Oracle Server JRE 1.8

http://java.oracle.com 下載 server-jre-8u212-linux-x64.tar.gz 然後運行下面安裝腳本

			
#!/bin/bash
tar zxf server-jre-8u212-linux-x64.tar.gz*
mv jdk1.8.0_212 /srv/
ln -s /srv/jdk1.8.0_212 /srv/java

cat >> /etc/profile.d/java.sh <<'EOF'
export JAVA_HOME=/srv/java
export JAVA_OPTS="-server -Xms512m -Xmx8192m"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:.
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:
EOF

sed -i '117s/securerandom.source/#securerandom.source/' /srv/java/jre/lib/security/java.security
sed -i '117isecurerandom.source=file:/dev/./urandom' /srv/java/jre/lib/security/java.security

cat >> /etc/man.config <<EOF
MANPATH  /srv/java/man
EOF

alternatives --install /usr/bin/java java /srv/jdk1.8.0_212/bin/java 100 \
	--family java-1.8.0-server-jre \
	--slave /usr/bin/javac javac /srv/jdk1.8.0_212/bin/javac			
			
			

如果伺服器上安裝了多個 JAVA 版本，切換 JAVA 版本使用下面命令

			
alternatives --config java			
			
			

伺服器上不要安裝JDK，請使用 Server JRE. 伺服器上根本不需要編譯器，代碼應該在Release伺服器上完成編譯打包工作。

理由：一旦伺服器被控制，可以防止在其伺服器上編譯其他惡意代碼並植入到你的程序中。

加入 -server 選項使 JRE 工作在伺服器模式。

			
export JAVA_OPTS="-server -Xms512m -Xmx4096m  -XX:PermSize=64M -XX:MaxPermSize=512m"
			
			

-Xms 指定初始化時化的棧內存

-Xmx 指定最大棧內存

			
export JAVA_OPTS="-server -Xms512m -Xmx4096m"			
			
			

打開$JAVA_HOME/jre/lib/security/java.security檔案，找到下面的內容：

			
securerandom.source=file:/dev/urandom
替換成
securerandom.source=file:/dev/./urandom
			
			

			
java -jar -Djava.rmi.server.hostname=192.168.0.1 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=911 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false netkiller-1.0-SNAPSHOT.jar			
			
			

如果是雲主機，配置 java.rmi.server.hostname=192.168.0.1 為內網IP地址，這樣只能從內網監控 JVM

啟動 jconsole

			
jconsole localhost:911
			
			

配置檔案位置，預設application.properties是放在jar包中的，這樣對於運維並不友好。通過spring.config.location可以制定外部配置檔案，這樣更便于運維。

--spring.config.location 指定配置檔案

			
java -jar demo.jar --spring.config.location=/opt/config/application.properties
			
			

這樣運維人員便于配置資料庫連結，切換伺服器等操作

預設日誌檔案

			
		logging.path=/tmp 		# 日誌目錄預設為 /tmp
		logging.file=spring.log # 日誌檔案名稱，預設為spring.log
			
			

需要需要根據每個伺服器的情況來指定日誌存儲的目錄

			
java -jar spring-boot-app.jar --logging.file=/tmp/spring-2018-12-10.log			
			
			

不要使用root用戶啟動springboot，Java程序與C程序不同。nginx,httpd 使用root用戶啟動守護80連接埠，子進程/綫程會通過setuid(),setgid()兩個函數切換到普通用戶。即父進程所有者是root用戶，子進程與多綫程所有者是一個非root用戶，這個用戶沒有shell權限，無法通過ssh與控制台登陸系統。

Java 的JVM 是與系統無關的，是建立在OS之上的，你使用什麼用戶啟動Springboot，那麼Springboot 就會繼承該所有者的權限。

一旦 springboot 被攻擊，黑客將會獲得 root 權限，控制整個系統。

			
server.port=8080 # 監聽連接埠			
			
			

伺服器上有多個網卡的情況，需要指定一個網絡適配器監聽連接埠。

			
server.address=192.168.0.1 # 綁定的地址			
			
			

				
groupadd -g 80 daemon
adduser -o --home /daemon --shell /sbin/nologin --uid 80 --gid 80 -c "Web Server" daemon
				
				

				
chown daemon:daemon -R /srv/*
su - daemon -c "/srv/apache-tomcat/bin/startup.sh"
				
				

				
iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080

取消跳轉
iptables -t nat -D PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080

查看規則
iptables -t nat -L
				
				

系統預設 2048，這裡 max-threads 是 4096 表示伺服器最大連接數是 4096

							
server.tomcat.max-threads=4096 # 最大綫程數				
			
			

空閒綫程數，靜止沒有訪問時，伺服器保留的綫程數。

			
server:
  tomcat:
    min-spare-threads: 20
    max-threads: 100
  connection-timeout: 20000		
			
			

配置 min-spare-threads 可以防止伺服器靜止的狀態下，突然發起大量的連結請求導致系統沒有響應。

			
server.tomcat.connection-timeout=20000
			
			

連結超時時間建議設置 60～20秒之間。

有些版本的 Spring boot 預設並非 UTF-8 建議強制配置編碼

			
spring.messages.encoding=UTF-8
server.tomcat.uri-encoding=UTF-8
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true			
			
			

修改 Cookie 變數 JSESSIONID， 這個cookie 是用於維持Session關係。建議你改為PHPSESSID，防止黑客騷貓。

			
server.session.cookie.name=PHPSESSID
server.session.cookie.domain=.example.com
server.session.cookie.http-only=true
server.session.cookie.path=/				
			
			

注意不僅僅壓縮 HTML 頁面，配置 application/json 也可以壓縮傳輸 JSON 數據

			
server.compression.enabled=true
server.compression.mime-types=application/json,application/xml,text/html,text/xml,text/plain,text/css,application/javascript
server.compression.min-response-size=1024	
			
			

上傳檔案尺寸限制，注意如果使用了 Nginx 代理 Springboot 同時也需要配置 Nginx 上傳限制。

						
spring.servlet.multipart.max-file-size=2MB
spring.servlet.multipart.max-request-size=10MB
spring.http.multipart.enabled=false			
			
			

					
# REDIS (RedisProperties)
# Redis資料庫索引（預設為0）
spring.redis.database=0
# Redis伺服器地址
spring.redis.host=192.168.30.103
# Redis伺服器連接連接埠
spring.redis.port=6379
# Redis伺服器連接密碼（預設為空）
spring.redis.password=
# 連接超時時間（毫秒）
spring.redis.timeout=0
# 連接池最大連接數（使用負值表示沒有限制）
spring.redis.jedis.pool.max-active=8
# 連接池最大阻塞等待時間（使用負值表示沒有限制）
spring.redis.jedis.pool.max-wait=-1
# 連接池中的最大空閒連接
spring.redis.jedis.pool.max-idle=8
# 連接池中的最小空閒連接
spring.redis.jedis.pool.min-idle=0			
			
			

下面是給配置伺服器增加用戶認證，訪問配置伺服器用戶名config, 密碼 s3cr3t

			
server.port=8888
spring.cloud.config.server.git.uri=/opt/config
security.user.name=config
security.user.password=s3cr3t			
			
			

為 eureka 增加HTTP認證，周澤任何人都能註冊進來。

			
security.user.name=eureka
security.user.password=s3cr3t			
			
			

開發壓縮傳輸

			
feign.compression.response.enabled=true
feign.compression.request.enabled=true
feign.compression.request.mime-types=text/xml,application/xml,application/json
feign.compression.request.min-request-size=2048		
			
			

worker_processes = CPU 數量

			
user www;
worker_processes 1;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;				
			
			

連接數配置

			
events {
    worker_connections  4096;
}				
			
			

隱藏nginx版本號可以有效的增加黑客攻擊難度

			
vim /etc/nginx/nginx.conf

http {
...
server_tokens off;
}
			
			

			
	server {
		listen 443 ssl http2;
	
		ssl_certificate server.crt;
		ssl_certificate_key server.key;
	}
			
			

497 - normal request was sent to HTTPS

			
				#讓http請求重定向到https請求

	server {
		listen 80;
		error_page 497 https://$host$uri?$args;
		rewrite ^(.*)$ https://$host$1 permanent;
	}
			
			

			
	server {
		listen 80
		listen 443 ssl http2;
	
		ssl_certificate server.crt;
		ssl_certificate_key server.key;
	
		error_page 497 https://$host$uri?$args;
	
		if ($scheme = http) {
			return 301 https://$server_name$request_uri;
		}
	}
			
			

gzip_types 壓縮類型

				
	gzip_types text/plain text/css application/javascript text/javascript application/x-javascript text/xml application/xml application/xml+rss application/json;			
			
			

text/html 是 gzip_types 預設值，所以不要將text/html加入到gzip_types

			
	location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
	{
		expires 30d;
	}
	location ~ .*\.(js|css)$
	{
		expires 1h;
	}
			
			

client_max_body_size 上傳檔案尺寸限制

						
client_max_body_size 2M;				
			
			

兩台伺服器 server1，server2 相互備份

			
	upstream backend {
		server server1.example.com:8080;
		server server2.example.com:8080 backup;
	}
	server {
		location / {
			proxy_pass http://backend;
		}
	}
					
			
			

			
	upstream frontend {
		server server1.example.com:8080 backup;
		server server2.example.com:8080;
	}
	server {
		location / {
			proxy_pass http://frontend;
		}
	}
			
			

允許監控軟件從 localhost 收集 nginx 狀態信息

						
server {
    listen       80;
    server_name  localhost;

    location /status {
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        deny all;
    }
}			
			
			

Spring Boot Actuator 是會泄漏一些環境變數等敏感信息，甚至可以通過 localhost:8080/actuator/shutdown 遠程關閉伺服器。所以需要禁止公網訪問，只允許內部伺服器採集信息。

			
	location ~ ^/actuator
	{
		allow 172.16.0.10;
		deny all;
	}
			
			

172.16.0.10 是監控伺服器

			
/srv		伺服器軟件安裝目錄，例如 jdk
/opt		系統保留，可以用於安裝軟件，存儲備份檔案
			
			

應用程序放在/www目錄下，一般是這樣的結構。

			
/www/example.com/www.example.com
			
			

每次升級將壓錯包解壓到 /www/example.com/目錄下，www.example.com 是符號連接，連接到剛剛解壓的目錄。

這個可以實現通過符號連接在多個版本之間快速切換。

數據盤是指雲主機額外增加一個磁碟，用於數據存儲。

如果是阿里雲可以使用下面腳本，自動化分區格式化為 Btrfs 格式的檔案系統。

			
curl https://github.com/oscm/shell/blob/master/cloud/aliyun/xvdb.exp.sh | bash
			
			

程序運行一段時間後，可能會出現崩潰，異常退出，沒有任何日誌可以排查。

所以我們需要監控程序，一旦退出就重新啟動。

保存到 master 分支根目錄，命名為 .gitlab-ci.yml

			
#image: java:8
#image: maven:latest
#image: maven:3.5.0-jdk-8

variables:
  MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"

cache:
  paths:
    - .m2/repository/
    - target/

stages:
  - build
  - test
  - package

build:
  stage: build
  script: mvn compile

unittest:
  stage: test
  script: mvn test
  
  
package:
  stage: package
  script: mvn package
  artifacts:
    paths:
      - target/*.jar

			
			

保存在 master 分支根目錄，命名為 Jenkinsfile

			
pipeline {
    agent {
        label "java-8"
    }
    stages  {
        stage("初始化") {
        	steps{
        	    sh 'apt install -y sshpass'
                sh 'sshpass -v'
        	}
        }
        stage("檢出") {
            steps {
                checkout(
                  [$class: 'GitSCM', branches: [[name: env.GIT_BUILD_REF]], 
                  userRemoteConfigs: [[url: env.GIT_REPO_URL]]]
                )
            }
        }

        stage("編譯") {
            steps {
                sh "mvn package -Dmaven.test.skip=true"
            }
        }

        stage("測試") {
            steps {
              	sh "mvn test"
            }
        }
        
        stage("保存構建產物") {
            steps {
                archiveArtifacts artifacts: 'target/*.jar', fingerprint: true
              	sh "ls -l target/*.jar"
            }
        }
        stage("部署"){
            parallel{
            	stage('stop') {
			         steps {
			            sh 'sshpass -p 123456 ssh -f www@www.netkiller.cn pkill -f java-project-0.0.2-SNAPSHOT'
			         }
			    }
			    stage('start') {
			         steps {
			            sh 'sshpass -p 123456 scp target/*.jar www@www.netkiller.cn:/opt/'
                	    sh 'sshpass -p 123456 ssh -f www@www.netkiller.cn java -jar /opt/java-project-0.0.2-SNAPSHOT.jar'
			          }
			    }	                
    	    }
    	}
    }
}