前言

sprov 这位大神开发的这套面板程序，很是方便，可以可视化的搭建SS、V2ray、Xray、Trojan等热门的协议，并且可以实时看到 VPS 的性能状态以及流量的使用情况。

那在经过将近两年的不断更新之后，V2-ui面板，迎来了一个比较大的转折——停止更新了。

sprov 大神又用 GO 语言重新开发了一套面板 X-UI。那这套面板相比原来的 V2-ui，兼容性更强，也便于维护， GO 语言的性能更好，而且内存占用也会相对的低一些。

功能介绍

• 系统状态监控
• 支持多用户多协议，网页可视化操作
• 支持的协议：vmess、vless、trojan、shadowsocks、dokodemo-door、socks、http
• 支持配置更多传输配置
• 流量统计，限制流量，限制到期时间
• 可自定义 xray 配置模板
• 支持 https 访问面板（自备域名 + ssl 证书）
• 更多高级配置项，详见该项目的 GitHub：点击访问

安装&升级

bash <(curl -Ls https://raw.githubusercontent.com/vaxilu/x-ui/master/install.sh)

安装后，在浏览器中打开 http://<服务器 IP>:65432 即可访问面板，默认用户名和密码都是 admin。

登陆后请修改用户名和密码

更换面板端口

x-ui 打开脚本面板，更换面板端口为你想用的端口即可，记得开放防火墙

添加节点

添加节点的过程 youtube 有很多视频，不再赘述

最简单的就是添加一个 vmess+websocket，其他保持全默认即可

手动安装&升级

1. 首先从 https://github.com/vaxilu/x-ui/releases 下载最新的压缩包，一般选择amd64架构
2. 然后将这个压缩包上传到服务器的/root/目录下，并使用root用户登录服务器

如果你的服务器 cpu 架构不是amd64，自行将命令中的amd64替换为其他架构

cd /root/
rm x-ui/ /usr/local/x-ui/ /usr/bin/x-ui -rf
tar zxvf x-ui-linux-amd64.tar.gz
chmod +x x-ui/x-ui x-ui/bin/xray-linux-* x-ui/x-ui.sh
cp x-ui/x-ui.sh /usr/bin/x-ui
cp -f x-ui/x-ui.service /etc/systemd/system/
mv x-ui/ /usr/local/
systemctl daemon-reload
systemctl enable x-ui
systemctl restart x-ui

建议系统

• CentOS 7+
• Ubuntu 16+
• Debian 8+

常见问题

从 v2-ui 迁移

首先在安装了 v2-ui 的服务器上安装最新版 x-ui，然后使用以下命令进行迁移，将迁移本机 v2-ui 的所有 inbound 账号数据至 x-ui，面板设置和用户名密码不会迁移

迁移成功后请关闭 v2-ui并且重启 x-ui，否则 v2-ui 的 inbound 会与 x-ui 的 inbound 会产生端口冲突

x-ui v2-ui

更新系统

安装相关依赖
centos 系统下

yum update -y                                                                                                
apt-get update -y && apt-get install curl -y

ubuntu 系统下

apt update -y
apt-get update -y && apt-get install curl -y

若出现 bash curl: command not found 等错误，请先安装 curl

CentOS 系统：

yum install curl -y

Debian 或 Ubuntu 系统：

apt install curl -y

错误提示：-bash curl: command not found

Ubuntu、Debian 如果出现无法安装 Curl, 需要先升级

sudo apt-get update

申请 SSL 证书

下面环境的安装方式，大家根据自己的系统选择命令安装就好了。

更新及安装组件

apt update -y          # Debian/Ubuntu 命令
apt install -y curl    #Debian/Ubuntu 命令
apt install -y socat    #Debian/Ubuntu 命令

yum update -y          #CentOS 命令
yum install -y curl    #CentOS 命令
yum install -y socat    #CentOS 命令

安装 Acme 脚本

curl https://get.acme.sh | sh

80 端口空闲的证书申请方式

自行更换代码中的域名、邮箱为你解析的域名及邮箱

~/.acme.sh/acme.sh --register-account -m [email protected]
~/.acme.sh/acme.sh  --issue -d mydomain.com   --standalone

安装证书到指定文件夹

自行更换代码中的域名为你解析的域名

~/.acme.sh/acme.sh --installcert -d mydomain.com --key-file /root/private.key --fullchain-file /root/cert.crt

介绍

FunAdmin是基于ThinkPHP6.X + Layui +Requirejs的敏捷开发的后台管理系统。

演示站点

演示地址： fundemo.funadmin.com （账号：admin，密码：123456。备注：只有查看信息的权限

主要特性

• 基于auth的权限管理系统
  • 支持无限级父子级权限继承，父级的管理员可任意增删改子级管理员及权限设置
  • 支持管理员多角色管理
• CURD 命令行模式助您快速开发
• 完善的菜单管理
  • 分模块管理
  • 无限极菜单
• 二级域名部署支持，同时域名支持绑定到插件
• 多语言支持，服务端及客户端支持
• 丰富的插件市场
• 完善的上传插件组件功能
  • 本地存储
  • 阿里云OSS建议使用
  • 腾讯云COS
  • 七牛云OSS
• 完善的前端功能组件开发
  • 自适应手机、平板、PC,自使用IE+谷歌+火狐等浏览器
  • 基于RequireJS进行JS模块管理，按需加载
  • 对form表单二次封装，只需要使用函数就可以展示表
  • 对layui table ,form表格再次封装，方便使用
• 完善的后台操作日志
  • 记录用户的详细操作信息 操作ip 等
• 文件附件管理
• 后台路径自定义，防止别人找到对应的后台地址

项目介绍

FunAdmin 基于thinkphp6.X +Layui2.6.*+requirejs开发权限(RBAC)管理框架，框架中集成了权限管理、模块管理、插件管理、后台支持多主题切换、配置管理、会员管理等常用功能模块，以方便开发者快速构建自己的应用。框架专注于为中小企业提供最佳的行业基础后台框架解决方案，执行效率、扩展性、稳定性值得信赖，操作体验流畅，使用非常优化，欢迎大家使用及进行二次开发。

• PHP支持php8.0的快速开发框架 建议使用PHP8
• 这是一个有趣的后台管理系统，这是可以让你节约时间的系统
• 这是一款快速、高效、便捷、灵活敏捷的应用开发框架。
• 系统采用最新版TinkPHP6框架开发，底层安全可靠，数据查询更快，运行效率更高，网站速度更快, 后续随官网升级而升级
• 密码动态加密,相同密码入库具有唯一性，用户信息安全牢固,告别简单md5加密
• 自适应前端，桌面和移动端访问界面友好简洁，模块清晰
• 兼容ie11 + firefox + Chrome +360 等浏览器
• UI组件化，只需要写函数就可以成就后台表单
• 内置CURD 命令行模式，帮助助您快速开发系统
• 模块化：全新的架构和模块化的开发机制，便于灵活扩展和二次开发。
• 强大的表单管理，只需要使用函数即可成就表单
• layui采用最新layui2.6.X 框架
• 适用范围：可以开发OA、ERP、BPM、CRM、WMS、TMS、MIS、BI、电商平台后台、物流管理系统、快递管理系统、教务管理系统等各类管理软件。
• require.js 模块化开发 一个命令即可打包js,css ; node r.js -o backend-build.js
• restful api 接口,接口使用jwt接口验证等
• …更多功能尽请关注

环境要求:

• PHP >= 7.4 支持php8.0
• PDO PHP Extension
• MBstring PHP Extension
• CURL PHP Extension
• 开启静态重写
• 要求环境支持pathinfo
• Mysql 5.7及以上
• Apache 或 Nginx

功能特性

• 严谨规范： 提供一套有利于团队协作的结构设计、编码、数据等规范。
• 高效灵活： 清晰的分层设计，解耦设计更能灵活应对需求变更。
• 严谨安全： 清晰的系统执行流程，严谨的异常检测和安全机制，详细的日志统计，为系统保驾护航。
• 组件化： 完善的组件化设计，丰富的表单组件，让开发列表和表单更得心应手。无需前端开发，省时省力。
• 简单上手快： 结构清晰、代码规范、在开发快速的同时还兼顾性能的极致追求。
• 自身特色： 权限管理、组件丰富、第三方应用多、分层解耦化设计和先进的设计思想。
• 高级进阶： 分布式、负载均衡、集群、Redis、分库分表。

插件

• ** CMS内容管理插件（免费）
• ** BBS社区插件
• ** 编辑器插件
• ** 微信管理插件
• ** 更多请查看 插件列表

开发者信息

• 系统名称：FunAdmin开发系统框架
• 作者：FunAdmin
• 官网网址：http://www.funadmin.com/

• 开源协议：Apache 2.0

现在的系统大多是微服务化架构，且部署方式大多为分布式集群化部署，也就是说系统的各个组件分布在不同的服务器中运行，导致时间同步对于系统的正常运行来说尤为重要， 由于时间不同同步，会导致系统出现各种异常

NTP是网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。本文，我们采用ntpd做时间同步，ntpd不仅仅是时间同步服务器，它还可以做客户端与标准时间服务器进行同步时间，而且是平滑同步

时间时区概念理解：

GMT、UTC、CST、DST

UTC：

整个地球分为二十四时区，每个时区都有自己的本地时间，在国际无线电通信场合，为了统一起见，使用一个统一的时间，称为通用协调时(UTC:Universal Time Coordinated)。

GMT：

格林威治标准时间 (Greenwich Mean Time)指位于英国伦敦郊区的皇家格林尼治天文台的标准时间，因为本初子午线被定义在通过那里的经线(UTC与GMT时间基本相同)。

CST：

中国标准时间 (China Standard Time)

GMT + 8 = UTC + 8 = CST

DST：
夏令时(Daylight Saving Time) 指在夏天太阳升起的比较早时，将时间拨快一小时，以提早日光的使用（中国不使用）。

1、查看当前服务器时区&列出时区并设置时区（如已是正确时区，请略过）：

查看当前系统时间、时区

$ timedatectl 
Local time: Thu 2018-10-11 13:03:04 CST
Universal time: Thu 2018-10-11 05:03:04 UTC
RTC time: Thu 2018-10-11 01:17:11
Time zone: Asia/Shanghai (CST, +0800)
NTP enabled: no
NTP synchronized: no
RTC in local TZ: no
DST active: n/a

$ timedatectl status
Local time: Thu 2018-10-11 13:03:09 CST
Universal time: Thu 2018-10-11 05:03:09 UTC
RTC time: Thu 2018-10-11 01:17:16
Time zone: Asia/Shanghai (CST, +0800)
NTP enabled: no
NTP synchronized: no
RTC in local TZ: no
DST active: n/a

列出全世界所有的时区

# timedatectl list-timezones | grep Asia
...
Asia/Hong_Kong
Asia/Shanghai
Asia/TaipeiAsia/Urumqi
...

设置时区

# 方法1：
# 将时区设置为上海
$ timedatectl set-timezone Asia/Shanghai 
#方法2：
# 直接修改符号链接
$ rm /etc/localtime$ ln -s ../usr/share/zoneinfo/Asia/Shanghai /etc/localtime

若坚持要手动修改时间，先timedatectl set-ntp no。

# 设置日期和时间
$ timedatectl set-time '2018-10-11 09:00:00'
# 设置日期
$ timedatectl set-time '2018-10-11'
# 设置时间
$ timedatectl set-time '09:00:00'

# 方法2：使用date

$ date -s '2018-10-11 09:00:00'

同步系统时间到硬件时间

# 方法1：不建议硬件时间随系统时间变化
# 设置硬件时间随系统时间变化
$ timedatectl set-local-rtc 1
# 设置硬件时间不随系统时间变化
$ timedatectl set-local-rtc 0

# 方法2：
$ hwclock --systohc

是否启用自动同步时间

# 启用|停用自动同步时间
$ timedatectl set-ntp yes|no

# 上面的命令其实是启用、停用时间服务器，若安装了chrony服务，则等同于对该服务启停，若只安装了ntp，则是对ntp服务启停。
# 对chrony服务启停
$ systemctl start|stop chronyd
# 对ntp服务启停
$ systemctl start|stop ntpd

2、确认是否已安装ntp

【命令】rpm –qa | grep ntp

若只有ntpdate而未见ntp，则需删除原有ntpdate。如：

ntpdate-4.2.6p5-22.el7_0.x86_64

fontpackages-filesystem-1.44-8.el7.noarch

python-ntplib-0.3.2-1.el7.noarch

删除已安装ntp
【命令】yum –y remove ntpdate-4.2.6p5-22.el7.x86_64

重新安装ntp
【命令】yum –y install ntp

3、安装NTP

yum install -y ntp

说明：如果本机不支持联网，则可以找一台可以上网的服务器把安装包下载下来，然后做离线安装：

yum install --downloadonly --downloaddir=/home ntp

修改NTP配置

/etc/ntp.conf

#在配置中增加以下配置：
#允许上层时间服务器主动修改本机时间

restrict time.pool.aliyun.com nomodify notrap noquery

#允许所有主机通过本机同步时间

restrict default nomodify notrap

#外部时间服务器不可用时，以本地时间作为时间服务

server time.pool.aliyun.com iburst

server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改完成后保存退出并重启ntp（systemctl restart ntpd）。

说明：
#nomodfiy：客户端不能更改服务端的时间参数，但是客户端可以通过服务端进行网络校时。
#noquery：不提供客户端的时间查询。
#notrap：不提供trap这个远程时间登录的功能

4、启动NTP服务&开机启动设置

#启动NTP服务

systemctl start ntpd

#将NTP服务设置为开机启动

systemctl enable ntpd

5、chrony的安装配置

安装chrony

$ yum -y install chrony

配置chrony

$ vim /etc/chrony.conf
server ntp1.alyun.com
server ntp2.alyun.com
server ntp3.alyun.com
#server 0.centos.pool.ntp.org iburst...

启动chrony

$ systemctl start chronyd

6、配置计划任务，使用ntpdate同步时间

# 启动并开机启动计划任务cron
$ systemctl start crond
$ systemctl enable crond

# 配置计划任务，每5分钟同步一次
$ crontab -e
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

在和前端js对接接口的时候遇到跨域问题，记录一下

方法一
通过route文件配置
文件位置 : app/api/route/app.php

<?php
/**
 * Created by PhpStorm.
 * User: 雪后西溏 <[email protected]>
 * Date: 2021-02-23
 * Time: 16:06
 */

use think\facade\Route;

// 手写资源路由
Route::group(':v/:c', function () {
    Route::get('', '/:v.:c/index');
    Route::get('create', '/:v.:c/create');
    Route::get(':id/edit', '/:v.:c/edit');
    Route::get(':id', '/:v.:c/read');
    Route::post('', '/:v.:c/save');
    Route::put(':id', '/:v.:c/update');
    Route::delete(':id', '/:v.:c/delete');
})->allowCrossDomain([
    /** 设置跨域允许的header头信息，新增token字段 */
    'Access-Control-Allow-Headers'     => 'Authorization, Content-Type, If-Match, If-Modified-Since, If-None-Match, If-Unmodified-Since, X-CSRF-TOKEN, X-Requested-With, authKey, Accept, Origin, token',
    /** 允许所有请求 */
    'Access-Control-Allow-Origin'      => '*',
    'Access-Control-Allow-Credentials' => 'true',
]);

更新后写法

<?php
/**
 * Created by PhpStorm.
 * User: 雪后西溏 <[email protected]>
 * Date: 2021-06-16
 * Time: 10:14
 */

use think\facade\Route;

// 开启资源路由
Route::resource(':v/:c', ':v.:c');
// 配置跨域
Route::allowCrossDomain([
    /** 设置跨域允许的header头信息 , 增加token字段 */
    'Access-Control-Allow-Headers'     => 'Authorization, Content-Type, If-Match, If-Modified-Since, If-None-Match, If-Unmodified-Since, X-CSRF-TOKEN, X-Requested-With, authKey, Accept, Origin, token',
    //    允许所有请求
    'Access-Control-Allow-Origin'      => '*',
]);

参见 官方文档
https://www.kancloud.cn/manual/thinkphp6_0/1037507

 

方法二

设置全局中间件

在 ./app/middleware.php 文件中启用内置中间件即可

\think\middleware\AllowCrossDomain::class

<?php
// 全局中间件定义文件
return [
    // 全局请求缓存
    // \think\middleware\CheckRequestCache::class,
    // 多语言加载
    // \think\middleware\LoadLangPack::class,
    // Session初始化
    // \think\middleware\SessionInit::class
    \think\middleware\AllowCrossDomain::class,
];

 

 

命令简介：

date 根据给定格式显示日期或设置系统日期时间。print or set the system date and time

指令所在路径：/bin/date

命令语法：

date [OPTION]… [+FORMAT]

date [-u|–utc|–universal] [MMDDhhmm[[CC]YY][.ss]]

命令参数：

Format参数格式

要说写这位程序的 David MacKenzie老兄，真是事无巨细啊，居然整了这么多格式参数，佩服佩服。

 

使用示例：

1： 查看date命令帮助信息

 date --help
 man date

2：运用-d参数

[root@Gin scripts]# date
Sun Jan 29 10:46:03 CST 2017
[root@Gin scripts]# date -d now
Sun Jan 29 10:46:07 CST 2017
[root@Gin scripts]# date -d 'next monday'
Mon Jan 30 00:00:00 CST 2017
[root@Gin scripts]# date -d yesterday +%Y%m%d
20170128

3：显示文件中的时间

[root@Gin scripts]# cat >date.txt
2013-11-17 10:54:00
2013-11-22 11:11:11

[root@Gin scripts]# more date.txt
2013-11-17 10:54:00
2013-11-22 11:11:11

[root@Gin scripts]# date -f date.txt
Sun Nov 17 10:54:00 CST 2013
Fri Nov 22 11:11:11 CST 2013

4：显示文件最后修改的时间

[root@Gin scripts]# date -r date.txt
Sun Jan 29 10:49:11 CST 2017

5：按各种格式显示当前日期时间
这个命令的格式参数实在是太多了，在此没有必要每一个参数都尝试一遍，大家可以对照Format参数表，自己敲一敲命令实践一下。

[root@Gin scripts]# date +%Y
2017
[root@Gin scripts]# date +%m
01
[root@Gin scripts]# date +%D
01/29/17
[root@Gin scripts]# date '+%Y-%m-%d'
2017-01-29
[root@Gin scripts]# date +%Y-%m-%d
2017-01-29
[root@Gin scripts]# date +%m/%d/%y
01/29/17

6: 设置系统时间

[root@Gin scripts]# date -s "2016-11-11 00:00:00"
Fri Nov 11 00:00:00 CST 2016
[root@Gin scripts]# date
Fri Nov 11 00:00:05 CST 2016

7：请给出如下格式的date命令，如：11-02-26。再给出实现按周输出，如：周六为6，请分别给出命令

[root@Gin scripts]# date +%y-%m-%d
17-01-29
[root@Gin scripts]# date +%F
2017-01-29
[root@Gin scripts]# date "+%Y-%m-%d %H:%M:%S"
2017-01-29 10:57:02

生产场景中常用时间格式来打包数据：

[root@Andy andy]# tar zcvf etc-$(date +%F).tar.gz /etc
[root@Andy andy]# tar zcvf etc-`date +%F`.tar.gz /etc

解析命令方法：反引号，或$()，如上
[root@Andy andy]# date +%w  ##显示周，0-6

显示过去与未来时间：

[root@Andy andy]# date +%F
2016-11-16
[root@Andy andy]# date +%F -d "-1day"
2016-11-15
[root@Andy andy]# date +%F -d "+2day"
2016-11-18
[root@Andy andy]# date +%F -d "+24hour"
2016-11-17
[root@Andy andy]# date +%F-%H -d "+2hour"
2016-11-16-14

Linux的时间分为System Clock（系统时间）和Real Time Clock （硬件时间，简称RTC）。

系统时间：指当前Linux Kernel中的时间。

硬件时间：主板上有电池供电的时间。

查看系统时间的命令： #date

设置系统时间的命令： #date –set（月/日/年 时：分：秒）

例：#date –set “10/11/10 10:15”

查看硬件时间的命令： # hwclock

设置硬件时间的命令： # hwclock –set –date = （月/日/年 时：分：秒）

上述提到的是手动设置时间到一个时间点，可能与当前网络的时间有误差。下面介绍一下与时间服务器上的时间同步的方法

 

1.查看时间

[root@bogon ~]# date
Thu Apr 4 11:24:24 CST 2019

2.使用date -s修改时间

[root@bogon ~]# date -s "2019/4/4 11:26" 
Thu Apr  4 11:26:00 CST 2019

3.修改时区

使用新的时区文件覆盖系统默认时区
 # cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

4.安装ntpdate

yum install ntpdate -y

5.同步网络时间

ntpdate ntp1.aliyun.com

6.保存为bios时间

同步BIOS时钟，强制将系统时间写入CMOS，使之永久生效，避免系统重启后恢复成原时间。
# clock -w

7.设置crontab同步时间

59 23 * * *    ntpdate ntp1.aliyun.com

*　　*　　*　　*　　*　　command 
分　时　日　月　周　命令 
第1列表示分钟1～59 每分钟用*或者 */1表示 
第2列表示小时1～23（0表示0点） 
第3列表示日期1～31 
第4列表示月份1～12 
第5列标识号星期0～6（0表示星期天） 
第6列要运行的命令

8.查看bios时间

[root@bogon ~]# hwclock  -r
Thu 04 Apr 2019 11:35:20 AM CST  -0.365289 seconds

SPUG是一个面向中小型企业的自动化运维平台，方便管理主机，代码发布，任务计划，配置中心，监控等功能。

官方文档上推荐使用docker安装，我这里使用手动部署。

操作系统

centos8

安装命令

curl https://spug.dev/installer/spug-installer | bash

默认设置

# 默认代码安装路径：
/data/spug

# 默认创建的数据库账号
用户：spug
密码：spug.dev

# 默认创建的系统管理员
账户：admin
密码：spug.dev

如果访问时出现 403 Forbidden 的错误页面，大部分情况下是 selinux 的问题。你可以执行 setenforce 0 来临时关闭 selinux 测试能否正常访问。

安全建议

默认安装的 Redis 服务监听在 127.0.0.1 但未设置密码，如需启用密码认证，请参考 如何配置使用带密码的 Redis 服务？
默认安装了 Mariadb 作为数据存储服务，监听在 127.0.0.1 创建了用户名为 spug 密码为 spug.dev 的用户，安全起见请自行更改该密码，并修改 /data/spug/spug_api/spug/overrides.py 使用新密码。
确保服务端接收到请求 HTTP Header 的 X-Real-IP 为真实的客户端地址，Spug 会使用该IP提高安全性（当登用户的IP发生变化时Token自动失效）。
如果想更多的控制安装过程，请参考 生产环境部署文档 进行手动部署配置。

访问测试

在浏览器中输入 http://localhost:80 访问。

演示环境

演示地址：https://demo.spug.dev

演示账号: admin
演示密码：spug

特性

批量执行: 主机命令在线批量执行
在线终端: 主机支持浏览器在线终端登录
文件管理: 主机文件在线上传下载
任务计划: 灵活的在线任务计划
发布部署: 支持自定义发布部署流程
配置中心: 支持KV、文本、json等格式的配置
监控中心: 支持站点、端口、进程、自定义等监控
报警中心: 支持短信、邮件、钉钉、微信等报警方式
优雅美观: 基于 Ant Design 的UI界面
开源免费: 前后端代码完全开源

• 官网地址：https://www.spug.dev
• 使用文档：https://www.spug.dev/docs/about-spug/
• https://www.spug.dev/docs/host-manage/
• 更新日志：https://www.spug.dev/docs/change-log/
• 常见问题：https://www.spug.dev/docs/faq/
• 官方文档https://gitee.com/elfbobo/spug#%E5%AE%89%E8%A3%85
  https://gitee.com/elfbobo/spug#%E5%AE%89%E8%A3%85

Spug简介

Spug面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。

一、安装SPUG

官方文档上推荐使用docker安装，我这里使用手动部署。

1、拉取spug项目代码

gitclone https://github.com/openspug/spug /data/spug cd /data/spug git checkout v2.3.13

我这里指定的版本是 v2.3.13，大家根据需要自行修改。

2、下载编译好的前端项目

https://gitee.com/openspug/spug/releases

比如：spug_web_2.3.13.tar.gz

tar xf spug_web_2.3.13.tar.gz -C /data/spug/spug_web/

3、安装依赖，创建运行环境

yum install mariadb-devel python3-devel gcc openldap-devel redis nginx supervisor

如果是 cetnos8 系统，报错

No matchfor argument: supervisor

请为 centos8 安装 EPEL 源

yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm

创建虚拟环境

cd /data/spug/spug_api
python3 -m venv venv
source venv/bin/activate

安装python包

pip install -r requirements.txt -i https://pypi.doubanio.com/simple/
pip install gunicorn mysqlclient -i https://pypi.doubanio.com/simple/

注意，这里安装包后，先不退出python虚拟环境，后面初始化数据库和创建管理员账号会需要。

4、配置数据库，我这里使用mysql，大家自行选择

vi spug_api/spug/overrides.py

DEBUG = False
DATABASES = {
    'default': {
        'ATOMIC_REQUESTS': True,
        'ENGINE':'django.db.backends.mysql',
        'NAME':'spug',           # 替换为自己的数据库名，请预先创建好编码为utf8mb4的数据库
        'USER':'root',           # 数据库用户名
        'PASSWORD':'123456',     # 数据库密码
        'HOST':'192.168.1.222',  # 数据库地址
        'OPTIONS': {
            'charset':'utf8mb4',
            'sql_mode':'STRICT_TRANS_TABLES',
            #'unix_socket':'/opt/mysql/mysql.sock' # 如果是本机数据库,且不是默认安装的Mysql,需要指定Mysql的socket文件路径
        }
    }
}

注意，数据库地址，用户名，密码，请自行修改。

5、初始化数据库

cd /data/spug/spug_api
python manage.py initdb

注意这里，需要在python虚拟环境中运行上述命令，不然在我的 centos8 中会报 bash: python: 未找到命令

6、创建默认管理员账号

python manage.py useradd -u admin -p admin -s -n 超级管理员

7、创建启动服务脚本

vi /etc/supervisord.d/spug.ini

[program:spug-api]
command = bash /data/spug/spug_api/tools/start-api.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/api.log
redirect_stderr = true
 
[program:spug-ws]
command = bash /data/spug/spug_api/tools/start-ws.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/ws.log
redirect_stderr = true
 
[program:spug-worker]
command = bash /data/spug/spug_api/tools/start-worker.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/worker.log
redirect_stderr = true
 
[program:spug-monitor]
command = bash /data/spug/spug_api/tools/start-monitor.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/monitor.log
redirect_stderr = true
 
[program:spug-scheduler]
command = bash /data/spug/spug_api/tools/start-scheduler.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/scheduler.log
redirect_stderr = true

8、创建前端nginx配置文件

vi /etc/nginx/conf.d/spug.conf

server {
    listen 80;
    server_name 192.168.1.111;     # 修改为自定义的访问域名
    root /data/spug/spug_web/build/;
    client_max_body_size 20m;   # 该值会影响文件管理器可上传文件的大小限制，请合理调整
 
    gzip  on;
    gzip_min_length  1k;
    gzip_buffers     4 16k;
    gzip_http_version 1.1;
    gzip_comp_level 7;
    gzip_types       text/plain text/css text/javascript application/javascript application/json;
    gzip_vary on;
 
    location ^~ /api/ {
        rewrite ^/api(.*)$1 break;
        proxy_pass http://127.0.0.1:9001;
        proxy_read_timeout 180s;
        proxy_redirect off;
        proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
    }
 
    location ^~ /api/ws/ {
        rewrite ^/api(.*)$1 break;
        proxy_pass http://127.0.0.1:9002;
        proxy_http_version 1.1;
        proxy_set_header Upgrade$http_upgrade;
        proxy_set_header Connection"Upgrade";
        proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
    }
 
    location / {
        try_files$uri /index.html;
    }
}

注意，我这里 server_name 配置的是 192.168.111，大家可以根据情况自行修改。

9、启动服务

systemctl enable nginx
systemctl enable redis
systemctl enable supervisord
 
systemctl restart nginx
systemctl restart redis
systemctl restart supervisord

10、退出python虚拟环境

deactivate

11、访问 192.168.1.111，如果一直转圈，看看防火墙。

常见问题：

如果访问时报 请求失败: 502 Bad Gateway，通过查看nginx错误日志

cat /var/log/nginx/error.log

failed (13: Permission denied)while connecting to upstream

尝试暂时关闭 selinux

setenforce 0

或者永久关闭

vi /etc/selinux/config

中将 SELINUX=disabled，重启系统。

数据库分库分表

前言

公司最近在搞服务分离，数据切分方面的东西，因为单张包裹表的数据量实在是太大，并且还在以每天60W的量增长。 之前了解过数据库的分库分表，读过几篇博文，但就只知道个模糊概念， 而且现在回想起来什么都是模模糊糊的。

今天看了一下午的数据库分库分表，看了很多文章，现在做个总结，“摘抄”下来。（但更期待后期的实操） 会从以下几个方面说起： 第一部分：实际网站发展过程中面临的问题。 第二部分：有哪几种切分方式，垂直和水平的区别和适用面。 第三部分：目前市面有的一些开源产品，技术，它们的优缺点是什么。 第四部分：可能是最重要的，为什么不建议水平分库分表！？这能让你能在规划前期谨慎的对待，规避掉切分造成的问题。

名词解释

库：database；表：table；分库分表：sharding

数据库架构演变

刚开始我们只用单机数据库就够了，随后面对越来越多的请求，我们将数据库的写操作和读操作进行分离， 使用多个从库副本（Slaver Replication）负责读，使用主库（Master）负责写， 从库从主库同步更新数据，保持数据一致。架构上就是数据库主从同步。 从库可以水平扩展，所以更多的读请求不成问题。

但是当用户量级上来后，写请求越来越多，该怎么办？加一个Master是不能解决问题的， 因为数据要保存一致性，写操作需要2个master之间同步，相当于是重复了，而且更加复杂。

这时就需要用到分库分表（sharding），对写操作进行切分。

分库分表前的问题

任何问题都是太大或者太小的问题，我们这里面对的数据量太大的问题。

用户请求量太大

因为单服务器TPS，内存，IO都是有限的。 解决方法：分散请求到多个服务器上； 其实用户请求和执行一个sql查询是本质是一样的，都是请求一个资源，只是用户请求还会经过网关，路由，http服务器等。

单库太大

单个数据库处理能力有限；单库所在服务器上磁盘空间不足；单库上操作的IO瓶颈 解决方法：切分成更多更小的库

单表太大

CRUD都成问题；索引膨胀，查询超时 解决方法：切分成多个数据集更小的表。

分库分表的方式方法

一般就是垂直切分和水平切分，这是一种结果集描述的切分方式，是物理空间上的切分。 我们从面临的问题，开始解决，阐述： 首先是用户请求量太大，我们就堆机器搞定（这不是本文重点）。

然后是单个库太大，这时我们要看是因为表多而导致数据多，还是因为单张表里面的数据多。 如果是因为表多而数据多，使用垂直切分，根据业务切分成不同的库。

如果是因为单张表的数据量太大，这时要用水平切分，即把表的数据按某种规则切分成多张表，甚至多个库上的多张表。 分库分表的顺序应该是先垂直分，后水平分。 因为垂直分更简单，更符合我们处理现实世界问题的方式。

垂直拆分

1. 垂直分表也就是“大表拆小表”，基于列字段进行的。一般是表中的字段较多，将不常用的， 数据较大，长度较长（比如text类型字段）的拆分到“扩展表“。 一般是针对那种几百列的大表，也避免查询时，数据量太大造成的“跨页”问题。
2. 垂直分库垂直分库针对的是一个系统中的不同业务进行拆分，比如用户User一个库，商品Producet一个库，订单Order一个库。 切分后，要放在多个服务器上，而不是一个服务器上。为什么？ 我们想象一下，一个购物网站对外提供服务，会有用户，商品，订单等的CRUD。没拆分之前， 全部都是落到单一的库上的，这会让数据库的单库处理能力成为瓶颈。按垂直分库后，如果还是放在一个数据库服务器上， 随着用户量增大，这会让单个数据库的处理能力成为瓶颈，还有单个服务器的磁盘空间，内存，tps等非常吃紧。 所以我们要拆分到多个服务器上，这样上面的问题都解决了，以后也不会面对单机资源问题。数据库业务层面的拆分，和服务的“治理”，“降级”机制类似，也能对不同业务的数据分别的进行管理，维护，监控，扩展等。 数据库往往最容易成为应用系统的瓶颈，而数据库本身属于“有状态”的，相对于Web和应用服务器来讲，是比较难实现“横向扩展”的。 数据库的连接资源比较宝贵且单机处理能力也有限，在高并发场景下，垂直分库一定程度上能够突破IO、连接数及单机硬件资源的瓶颈。

水平拆分

1. 水平分表针对数据量巨大的单张表（比如订单表），按照某种规则（RANGE,HASH取模等），切分到多张表里面去。 但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈。不建议采用。
2. 水平分库分表将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。 水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈。
3. 水平分库分表切分规则
   1. RANGE从0到10000一个表，10001到20000一个表；
   2. HASH取模一个商场系统，一般都是将用户，订单作为主表，然后将和它们相关的作为附表，这样不会造成跨库事务之类的问题。 取用户id，然后hash取模，分配到不同的数据库上。
   3. 地理区域比如按照华东，华南，华北这样来区分业务，七牛云应该就是如此。
   4. 时间按照时间切分，就是将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据 被查询的概率变小，所以没必要和“热数据”放在一起，这个也是“冷热数据分离”。

分库分表后面临的问题

事务支持

分库分表后，就成了分布式事务了。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价； 如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。

多库结果集合并（group by，order by）

TODO

跨库join

TODO 分库分表后表之间的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表， 结果原本一次查询能够完成的业务，可能需要多次查询才能完成。 粗略的解决方法： 全局表：基础数据，所有库都拷贝一份。 字段冗余：这样有些字段就不用join去查询了。 系统层组装：分别查询出所有，然后组装起来，较复杂。

分库分表方案产品

目前市面上的分库分表中间件相对较多，其中基于代理方式的有MySQL Proxy和Amoeba， 基于Hibernate框架的是Hibernate Shards，基于jdbc的有当当sharding-jdbc， 基于mybatis的类似maven插件式的有蘑菇街的蘑菇街TSharding， 通过重写spring的ibatis template类的Cobar Client。