云计算总结
文章目录
运营(部署)模式：公有云 私有云 混合云
(公有云服务的企业必须将数据托管于云服务商的数据中心，企业对数据的掌握力度自然减弱。公有云自研架构，私有云一般采用openstack开源架构。)
服务模式：iaas paas saas
（基础设施服务IAAS（云操作系统openstack） 平台服务PAAS（开发工具,中间件，docker） 应用软件服务SAAS。）
云计算基础
- 云计算标准定义：通过internet以服务方式提供动态可伸缩的虚拟化资源。
- 把软件和硬件资源利用虚拟化等技术重新整合提高了资源利用率， 通过云网把网络、 计算、存储 、平台、软件、资源通过软件定义把服务卖个用户
- 云操作系统：openstack由NASA，Rackspace研发的开源架构, vmware由戴尔收费的Vmware vSphere, 亚马逊云的基于xen内核EC2 ,飞天（Apsara）阿里云基于xen内核自主研发. 天翼云基于xen内核修改自研的uvp(Hypervisor)用华为的FusionSphere. 华为FusionSphere基于openstack为架构。
- 云数据中心基本结构：由1. 存储器 2. 服务器 3. 网络 4. 控制节点 5. 出口路由。
- 雾计算：数据的处理和应用程序集中在网络边缘的设备，一种面向物联网的分布式计算的基础设施。
- 边缘计算：去中心化的分布式计算，原始数据不传回云端，而是在本地完成分析。
Vmware vSphere
- 1. VMware vSphere是VMware的推出的一款基于云计算的新一代数据中心虚拟化套件，vSphere 的两个核心组件是 ESXi（VMware vSphere Hypervisor新名字） 和 vCenter Server. ESXi 是用于创建并运行虚拟机和虚拟设备, vCenter Server 是一项服务，用于管理网络中连接的多个主机，并将主机资源池化。
- 2. 组件：vSphere Vmotion: 实现虚拟机动态迁移，而服务不中断。vSphere HA：当有硬件发生故障之时，可以保障业务系统的连续运行，而不需要中断应用系统。VMware Distributed Resource Scheduler：动态地实现服务器资源负载平衡，以根据业务优先级向正确的应用程序提供正确的资源，从而让应用程序可以根据需要压缩或增长。vSphere DataRecovery：为小型环境中的虚拟机提供简单、经济高效、无代理的备份和恢复。
- 3. vmware特性：vSphere 扩展性，vSphere ESXi 聚合，vSphere 自动部署，vSphere 存储 DRS，vsphere 配置文件驱动的存储，VMware 存储/网络 I/O 控制，ESXi 防火墙。
- 4. 不同版本：
workstation： 单机级，用在个人桌面系统中，需要操作系统支持
servier：工作组级，用于服务器，需要操作系统支持
esxi：企业级，用于服务器，不需要操作系统支持
vmware esxi————>vmware Esx————>VMware vSphere.（逐渐升级扩展）
openstack
- 1. openstack是云管理平台，其本身并不提供虚拟化功能，虚拟化是OpenStack的底层技术实现手段之一。真正的虚拟化能力是由底层的hypervisor（如KVM、Qemu、Xen等）提供。所谓管理平台，就是为了方便使用而已。用户能够通过web界面、命令行或API接口配置。如果没有openstack，一样可以通过virsh、virt-manager来实现创建虚拟机的操作，只不过敲命令行的方式需要一定的学习成本，对于普通用户不是很友好。
- 2. OpenStack几乎支持所有的虚拟化管理程序，不论是开源的（Xen与KVM）还是厂商的（Hyper-V与VMware）。但在以前，OpenStack是基于KVM开发的，KVM常常成为默认的虚拟机管理程序。两者都使用相同的开放源理念与开发方法。
- 3. openstack架构, HPC是高性能计算S(High Performance Computing)机群的简称
- 4. 节点：控制节点，网络节点，计算节点。
- 5. 每个组件有两个名字代码名和服务名。
- 6. Openstack不直接安装在 裸设备上，而是安装在linux发行版，关键节点用有服务的操作系统，centos没有后期技术服务，ubuntu有服务。
- 7. keystone 提供身份验证，认证与其他组件交互最多。horizon提供基于web的控制界面。glance镜像服务提供发现、注册和检索虚拟机镜像的功能。Nova，计算服务，调用其他服务。cinder块存储服务。swift对象存储服务，存储大量数据高效，安全。neutron 网络服务，二层交换，三层路由，负载均衡。heat编排服务为云应用程序编排OpenStack基础架构资源。
快速搭建OpenStack实验环境流程
一、pc/服务器——>virtualBox/kvm——>openstack computer node 二、labs-master
- 打开修改lab-master\labs\osbash\wbatch\create_ubuntu_cluster_node（262行调整内存为2048，266行计算节点cpu调整为4，311行第二块磁盘容量调整为12800）
打开修改lab-smaster\labs\osbash\scripts\ubuntu\ apt_init (40行修改镜像下载地址为sudo sed -i ’s/us.archive.ubuntu.com/mirrors.huaweicloud.com/g’ /etc/apt/sources.list，)打开apt_pre-download.sh (为了防止下载超时导致下载失败，在第15行加一个循环语句
1 2 3 4 5 6 7 8 9 10 11 12
function apt_download { n=0 until [ $n -ge 5 ] do echo "apt_download: $*" &&sudo apt install -y --download-only "$@" && break n=$[$n+1] sleep 15 done } )执行create_hostnet.bat 创建计算机节点与控制节点通信的hostonly网络，去virtualbox 主机网络管理器界面中验证。
打开修改create_base.bat （88行ubuntu对应版本，为了下载时间节省提前去下载执行第2. 修改的文件好ubuntu的iso放在img文件下）执行create_base.bat，在img文件夹下生成bas开头的Ubuntu iso 后期计算节点控制节点基于此iso。
执行第1. 步修改的create_ubuntu_cluster_node 文件，在img文件下伸出计算机节点computer1与控制节点control
OpenStack操作界面管理
- 2.1Horizon, 提供web界面，管理员admin账号登录与myuser功能区别。CLI时要先source。
- 2.2使用OpenStack Dashboard方式发放虚拟机实例cirros, 1. 镜像image2.admin下flavor规格3.project下networks4.project 下instance中选1.2.3.
openstack验证服务(keystone)
- 0tials、token(访问有效时间)、Role（acl集合）、Endpoint（一个url）。
keystone验证流程： - 1. 其他组件的使用都依赖于验证组件, 类似一个服务总线，或者说是整个openstack框架的注册表。
- 2. 两个功能：用户管理，服务目录管理。
- 3. User 用户 credentials凭证 token一串数字字符，引入令牌机制保护用户对资源的访问，token有时效性。
OpenStack计算服务（服务名：computer代码名：Nova）
- Compute的代码名 nova iaas重要组成部分，负责维护和管理openstack计算资源，虚拟机的生命周期管理也通过nova来实现。与其他组件通信需要消息队列。不同服务通过同一端口进行通信。Nova服务会部署在计算节点和控制节点上。
- NOva包含很多组件，1. API 2. Computecore(nova-scheduler、nova-compute、nova-conductor) 3. Console Interface（nova-novnproxy、nova-xvpnvncproxy、nova-consoleauth）
- nova: 常用术语kvm内核虚拟化, Qemu kvm的替补角色, flavor虚拟机模板，keypair ssh连接访问的实例秘钥对。架构
OpenStack块存储服务
- 文件存储：树状结构路径访问方式方便人类理解。
- 块存储：服务器上的逻辑块被一台客户端挂载后，其他客户端无法访问上面的数据。
- 对象存储：介于以上两者之间。通过 API 接口以文件为单位进行存取 。
- NAS 存储：通过 NFS、CIFS 等协议，挂载远程的文件系统。
- cinder组件：1.cinder-api 2.cinder-scheduler3.cinder-volume4.volume provider
- swift:zone可用区region地域node节点culster群集。
OpenStack网络服务
- 1. 云环境下可能随时都要创建、修改、删除网络，传统的网络管理方式不能胜任网络的改动，Neutron 的设计目标网络即服务基于 SDN 实现网络虚拟化的原则。
- 2. Neutron概念：network(隔离的二层广播域)、local(local网络主要用于单机测试，同一节点同一网络通信)、flat(无vlan标签的，同一网络跨节点通信。)vlan(二层的广播域)vxlan(基于隧道技术的overlay网络，vxlan中的数据报通过VNI封装成udp包进行传输，二层的包封装在三层传输)GRE（gre与vxlan类似的一种overlay网络，区别在于使用ip包非udp进行封装。Overlay是在传统网络上虚拟出一个虚拟网络来，underlay是传统单层网络，是当前数据中心网络基础转发架构的网络，而overlay是一层逻辑网络，指通过控制协议对边缘的网络设备进行网络构建和扩展。overlay举例：vxlan, gre等）
- 3. Neutron功能：二层交换，三层路由，负载均衡，防火墙。
- 4. Neutron架构：neutron server, coreAPI, Extension API, Commnon service, neutron core, core plugin api, Extension Plugin API, plugin, agent, (Neutron server–>plugin–>agentCore , Plugin/Agent 负责管理核心实体, ServicePlugin/Agent 管理更高级的网络服务)
- 5. Neutron部署：控制节点，部署 neutron server 服务。网络节点，部署 service plugin 的agent。 计算节点，部署 core plugin 的 agent。
华为FusionSphere
FusionSphere是业界领先的服务器虚拟化解决方案，FusionSphere解决方案通过在服务器上部署虚拟化软件，使一台物理服务器可以承担多台服务器的工作。通过整合现有的工作负载并利用剩余的服务器以部署新的应用程序和解决方案，实现较高的整合率。
FusionCompute是云操作系统软件，主要负责硬件资源的虚拟化，以及对虚拟资源、业务资源、用户资源的集中管理。
FusionCompute 技术指标: 管理容量, 主机规格, 虚拟机容量, 快照容量, 网络容量, 虚拟机规格.
- 1. FusionSphere 虚拟化套件的特点和用途
按照应用需求分配虚拟机资源，按照应用重要程度分配物理资源，统一虚拟化数据中心管理可以异构管理业界主流的第三方虚拟化平台，广泛兼容各种软硬件，根据预先设定策略进行工作负载的自动迁移，完善的权限管理，应用智能管理，完善的计量能力，丰富的运维管理，云安全。
- 2. FusionSphere 虚拟化套件逻辑架构 eBackup&UltraVR FusionCompute vmware vsphere.
- 3. FusionCompute 产品定位 在虚拟化套件中 由cna与vrm组成 vrm相当于kvm的管理工具，cna相当于kvm中的qemu+kvm模块，主要提供虚拟化功能，vrm管理某个虚拟机，将命令下发给cna节点，can执行返回给vrm.cna没有图形化管理界面。
- 4. 云机房
- 5. 硬件基础设施层
- 6. FusionStorage Block 是一种存储与计算高度融合的分布式存储软件
- 7. FusionSphere 虚拟化套件 将硬件资源虚拟化，使一台服务器可以承担多台服务器的工作。
- 8. FusionCompute 是云操作系统软件，主要负责硬件资源的虚拟化，以及对虚拟资源、业务资源、用户资源的集中管理。
- 9.eBackup是虚拟化备份软件UltraVR是容灾业务管理软件
关键特性如下： - 10.1虚拟机跨主机热迁移，在服务器升级时，将该服务器上的虚拟机迁移至其他服务器。
- 10.2内存复用技术，内存气泡（主动回收虚拟机暂时不用的物理内存，分配给需要复用内存虚拟机），内存交换（将外部存储虚拟成内存给虚拟机使用，将虚拟机上暂时不用的数据存放到外部存储）内存共享（多台虚拟机共享数据内容相同的内存页）
- 10.3虚拟机高可用性，当虚拟机在该计算节点出现故障时，系统自动在正常的计算节点重新创建。
- 10.4虚拟机存储热迁移。
- 10.5自动精简配置，虚拟出比实际物理存储更大的存储空间。
- 10.6虚拟化防病毒，仅需在一台特殊的安全虚拟机中部署防病毒引擎，其他用户虚拟机在本地安装轻量级驱动，通过安全服务虚拟机提供
- 的服务即可完成杀毒。
- 10.7容灾与备份，容灾是指在相隔比较远的异地，建立两套或者多套相同的it系统，互相可以健康状态的监视和功能的切换。城域双活容灾（两个站点同时为生产站点，）、阵列复制容灾（两个站点，一个生产站点一个灾备站点）和两地三中心容灾等容灾方案。
- 10.8动态资源调度（DRS）, 在不同的主机间迁移虚拟机，从而实现同一集群内不同主机间的负载均衡.
- 10.9虚拟机资源qos, cpuqos(不同的 CPU QoS 代表了虚拟机不同的计算能力cpu资源份额 资源预留，资源限额), 内存（内存资源份额预留限额）qos, 网络qos（带宽的控制）.
- 10.10用户态交换模式，提升虚拟机网络性能。
- 10.11分布式虚拟交换机
- 10.12sr-iov实现了将 PCI 功能分配到多个虚拟接口以在虚拟化环境中共享一个 PCI 设备
- 10.13gpu直通 gpu虚拟化。
实操命令部分
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 |
1.ROOT 登陆不成功： vim /etc/ssh/sshd_config PermitRootLogin no 中的 no 改为 yes systemctl restart sshd 2.ip配置: cd /etc/sysconfig/networ-scripts/ ifconfig 检查网卡名 ls vim ifcfg-eth0 systemctl restart network ip address 3.vmtools 安装： 先挂载tools mkdir /mnt 新建光驱挂载点 mount /dev/sr0 /mnt 挂载光驱 cd /mnt 进入挂载点 ls cp vmtools-2.5xxx.tar.bz2 /root 安装包拷贝到/root 目录 cd ~ tar -xjvf vmtools-2xxx.tar.bz2 解压 ls cd vmtools ./install reboot vm上安装完成tools 后去fc 卸载tools 4.配置共享盘： lsblk mkfs.xfs /dev/vdc mkdir /share mount /dev/vdc /share umount /dev/vdc 另一台 mkdir /share mount /dev/vdc /share cd /share ls 5.lvm 配置： 创一个普通磁盘 lsblk fdisk /dev/vdb n 新建分区 p 选择主分区 3个回车 t 为新建分区分配id (8e) w pvcreate /dev/vdb pvs pvscan pvremove vgcreate vgtest1 /dev/vdb vgs vgscan vgremove vgtest1 lvcreate -l 50g -n test1 vgtest1 lvs lvscan lvremove test1 mkfs.ext4 /dev/vgtest1/test1 mkdir /mnt/test mount -t ext4 /dev/vgtest1/test1 /mnt/test df vi /etc/fstab i 添加如下内容： /dev/vdb1 /root/disk ext4 defaults 02 wq! lvextend -L +3g /dev/vgtest/lv_test1 resize2fs /dev/vgtest/lv_test1 df -hT 6.操作系统管理账号密码重置： vnc 按e ro更改为rw init=/sysroot/bin/sh 按ctrl+x /sysroot作为根命令：chroot /sysroot 输入passwd exit reboot 7.top ps -aux ps –aux | grep python kill -9 1343 systemctl systemctl status firewall systemctl stop firewalld systemctl status firewalld |
虚拟化技术(iaas)
计算虚拟化
- 1. 分类：
一型虚拟化直接在硬件上安装vmm（虚拟机监视器）也被称为Hypervisor，vmware Esx server 、vmware esxi、微软、思杰kvm、fusioncompute（华为的） xen(开源的，半虚拟化)
二型虚拟化即宿主虚拟化在host os上安装vmm, vmware workstation，virtualbox、kvm(开源的，全虚拟化) 需要操作系统支持
无论一型还是二型都有的特点：分区、隔离、封装、独立。 - 2. 计算虚拟化三个维度：
虚拟化将硬件、操作系统和应用程序一同封装一个可迁移的虚拟机档案文件中
cpu虚拟化：半虚拟化效率高于全虚拟化。半虚拟化敏感指令只执行一次，半虚拟化xen提高资源利用率，闭源操作系统不支持半虚拟化，开源才能修改。硬件虚拟化完美解决方法：分为root与非root两种，非root对应guestos root对应hostos。特权指令 普通指令 大型机powerPc架构下的情况risc精简指令集， 敏感指令指的是guestos都要执行的需要在ring0模式执行的特权指令剥夺特权后交给vmm执行的指令，vmm陷入模拟。x86架构的情况cisc复杂指令集中, 敏感指令中除了特权指令还有普通指令，光用解除特权方式不行了，解决办法：全虚拟化，guestos发出的所有操作系统请求到vmm, vmm对其进行*二进制代码翻译*，如果发现特权指令和敏感指令就陷入到vmm模拟执行，不修改虚拟机操作系统，可移植性增强。半虚拟化，通过修改客户操作系统代码，将原来在物理机上执行的一些敏感指令，修改成可以和VMM直接交互也称*超级调用*的方式，这样，就不会有捕获异常、翻译和模拟的过程，性能损耗比较少。
内存虚拟化：内存地址从0开始且只有一个0开始的地址，且是连续的，解决办法地址映射，真实的物理内存映射给虚拟机，
IO虚拟化：完全虚拟化，焦点被哪个主机捕获就被哪个主机使用。半虚拟化，对硬件驱动直接由前端直接转到后端调用。IO透传，直接分配给虚拟机物理设备。 - 3. Kvm是一个linux内核的模块， 二型的：
KVM（Kernel-based Virtual Machine）是一个开源的系统虚拟化模块，它需要硬件支持，如Intel VT技术或者AMD V技术，是基于硬件的完全虚拟化，完全内置于Linux。Libvirt相当于一api管理不同的虚拟机管理程序kvm, vmware, xen。
三种运行模式：1.guest mode此模式主要是指虚拟机置于一种受限的cpu模式下运行。2.user mode用户空间，此模式下运行的主要是QEMU, 模拟执行IO类操作请求。3.kernel mode内核空间，在此模式下可以真正的操作硬件。
kvm扩大后的组成：管理工具+内核模块(kvm)+QEMU（本身也是与kvm一个等级的虚拟化解决方案）. 内核模块<初始化cpu硬件，打开虚拟化模式, 运行在内核空间> QEMU<模拟io设备运行在用户空间, 升级版是Virtio，virtio的io请求直接由前端驱动发给后端驱动。io请求转发效率会提高。节省qemu模拟时所需的硬件资源，减少io请求的路径> 管理工具<libvirt>
存储虚拟化
- 1. 物理磁盘分集中式存储和分布式存储对应的技术：RAID（磁盘阵列，多个硬盘组成大的物理卷，然后创建划分逻辑卷（LUN1、LUN2… ），和副本机制（将数据复制成一模一样多份分别保存在不同服务器上）。
- 2. 虚拟化存储和非虚拟化存储：虚拟化存储，逻辑划分形成逻辑卷然后组成文件系统到共享目录。常见文件系统，虚拟化集群文件系统（华为vims, vmware用vmfs集群文件系统），nas存储文件系统，操作系统文件系统。非虚拟化存储，只逻辑划分形成逻辑卷。将物理卷组成卷组，然后将卷组组成逻辑卷（LVM）, 上层应用使用的是逻辑卷的空间。vims基于san存储，所有fusionstorage提供存储空间时，只能是非虚拟化存储。虚拟化程序使用最小存储单位为LUN(Thick LUN，从存储池中分配满额的存储空间和Thin lun存储池只分配一个初始的容量大小的空间，剩余的空间放在存储池中), lun对应卷。
- 3. 虚拟机：虚拟机由两部分组成——配置文件和磁盘文件
- 4. 虚拟机磁盘：虚拟机磁盘==虚拟机中的磁盘文件部分，用来保存用户数据。
- 5. 存储主流体系结构：DAS, NAS, SAS。
DAS直接连接存储：直接把存储连接到服务器。结构：块级 传输类型，scsi、Fc
SAN存储区域存储：通过专用光纤交换机访问数据。文件管理系统在每一个应用服务器上面。 结构：块级 传输类型 FCsan、ipsan
NAS网络接入存储：通过tcp/ip协议访问数据。有自己的文件管理系统。结构：文件级 传输类型，IP - 6. 硬盘接口：SATA/nl-sas, SAS, FC, SSD.
硬盘接口类型，sata与sas均采用串行连接方式，且sata硬盘容量闭sas大。 - 7. 存储结构：块，文件，对象。
对象存储：每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址
块存储、文件存储、对象存储这三者的本质差别：是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。这三个概念都是分布式存储中的概念。 - 8. 大数据：指在无法可承受的时间范围内，用常规软件工具进行捕捉、管理和处理数据的集合。要用对象存储技术。
- 9. 备份容灾技术：1. D2D备份， 用SAN(FC/IP/SAS)的存储结构，主盘和备份盘都是磁盘阵列。2. D2T备份，磁盘阵列到磁带库备份。3. D2V备份，磁盘阵列到虚拟磁带库。4. D2D2T备份，磁盘到虚拟磁带库到物理磁带库。
云容灾
- 灾备概念：容灾与备份。
- 灾备等级：数据级灾备、应用级灾备、业务级灾备
- 容灾分类：本地容灾，异地容灾，云容灾。两地三中心（本地，异地，异地数据中心，本地数据中心，同城双活数据中心）
- 云容灾核心技术：（1）数据复制技术 （2）归档和快照技术 （3）网络切换技术
- 端到端双活技术方案：最核心的技术当属存储双活技术。
网络虚拟化
- 1. 二层架构: 由于东西流量的增加，以前采用的三层网络结构 核心层 汇聚层 接入层无法满足云计算的部署，所以发展成大二层架构。
- 2. 架构：桥接 NAT 虚拟交换机。桥接和nat都直接把虚拟机的虚拟网卡与物理机网卡相连接，但nat经过桥把地址变换了. 虚拟交换机是桥接的高级形式，一个虚拟机的可以有多个虚拟网卡，一个虚拟机就可以与多个虚拟交换机相连。ovs（虚拟交换机）dvs（分布式虚拟交换机，相同端口组的vlan相同，分布式虚拟交换机是管理多台主机上的虚拟交换机，虚拟化管理员定义端口组属性简化对虚拟机端口属性的设置。）
- 3. 默认网关：路由转发的最后选择。
- 4. 三层交换机与路由器比较: 三层交换机在对第一个数据流路由后，就会产生一个mac地址与ip地址的映射表，当同样的数据流再次通过时直接从二层通过，消除了路由器进行路由选择带来的网络延迟问题。
- 5. 虚拟化中的物理网络：服务器接入到网络中分为业务流量，管理流量，存储流量，如果业务流量与管理流量分开使用不同的物理线路与接口就称为带外管理反之带内管理。
- 6. 虚拟化中的虚拟网络：随着云计算与虚拟化的普及，将二层交换机下沉到服务器内部，虚拟交换机与虚拟机进行连接。一个物理服务器内多台虚拟机共享一根网线，如何管理这些流量了，桥接时网桥相当于一个交换机，NAT时网桥相当于一个路由器。使用网桥无法监控经过虚拟网卡的流量，由此产生虚拟交换机 网桥的升级版，虚拟机在做迁移时通过ovsopen vswitch支持跨实例配置和迁移网络状态。虚拟交换机分两种，普通虚拟交换机和分布式虚拟交换机。上行链路连接虚拟网络与物理网络。网络虚拟化：虚拟交换机+二层交换机(vlan)到虚拟交换机+三层交换机（vxlan）
- 7. uvp: 与kvm和xen一样也是一款hypervisor.
- 8. sdn新技术：underlay—SR, overlay–vxlan 软件定义网络，因安全配防火墙启发，转发与控制分离。openflow流表是核心。
- 9. NFV: 由3个部分构成：VNF（虚拟网络层，Virtualized Network Function）、NFVI（网络功能虚拟化基础设施NFVI，NFV Infrastructure)、MANO（NFV管理与编排，Management and Orchestration)。
- 10. sdn与nfv区别：NFV负责各种网元的虚拟化，而SDN负责网络本身的虚拟化。SDN解耦的是控制平面与数据平面; NFV主要是软硬件解耦。SDN和NFV的设计思想其实都是通过解耦来提高系统的灵活性，让系统变得更加智能。
- 11. 大数据中心：集中存放计算、存储、网络等设备的场所。数据中心分两种：一是企业数据中心(EDC)，二是互联网数据中心。（IDC）
虚拟化特性介绍
- 1. 集群特性：HA，负载均衡，资源池化，内存复用（内存共享，内存气泡，内存置换）。
- 2. 虚拟机特性：本质把物理服务器逻辑化一个文件或者文件夹，在复制文件或文件夹时产生新的虚拟机时要保证主机名与ip相关信息不同，解决办法。
模板部署（其中一个永远不开机只用于复制）特性一，
虚机机复制 特性二
资源热添加 特性三。
Console控制 特性四 （华为与kvm使用VNC的方式访问虚拟机，VMware使用Remote console方式访问虚拟机）
快照 特性五。
NUMA 特性六。 - 3. 华为虚拟化产品特性：Tools虚拟机硬件信息——内核态的硬件驱动（快照、热迁移、在线调整虚拟机规格、网卡qos）虚拟机状态信息——用户态的vm-agent进程（通过用户态代理进程vrm可以获取虚机ip地址、状态、软关机、重启）
集群特性：
（1）HA: 当一台计算节点出现故障时，在集群中另一台节点能快速自动启动起来。
（2）电源管理: DPM规则，电源管理自动化，下电前将虚拟机迁移至其他主机。DRS（动态资源调度）规则，聚集虚拟机，互斥虚拟机，虚拟机到主机，下电时提供迁移参考。在不同的主机间迁移虚拟机，从而实现同一集群内不同主机间的负载均衡.
（3）IMC: 使不同cpu类型的主机之间进行迁移，目前IMC仅支持intel不同型号cpu热迁移。
虚拟机特性：
资源管理，cpu qos, 内存qos, 磁盘扩容，网卡增删，（份额 预留 限制）
疑难问题
- 1. 大数据4v特点：大量 高速 多样 低价值密度 volume velocity variety value
- 2. fusionCompute的tools由两部分组成内核态的硬件驱动和用户态的vm-agent进程。内核态的硬件驱动可以为该虚拟机进行快照、热迁移、在线调整虚拟机规格和设置网卡qos等操作；用户态的代理进程，vrm可获取到虚拟机的ip地址、状态等。
- 3. 模板的描述：虚拟机转为模板，转换后虚拟机将不存在。模板克隆为模板是复制该模板为新模板并支持调整部分参数配置，克隆后模板仍然存在。
- 4. 部署vrm虚拟机采用的方式是：模板文件导入虚拟机。
- 5. 共享类型磁盘: 绑定了此类硬盘的虚拟机不支持快照功能，此类硬盘可以绑定多台虚拟机，虚拟机不支持对此类硬盘更改数据存储。
- 6. nas的两种网络文件系统协议：CIFS面向网络连接的共享协议，对网络传输的可靠性要求高，常使用TCP/IP。NFS属无状态协议，而CIFS属有状态协议；NFS受故障影响小，可以自恢复交互过程，CIFS不行；从传输效率上看，CIFS优于NFS，没用太多冗余信息传送；nfs需要安装专用的软件，可以进行错误恢复，保留文件格式特性。nfs和cifs都支持多用户访问，
- 7. 安全组：待删除安全组与其他安全组之间的授权行为不影响删除操作。一张网卡只加人一个安全组。
- 8. 磁盘根据配置模式：一般先设置从属模式，装好系统之后封装，再把磁盘模式改为独立非持久，达到还原卡的效果，重启不丢失数据，开关机丢失数据。独立持久不丢失数据。磁盘根据磁盘模式：普通模式，是多大就分多大，性能较好，接近非虚拟化的性能。精简，用多少分多少，性能较差，能扩，不能删。普通延时置零，介于两者之间，写数据之前用之前才初始化。
- 9. dpm必须依赖drs才能使用。
- 10. iscsi：ip-san的一种协议，也是发展最快的协议。ipsan理论上没有距离限制，fc-san受光纤传输距离的限制。
- 11. 虚拟机磁盘文件格式：华为 支持vhd raw vmware支持 vmdk kvm支持qcow qed
- 12. 在磁盘上建立文件系统的过程称为 格式化。
- 13. vims基于san存储。vrm将san存储添加为非虚拟化存储。
- 14. 虚拟化存储：比非虚拟化存储扩展性好。优势之一就是虚拟层缓存的出现将提升性能，它能够有效避免缓存不命中，完成读请求或从缓存写而非磁盘系统。
- 15. raid:raid0, 数据条带化，无检验。raid1, 数据镜像，无校验。raid3, 数据条待化读写，校验信息存翻译专用硬盘，raid5, 数据条带化，校验信息分布式存放，允许故障一个磁盘。raid6数据条带化，分布式校验并提供两级冗余。允许故障两个磁盘。
- 16. 云计算中获取的it资源部一定需要网络才能使用，比如软件的化离线那种就可以不用网络。
- 17. 克隆虚拟机时可以调整虚拟机的规格。
- 18. 在华为fusioncompute中创建一块新的磁盘，将磁盘模式设置为“独立-非持久（还原卡）”并将裸设备映射改为支持。
- 19. ssl安全套接字协议， ssh安全外壳协议。
- 20. vnc是一款轻量型远程控制软件，被控制的计算机需要安装相应的软件vnc server 发起控制请求的主机不需要。
- 21. numa: 非统一内存访问，它是一种可以提高数据读写速度的技术。把内存平均的绑定给每个cpu, 这样就可以避免共享北桥而出现拥塞，
- 22. tor交换机：放在每一个机柜子上。虚拟网络数据包的转发通过tor交换机或者eor交换机。
- 23. 虚拟机热迁移类型分为更改主机、更改数据存储以及更改主机和数据存储。
- 24. fusioncompute中drs规则对绑定usb设备的虚拟机无法生效。
- 25. 常见磁盘阵列：RAID JBOD
- 26. xen虚拟机可以转换成kvm虚拟机, xen与kvm都是开源的hypervisor.
- 27. vrm部署在本地存储。
- 28. 华为虚拟交换机分普通虚拟交换和分布式虚拟交换机。
- 29. 热迁移与冷迁移：热迁移，将运行状态的虚拟机从一台主机迁移到另一台主机，迁移过程中业务不会发生中断。冷迁移是将停止状态的虚拟机从一台主机迁移到另一台主机。
- 30. 存储接口的ip地址不可以与管理平面处于同一网段。
- 31. 一台主机上所有虚拟机只能同时创建一个内存快照。
- 32. SID也就是安全标识符（Security Identifiers），是标识用户、组和计算机帐户的唯一的号码。在第一次创建该帐户时，将给网络上的每一个帐户发布一个唯一的 SID
- 33. 快照：快照既可以保存虚拟机设置，也可以保存虚拟机磁盘数据。一台主机上的所有虚拟机只能同时创建一个内存快照。快照可以保存虚拟机内存的状况。
- 34. HA: 当虚拟机所在的主机发生故障时，系统会按照集群中设置的虚拟机启动策略重新选择主机启动虚拟机。
- 35. 华为fusioncompute将端口组vlan id设置为0代表对本端口的数据帧不做任何修改。
- 36. 计算资源调度衡量因素，设为cpu和内存时，满足cpu或内存条件即触发调度策略。注意是或
- 37. 使用裸设备映射类型数据存储的虚拟机不支持快照 ，存储精简配置。
- 38. 分布式存储的磁盘来自于x86架构的服务器。
- 39. NUMA最优化虚拟机的内存访问性能。
- 40. 模板格式：ovf虚拟机描述文件，vhd虚拟机磁盘文件格式。
- 41. 使用裸设备映射的磁盘性能最好。把SAN存储上的lun, 直接作为数据存储供虚拟机使用（数据存储可以是虚拟化的或者非虚拟化的），而不再创建虚拟磁盘，此过程称为裸设备映射。
- 42. 数据存储是指对存储资源上的存储单元进行统一封装，存储资源封装成数据存储并与主机关联后，就能进一步创建若干虚拟磁盘，供虚拟机使用。能够封装成数据存储的存储设备（存储设备就是存储单元，存储介质称为存储资源）包括：SAN存储上划分的lun, nas存储上划分的文件系统，fusionstorage block的存储池，主机本地硬盘虚拟化。虚拟机更改主机热迁移操作，虚拟机不能使用“裸设备”类型的数据存储
- 43. virt-manager通过libvirt管理kvm虚拟机，开源的 虚拟机图形化管理工具。
- 44. 一个角色可以拥有一个或多个不同的操作系统。
- 45. 在华为fusioncompute虚拟机绑定usb设备后虚拟机热迁移和集群调度策略受影响。
- 46. 虚拟机发生蓝屏不能使用快照恢复虚拟机。
- 47. 存储单元（存储设备）–存储资源—数据存储—-虚拟磁盘（磁盘类型：普通，共享。配置模式：普通，精简，普通延迟置零。磁盘模式分为：从属，独立-持久，独立-非持久。）
- 48. 文件：文件存储在文件系统上，并由文件系统映射到文件系统块上，文件系统块对应lvm的逻辑区域，逻辑区域通过lvm映射到磁盘的物理区域。文件–文件系统映射》文件系统块–对应lvm》逻辑区域—lvm映射》磁盘的物理区域
- 49. cna只管理本节点的虚拟机和资源，vrm管理集群或者整个资源池层面。
- 50. fusioncompute 模板格式分为：ova ovf(虚拟机描述文件)。 vhd虚拟机磁盘文件。 ova包含ovf=OVF一般包含三种文件类型，分别为.ovf文件、.mf文件、.vmdk文件。
- 51. 快照问题：1.磁盘类型为共享的存储不支持快照。2.裸设备映射不支持快照。3.虚拟机蓝屏不支持快照。
- 52. 热迁移与冷迁移问题：1.共享磁盘和独立非持久不支持*数据存储*热迁移，共享磁盘要解绑定虚拟机，独立非持久要进行关机冷迁移。2.从属和独立持久支持*数据存储*热迁移。3.共享磁盘的虚拟机支持*主机*热迁移。
- 53. 裸设备映射与非虚拟化存储的区别：都属于数据存储一个水平的级别 。裸设备映射不支持快照，非是虚拟化存储支持快照。
- 54. 桥接:虚拟机的虚拟网卡–==–物理机的物理网卡。
- 55. 块存储、文件存储、对象存储这三者的本质差别：是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。这三个概念都是分布式存储中的概念。
- 56. 对象存储：每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址
- 57. 裸设备映射:把SAN存储上的数据LUN直接作为数据存储供虚拟机使用，而不再创建虚拟磁盘，此过程称为裸设备映射的数据存储。
- 58. 裸设备映射直接用LUN没有创建虚拟磁盘：逻辑卷，thin lun按需分配，thick Lun拥有所有，按顺序读写性能较高。
- 59. 快照支持保存虚拟机配置和虚拟机磁盘数据。ovs支持跨实例配置和迁移网络状态。
容器技术（paas）
- 虚拟化：使得多个操作系统在单个系统上运行。openstack把物理机联合起来做虚拟化。在OpenStack上可以创建新的虚拟机。这样就可以增加物理机的使用率。
docker(容器): 在一个操作系统上共享内核，将应用进程与系统其它部分隔离开。解决了从开发环境到测试环境到运维环境直接拷贝就能用，针对同一套应用，用同样的各种库版本，用同样的环境变量，用同样的文件夹路径，配置文件就能保持一致。不需要安装全新的操作系统。 容器轻量级虚拟化技术，Linux自带lxc项目容器。docker在一台机器上，无论是物理机还是虚拟机，部署docker。docker上可以部署多个应用，这些应用已经完成了编译。可以在docker的环境中运行。
容器、镜像、仓库
容器网络
容器存储
k8s（docker)/puppet（编排，运维管理）+Zabbix/ELK（日志，运维监控）+Grafana（可视化视图）+OpenStack（虚拟化等）+gitlab(nginx开源软件,网页服务器软件,GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。gitlab 安装自带 nginx)
利用K8S助力OpenStack
k8s上轻松部署GITLAB
利用puppet快速部署openstack
devops 开发运维的桥梁
K8s（Kubernetes）叫K8s是因为中间有八个字母，还贼难背。因为docker很容易部署，docker上的应用也很多，所以大家都可以很轻松的布置多个docker应用。但应用多了之后就很难管理了。于是就有了K8s。顺便说一下，Kubernetes的意思是领航员IT基础
Redis是一个开源的、基于内存的数据结构存储器，可以用作数据库、缓存和消息中间件。
Tomcat属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。
微服务是一种用于构建应用的架构方案。微服务架构有别于更为传统的单体式方案，可将应用拆分成多个核心功能。每个功能都被称为一项服务，可以单独构建和部署，这意味着各项服务在工作（和出现故障）时不会相互影响。自动化运维
系统部署工具：kickstart, cobbler, spacewalk. 自动化安装系统。
运维管理者工具：Puppet、Chef、Ansible和SaltStack四大运维管理工具
Ansible适合100台以下到200这样服务器规模应用
SaltStack，适合几百台的规模！
puppet适合上千台和几万台的规模
chef国外用的多
chef和puppet是ruby系的，而salt和ansible是python系的
运维监控工具： 三大开源运维监控工具zabbix（企业用的多 Zabbix/ELK日志分析系统+Grafana）、nagios和open-falcon
云迁移
- 云迁移策略：1. Re-host（重新托管直接迁移）:p2v, v2v。2.re-platform(更换平台修补后迁移）：对环境进行云化处理。3. 重新购置（放弃后购买）：是指放弃使用原先的产品，改为采用新的替代产品。4. 重构/重新构建：进行云原生应用服务的实现。5. 保留：部分本地部署。
- 云迁移方案:ptv,vtc,ptc,ctc
- 云迁移之数据库迁移:(1)mysqldump迁移数据，在本地先Dump 备份>数据库，然后通过网络上scp或者rsync传到云端数据库，然后再去注入到现在的数据库<。Drop 清理数据库.(2)mysql打包迁移，先把数据库写入操作停止， tar jcvf 打包文件名.bz2格式 要打包的文件 ，（压缩并打包） scp (ssh)或者 ftp 传到网络 ， 解压缩tar xvf ,shown 授权，重启数据库服务Reload. （3）迁移候数据校验，Checksum 哈希校验等。
实操命令部分
linux 数据盘
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
！@zxcv1234 主机三 mssyjd05_zqzc@163.com Tk$89#Tb ：：：：：切换操作系统先做：：：：：：： 天翼云 成都3 成都4 cat /proc/version cat /etc/redhat-release web 应用网页 web 动态网页 云桌面 基础策略管理 文件与剪切板 快照 还原 分区--》格式化--》挂载 （不方便扩容） 1.fdisk -l //查看 2. fdisk /dev/vdb // 删除分区 d w 3.fdisk /dev/vdb // 创建分区 m p n w 4.mkfs.xfs /dev/vdb1 //格式化 5. mount -t xfs /dev/vdb1 /mnt 挂载 6. vi /etc/fstab i 添加如下内容： /dev/vdb1 /root/disk xfs defaults 02 wq! 删除分区--》PV-->vg-->lv-->格式化--》 挂载---》扩容（物理边界扩容，逻辑边界扩容） 1.fdisk /dev/vdb // 删除分区 d w 2. pvcreate /dev/vdb pvs pvscan pvremove 3.vgcreate vgtest1 /dev/vdb vgs vgscan vgremove vgtest1 4.lvcreate -l 50g -n test1 vgtest1 lvs lvscan lvremove test1 5.mkfs.ext4 /dev/vgtest1/test1 6.mount -t ext4 /dev/vgtest1/test1 /mnt/test1 df 7.lvextend -L +3g /dev/vgtest/lv_test1 resize2fs /dev/vgtest/lv_test1 df -hT |
速腾工具迁移
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
：：：：：切换操作系统先做：：：：：：：
源端：
1、验证源端主机应用是否正常。
http://133.38.84.134/energy-web/production/index.html
2、登录源端web主机ssh 133.38.84.134 root SCcd^581安装agent。
(wget ) http://133.38.29.84:9980/login.jsp
ls
wget http://133.38.29.84:9980/admin/toUserAction%21downClient?type=16 -O Clone_Client_Redhat7x86_64.zip rm -f Clone_Client_Redhat7x86_64.zip
unzip Clone_Client_Redhat7x86_64.zip解压。 rm -rf Clone_Client_Redhat7x86_64
进入目录./install.sh ./uninstall.sh
3、在迁移平台确认源端是否上线。http://133.38.29.84:9980/login.jsp
目的端（主机一）：
4、在天翼云目的端切换操作系统，共享镜像move-linux
5、安全组端口放通
22、ICMP、4301-4302 8090 入方向
出方向全部放通
8090 nat映射 80
6、切换PE系统后启动目的主机填写迁移平台信息 (第三个)
192.168.4.103
your name
填写天翼云的私有地址（目的云主机的）
7、迁移平台配置迁移任务，（之前做过还原配置）配置任务-启动-结束--重启目的端。
8、修改httpd端口 、vi /etc/httpd/conf/httpd.conf （添加 Listen 8090）
systemctl restart httpd
安全组中要添加入方向规则 tcp 8090
9、修改迁移后的目的端主机（第一个root SCcd^581）的ip地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0 （把源私有ip 改成目的云主机的私有IP，网关也要改）
dhcp
systemctl restart network
118.121.58.234
10、验证
本地云主机静态web：localhost:8381/energy-web/production/index.html
公网打开静态web: http://118.121.58.234:8381/energy-web/production/index.html |
手工云迁移
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
：：：：：切换操作系统先做：：：：：：： http://133.38.84.134/energy-web/production/index.html http://133.38.84.134/nangao-lite/dede1111/login.php 主机三（web） 安装php: yum -y install php.x86_64 yum -y install php-gd.x86_64 yum -y install php-mysql.x86_64 vi /etc/php.ini /request_order // request_order="GP" 改为 request_order="CGP" 目标主机去拷贝源端的： scp -r 192.168.4.127:/var/www/html/* /var/www/html/ ：：：注意- 小横杠重新输入 yes root SCcd^581 ls -l /var/www/html vi /etc/httpd/conf/httpd.conf listen 8888 systemctl restart httpd ss -ant 验证：http://118.122.78.82:8110/energy-web/production/index.html vi /var/www/html/nangao-lite/data/common.inc.php dhhost 改成db内网地址 192.168.4.157 主机二（db）： yum -y install mariadb mariadb-server //安装mysql 服务器软件 systemctl enable mariadb systemctl restart mariadb ss -ant 3306（数据库是否起来） mysqldump -h 192.168.4.157 -u root -p -A >/home/mysql120200924.sql //数据库文件搬到天翼云 15328899919 mysql -u root -p </home/mysql120200924.sql //搬过来导入 密码为空 systemctl restart mariadb mysql -u root -p //源端DB数据库账号：root/15328899919 验证：http://118.122.78.82:8110/nangao-lite/dede1111/login.php |
oos-linux-loader
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
LINUX环境挂载对象存储： 1）安装fuse组件： yum install -y fuse 2）下载s3fs： yum install -y automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel git clone https://github.com/s3fs-fuse/s3fs-fuse.git 3）至此，s3fs环境搭建完毕，下面需要对其做相关配置：首先进入到刚才下载的目录中进行文件查看 cd s3fs-fuse ./autogen.sh ./configure make make install 4）创建s3fs挂载bucket的AK和SK文件 vi /etc/passwd-s3fs cd3d26549ccb63d137:53e1a55c764936c2b9xxxxxx编辑完成后需要对秘钥文件进行授权 0694e8eedd4bf0e09065:706abf30643e0a7da579bf1f0883babd980d2463 5)编辑完成后需要对秘钥文件进行授权 chmod 600 /etc/passwd-s3fs 2、S3FS工具挂载OOS cd / 在 / 下创建一个 目录用于挂载 OOS mkdir /mnt/obs0924 3、挂载OOS的bucket （本例中bucket 的名字为 halley ） s3fs msdx2020-zhoujun /mnt/obs0924 -o url=https://oos-cn.ctyunapi.cn -o allow_other 1.aksk 没有整对 2. http https 3.时区 date -s "2020-9-23" https://oos-cn.ctyunapi.cn/ （AKSK: 以真实的为准,如不知道可登录web官网查找或重建，linux挂载需要先登录官网查找到准确bucket） |
pon云专线 ipran云专线
- 三层vpn:ipsec vpn、gre vpn在接入层用，mpls vpn 、BGP VPN在主干转发层用。两用户之间不同网段。
- 二层vpn:vpws大企业通过WAN广域网互连。vpls小企业通过城域网互连。两用户之间同一网段。
- MPLS ：位于链路层与网络层之间向ip层提供连接服务同时从链路层得到服务mpls以标签交换替代ip转发。解决路由转发速度 用在路由器上。ip路由技术与ATM技术的融合。mpls数据平面标签转发简单高效，控制平面协议复杂、扩展性差、部署运维困难。转发面ldp依赖于igp导致交互复杂，转发面rsvp-TE信令非常复杂，每个节点都需要维护一个庞大的链路信息数据库。vrf—vlan.
- mpls vpn: MPLS VPN的网络采用标签交换，一个标签对应一个用户数据流，非常易于用户间数据的隔离，利用区分服务体系可以轻易地解决困扰传统IP网络的QoS/CoS问题，MPLS自身提供流量工程的能力，可以最大限度地优化配置网络资源，自动快速修复网络故障，提供高可用性和高可靠性。MPLS提供了电信、计算机、有线电视网络三网融合的基础，除了ATM，是唯一可以提供高质量的数据、语音和视频相融合的多业务传送、包交换的网络平台。
SR: 称为下一代MPLS，去掉rsvp用一种集中控制平台交互信息，去掉Ldp直接由igp分发标签 中间机场不需要知道行李从哪来，最终去往哪里，而只需要根据标签转发。{MEX; MAD; TXL}segment routing(分段路由)，ip–>mpls–> SR.
cn2，传输骨干，采取mpls（多协议标签交换,简化路由器的路由选择方式。）实现vpn。云专网。
接入：
1.STN(智能传送网)业务是指以IP/MPLS协议及关键技术为基础，主要面向政企客户提供二层、三层通道类业务承载，由城域的A、B、ER等设备组成的端到端的业务承载网络，STN网络由接入层、汇聚层、城域核心层、省核心层组成，实现政来企业务点到点通道的业务承载。为保证网络以及承载业务的安全性，STN网络不能直接承载互联网业务。大型企业.
2.pon云专线,小型企业.
3.MSTP（电路）能够开展电信级的以太网业务，提供端到端的QoS保证，并具备网络的弹性；非常适合于提供政企客户业务。MSTP主要解决数据分组的高效传输问题，是对数据网进行优化和补充，可以根据业务需要取代接入层的部分数据路由设备.DCI:云间高速，资源池之间没有全部打通。
云专网就是先基于CN2网络搭建一张网，CN2是集团建设的一张基础承载网，云专网有一个点或多个点接入天翼云，然后客户通过PON或者IPRAN接入云专网，实现客户上云的需求；云专线和云专网的区别：云专线是客户以PON或IPRAN接入电信网络，将客户天翼云之间做一个二层专线连接，专线中间有些环节是逻辑通道连接；云专网也是客户以PON或IPRAN接入电信网络，将客户与已经搭建好的云专网做一个二层专线连接，然后进入云专网使用天翼云服务，也就是客户接入天翼云在本地网内是通过二层专线接入CN2的云专网，然后通过基于CN2的MPLS VPN三层网络接入天翼云。
ipran:
pon:
文章作者 周军
上次更新 2021-04-03