主机

  • 基本操作

    1、创建主机

    您可以在控制台的主机界面,选择创建一台或多台主机。在购买窗口中,包含CPU、内存、系统、磁盘类型、数据盘、带宽等配置供选择。

    创建好主机后,可以对主机进行以下操作:

    2、通过数据盘模板创建主机

    在数据盘模板页,选择“创建主机”按钮;

    默认按照选择的云硬盘模板创建主机;

    注:在重装系统或采用数据盘模板创建主机后,云硬盘需要手动进行挂载,但是不需要重新分区和格式化,重新挂载可参考云硬盘基本操作

  • 登录方式

    1、使用本地终端连接。
    2、使用MOS平台VNC方式连接。

  • 系统盘镜像

    您可以为某台主机创建系统盘镜像,然后可以通过系统盘镜像界面,选择系统盘镜像创建新主机。
    系统盘镜像将保存主机的系统盘数据。

  • 安全

    一、SSH Key:您可以使用SSH方式代替密码登录。
    在创建主机弹窗、密钥界面均可以创建SSH Key,创建SSH Key有两种方式:

    1、本地生成密钥对,将公钥上传至云平台,公钥长度需大于512位。

    2、云平台生成密钥对,下载私钥到本地,私钥格式为RSA或DSA。
    注意:若使用PUTTY客户端,需先用PUTTYGEN工具将私钥转格式为.ppk,然后再通过PUTTY导入。

    1)打开PUTTY客户端,点击Load选中要转换的密钥。

    2)选择Save private key保存.ppk格式的key。

    3)打开PUTTY客户端,导入新格式的key。

    查看密码
    对于已绑定密钥的主机,只可以换绑密钥,不可以解绑。如果您想通过VNC登陆,查看密码方式:
    在主机界面,点击密钥名称,在弹出框中输入私钥的全部内容,点击确定即可获得密码。

    二、防火墙

    通过给云主机添加防火墙,提高安全性,减小攻击威胁。通过控制台列表主机详情页面查看主机防火墙策略:

    有修改主机防火墙需求时,可以右键点击目标主机所在行,也可选中主机点击[更多操作]下拉菜单按钮,通过[修改防火墙]入口修改主机的防火墙策略。

    另外,修改防火墙后,新策略即对主机生效,不会且不需要重启主机。

    平台默认提供三种公共防火墙,分别为:开放,即对所有IP开放所有端口和协议;网站,即对所有IP开通web服务器所需的端口和协议;常规,即对所有IP开通常规协议和端口。需要自定义防火墙时,可以在防火墙页面点击[新建]按钮,创建符合需求的防火墙。

    对于已有防火墙的修改,可以通过上层协议快捷选择。在目标防火墙有主机绑定的情况下,修改成功即在绑定该防火墙的主机生效。

    防火墙规则帮助:

    • IP为0.0.0.0/0时,代表所有IP
    • TCP/UDP协议,可以设置端口号或端口段

    三、安全监测

    安全监测是美团云推出的文件的安全扫描服务,用户通过执行相应命令,对云主机文件进行安全扫描和持续监测。当前支持 Ubuntu 和 CentOS ,后续将扩展支持更多操作系统。

    1、新建监测

    点选「网络与安全」-「安全监测」功能菜单,右侧可以选择新建监测。登录至云主机,执行所提供的命令,即可创建安全监测。

    安全监测默认扫描的文件路径有 /bin,/sbin,/home,/usr ,您可以修改 /etc/virusbook.d/scan.cfg 中的 scan_paths 项来增删需要扫描的文件路径,修改并保存后,配置文件将立即生效。

    注:监测服务默认未开启开机启动,服务器重启后,可重新执行安装命令对监测服务进行启动。

    2、查看监测情况

    按新建对话框中提示完成主机内操作后,稍等几分钟即可在看到监测情况,展示如下图

    状态一列出现红色警示,表示监测到了威胁文件,可点击右侧查看详情获取文件路径和威胁信息,如下图

    威胁文件

    此时可登录至云主机检查并处理对应文件。处理完成后,可返回此页面,点击「标记已处理」,即可将此条信息标记为已处理。若后续的监测再次发现此文件存在安全威胁,会重新显示为威胁。如果需要了解威胁的详细情况,可以点击对应文件的文件路径,展开对应文件的威胁详情,如下图

    威胁详情

    3、停用监测

    登陆至主机,在主机中执行

    cat /etc/virusbook.d/vb.pid | xargs sudo kill -- ;sudo rm -rf /etc/virusbook.d/

    即可停用当前主机上的安全监测

  • 网络

    公网(外网):在控制台浮动公网IP界面新建浮动IP,将浮动IP按需绑定到主机等云产品实例上使用该IP访问互联网或者提供互联网服务。

    内网:同一账号创建的云主机之间默认内网互通。

浮动IP

浮动公网IP是静态公网IP地址,可以动态地浮动在不同的计算资源上(例如:主机、负载均衡),满足您单独持有公网IP的需求。

浮动IP与美团云账户关联,而不是与具体的计算资源相关联,除非您确认释放它。您可以按照需要随时绑定、解绑浮动IP,或者调整浮动IP带宽。

当 IP 为按带宽计费时,通过带宽自动伸缩服务,您可以根据需要定时伸缩浮动IP的带宽。支持的伸缩周期包括每天、每周、每月。

  • 浮动IP基本操作

    您可以在控制台浮动IP界面,选择计费方式,购买一个或多个公网IP。

    购买好浮动IP后,您可以通过浮动IP界面绑定浮动IP到主机等云产品上,并设定防火墙策略和公网带宽或带宽上限。

    您还可以通过控制台的浮动IP界面 调整浮动IP配置、解绑IP、删除IP以及设置备案信息等操作。

    当 IP 为按带宽计费时,绑定资源的浮动IP带宽,可以根据需要定时伸缩。

  • 浮动IP默认配置

    1.处于绑定状态的浮动IP可以动态调整带宽,我们将根据当前带宽收取相应的IP持有费和带宽费用。
    2.浮动IP带宽配置为1到10Mbps时,入向带宽为10Mbps;大于10Mbps时,入向带宽与配置一致。出向带宽始终与配置一致。
    3.您可以通过从主机解绑浮动IP,解绑后IP带宽调整为0Mbps,我们将只收取IP持有费以减少您的花费。
    4.每台主机只能绑定1个浮动IP。
    5.购买浮动 IP 时,可选按带宽计费或按流量计费,暂不支持切换计费方式。

负载均衡

  • 负载均衡概要

    负载均衡通过虚拟服务地址对外提供服务,该地址作为客户端的单一接触点,请求会按照规则分配给注册到负载均衡的云主机,健康检查会自动屏蔽状态异常的云主机,直到该主机恢复正常。用户只需动态地按需添加或删除云主机,即可弹性伸缩应用程序,提高可靠性。

  • 功能简介

    • 提供公网类型负载均衡服务,支持动态调整公网带宽
    • 提供内网类型负载均衡服务,内网访问费用全免
    • 提供4层(TCP协议)和7层(HTTP和HTTPS协议)负载均衡服务
    • 7层负载均衡支持按域名、按路径转发功能,支持不同域名(不同路径)转发到不同主机
    • 支持会话保持,保证同一客户端请求转发到相同后端主机
    • 提供两种转发规则:加权轮询、加权最小连接数
    • 健康检查功能自动屏蔽异常主机,直到该主机恢复正常
    • 实时监控负载均衡实例的运行情况

  • 转发策略

    转发策略是定义某类应用程序请求如何被负载均衡实例转发的配置集合。单个负载均衡实例可以提供多类应用程序服务。

    示例如下:

    转发策略名 监听协议:端口 转发协议:端口 转发域名 转发路径 转发规则
    example-1 TCP:8080 TCP:8080 - - 最小连接数
    example-2 HTTPS:443 HTTP:8080 meituan.com ^/account/ 轮询
    example-3 HTTP:80 HTTP:8023 mos.meituan.com - 最小连接数
    example-4 HTTP:80 HTTP:345 meituan.com - 轮询
    example-5 HTTP:80 HTTP:80 - .(gif|jpg|jpeg)$ 轮询

    • 每个负载均衡实例最多可以设置40个转发策略
    • 每个监听端口只能设置一种协议,例如:8080端口为TCP,80端口为HTTP,443端口为HTTPS
    • 四层转发服务,即监听协议为TCP时,不能设置转发域名和转发路径,默认转发所有域名和所有路径
    • 监听端口、转发域名、转发路径唯一标识一个转发策略
    • 不同的转发策略可以设置不同的健康检查规则
    • 可以为不同的转发策略添加不同的后端云主机,并为每台主机设置转发权重

  • 转发域名和转发路径

    转发策略提供7层负载均衡服务时,即监听协议为HTTP或HTTPS时,可以设置转发域名和转发路径来限制转发请求。

    转发域名设置为meituan.com,则所有访问meituan.com及其子域名的客户端请求都会与该转发策略匹配,并转发到相应的后端主机。

    转发路径支持正则表达式,满足更多应用场景。常见设置如下:

    • 前缀匹配,例如:所有以/test为前缀的路径,则设置为:^/test
    • 后缀匹配,例如:所有以.png为结尾的路径,则设置为:.png$

    转发策略匹配顺序,以上表为例:

    • 优先精确匹配域名和路径,客户端请求meituan.com/account/api时,会匹配example-2
    • 精确域名匹配次之,客户端请求mos.meituan.com/index.html时,会匹配example-3
    • 然后是泛子域名匹配,客户端请求test.meituan.com时,会匹配到example-4
    • 域名都不匹配才进行路径匹配,客户端请求test.com/file1.jpg时,会匹配example-5

  • 会话保持

    当设置转发策略的监听协议为HTTP或HTTPS时,可以开启会话保持功能。该功能通过cookie标识客户端,以保证在cookie过期前,同一客户端的请求始终转发给同一后端主机。

    会话保持有两种模式,分别为:植入cookie、重写cookie。两种模式都对后端主机透明,即后端主机不会感知负载均衡实例对cookie的修改。

    • 植入cookie,可以设置过期时间。负载均衡实例通过向应答消息植入cookie来标识客户端,客户端的后续请求会携带cookie标识
    • 重写cookie,需要设置重写的cookie名称。由后端云主机来控制该cookie名称的植入,负载均衡实例重写后端主机应答消息的cookie值来标识客户端

  • 转发规则

    • 目前支持的转发规则包括:最小连接数和轮询
    • 各转发规则均会根据后端主机权重进行转发
    • 云主机的权重值为1~100之间的整数

  • 操作指南

    公网类型实例,通过绑定浮动IP对外提供服务,实例免费,仅收取浮动IP及其带宽费用。内网类型实例,通过内网访问,费用全免。

    查看负载均衡实例列表,可进行启动、关机、设置转发策略、更换浮动IP等常见操作。

    新建四层转发策略,选择监听协议为TCP,设置监听端口、转发端口,选择转发规则

    新建七层转发策略,点击“显示高级设置”,进行会话保持、指定转发域名,指定转发路径等高级功能设置。

    右键进行转发策略的常见操作,包括修改名称、禁用转发策略、启用转发策略、配置后端主机、查看后端主机、删除等。

    点击“配置后端主机”,对转发策略进行后端主机配置。左侧选中即代表添加到负载均衡实例后端,并根据需要对转发权重进行调整。

    查看负载均衡实例后端主机,包括IP地址,主机状态,配置,健康检查,转发权重等。

    查看监听端口监控数据:连接数、网络速率等。

云硬盘

  • 基本操作

    1、新建云硬盘实例

    你可以在云硬盘界面点击“新建”创建云硬盘。可设置的参数有硬盘名、容量以及数量;云硬盘按需计费,单价为0.00042元/G/时(0.3元/G/月)。

    同时,我们可以选择已有的云硬盘模板创建云硬盘;

    2、挂载云硬盘

    云硬盘创建完成之后属于未挂载状态,你需要将云硬盘手动挂载到对应的主机实例上。挂载步骤为:选中未挂载的磁盘,点击挂载,在弹出框中选择主机。

    3、分区格式化、挂载磁盘
    Linux系统(以CentOS 6.5为例)

    • 查看数据盘

      在没有分区和格式化数据盘之前,使用“df -h”命令无法看到数据盘,可以使用“fdisk -l”命令查看。



    • 数据盘分区
      执行“fdisk /dev/vdd”命令(请注意数据盘符,这里以vdd为例,若是其他盘符,仅需将vdd替换为该盘符即可),根据提示依次输入“n”,“p”,“1”,“2次回车”,“wq”。
      说明:对于2T以上的大硬盘,只能用parted命令分区。

      使用"fdisk -l"命令可以看到你的新建分区。
    • 格式化新分区(制作文件系统)

      使用"mkfs.ext4 /dev/vdd1"命令对新分区进行格式化(制作文件系统)。此命令里面制作的是ext4文件系统,你可以根据自己的需要选择相应文件系统



    • 添加分区信息

      使用“echo '/dev/vdd1 /mnt ext4 defaults 0 0' >> /etc/fstab”添加分区信息。如需挂载磁盘到特定的挂载点,需要修改“/mnt” 部分。

      然后使用“cat /etc/fstab”命令查看。

      注:ubuntu12.04不支持barrier,所以正确写法是:echo '/dev/vdd1 /mnt ext4 barrier=0 0 0' >> /etc/fstab



    • 挂载新分区
      使用“mount -a”命令挂载新分区,然后用“df -h”命令查看。

    Windows系统(Windows 2008)

    • 进入磁盘管理

      启动左下角任务栏中的【服务器管理器】,选择【存储】--【磁盘管理】;



    • 联机、初始化

      磁盘在控制台挂载之后,系统默认磁盘处于脱机状态,我们需要先让磁盘处于联机状态;如果磁盘已经处于联机状态,则进行下一步操作;

      右键磁盘名,点击“初始化磁盘”,按照系统建议,选择合适的初始化方式。

    • 分区、格式化

      在空白分区上,右键选择【新建简单卷】;启动新建简单卷向导;选择【下一步】。

      设置简单卷的大小,即分区的大小;默认会选择所有剩余空间。你也可以根据需要,指定分区大小;选择【下一步】。

      指派驱动器号,默认顺序使用;选择【下一步】。

      格式化分区,默认勾选了【执行快速格式化】;选择【下一步】。

      点击【完成】,系统会自动执行完成分区的设置。

    Windows系统(Windows 2012 )

    • 进入磁盘管理

      启动左下角任务栏中的【服务器管理器】;



      点击【工具】-【计算机管理】;

      点击【磁盘管理】。

    • 联机、初始化

      磁盘在控制台挂载之后,系统默认磁盘处于脱机状态,我们需要先让磁盘处于联机状态;如下图"磁盘2"所示,在磁盘2上右键点击,选择【联机】;如果磁盘已经处于联机状态,则进行下一步操作;

      再一次右键点击,选择【初始化磁盘】;

      选择【MBR】(注:磁盘大于2TB,一定要选择GPT分区形式),点击【确定】按钮。

    • 分区、格式化

      在未分配的空间处,右键选择【新建简单卷】;

      在弹出的“新建简单卷向导”窗口中,点击【下一步】;

      输入分区所需磁盘大小,点击【下一步】;

      输入驱动器号,点击【下一步】;

      选择文件系统,格式化分区,点击【下一步】;

      完成新建简单卷,点击【完成】;

      查看新分区。

    4、卸载文件系统

    • umount 磁盘(Linux)
      找到云硬盘的挂载点,使用umount命令卸载。
    • 磁盘脱机(Windows 2008)

    • 磁盘脱机(Windows 2012)

    5、卸载磁盘

    • 选择需要卸载的云硬盘,点击卸载。

      警告:如果不经卸载文件系统就直接物理卸载云硬盘的话,可能会有数据丢失的风险!

  • 数据盘模板

    美团云支持通过云硬盘创建数据盘模板、更新数据盘模板等功能。

    1、创建模板

    选中云硬盘,在“更多操作”中选择“创建模板”选项,输入“模板名”和“模板备注”,点击“确定”即可。

    创建成功后,云硬盘会与该模板进行关联。注:一个云硬盘可创建多个模板,云硬盘会和最新一次创建的模板关联。

    2、更新模板

    当云硬盘数据模板数据改变时,可以通过“更新模板”操作进行更新。注意:更新模板时,要关闭主机或者卸载磁盘。

  • 云硬盘快照

    美团云支持在任意时间点为云硬盘创建快照,你可以使用之前创建的任意一个快照来回滚磁盘数据,即使磁盘已经被删除。

    1、创建快照

    • 为了保证磁盘数据的一致性,在创建快照前请暂停文件的写操作并写回缓存,您也可以先停止主机或卸载磁盘,再创建快照。
    • 选中磁盘,点击创建快照,输入快照名以及相应备注,点击“确定”即可。

    2、恢复磁盘

    • 当磁盘处于运行状态时,系统不允许直接用快照回滚数据,请先卸载磁盘再进行后续操作;
    • 用快照回滚数据时,云硬盘上该时刻之后未做快照的数据将被清除。因此,在回滚数据前,建议做好当前状态的磁盘快照。
    • 即使磁盘已被删除,依旧支持使用快照来恢复磁盘数据。

对象存储

  • 美团存储服务(Meituan Storage Service)是经过美团内部反复验证的,高可靠、高可用、海量、安全的面向Internet的存储服务。用户可以在需要的时间、地点,使用任何应用上传下载任意大小的数据,Web控制台方便用户进行简单地管理。

  • Object(对象)

    存储数据的最小单位,每个文件对应一个object。object名使用utf-8编码。每个object由数据和元数据组成。数据对应于存储的文件内容。元数据对应于文件的属性,包括Last Modified Time、Content-Type以及自定义属性键值对等。

  • Bucket(空间)

    对象的组织管理单位,每个object都存储在一个bucket中。bukect名不能修改。每个用户最多创建10个bucket。每个账户下的bucket名不能重复。可以对bucket进行权限控制。bucket内的object个数及总空间大小没有限制。

    命名规范:

    • 只能包括小写字母,数字和短横线(-)
    • 必须以小写字母或者数字开头
    • 长度必须在3-63字节之间

  • 访问控制

    空间的权限可以设置为公开和私有。私有表示仅创建者可以读写,公开表示创建者可写,所有人可读。

    每个用户握有一个Access Key和Access Secret,使用对称加密的方法来验证消息来源。Access Secret是对签名字符串加密的密钥,万万不可在公网传输或者告知其他人。签名认证规则同亚马简单存储服务(S3,Simple Storage Service)。

    MSS通过两种方式进行签名授权:

    • 使用Header的Authorization字段,上传签名信息
    • 在URL中包含签名信息,此方式可以用来授权第三方访问

  • 最终一致性

    同亚马逊S3一样,MSS采用最终一致性模型。例如,如果您对某一个文件执行更新操作,则后续读取可能会返回旧数据或已更新的数据,但不会返回部分或损坏的数据。数据存储三副本,保证了MSS的高读取吞吐量和高可用性。PUT请求成功,则表示数据已安全存储。但是,要做到三副本的一致,需要一点时间。

  • 自定义域名绑定

    通过MSS控制台,用户可以将自定义的域名绑定在属于自己的bucket上。根据中国《互联网管理条例》规定,所有提供互联网信息服务的单位和个人都需要履行备案手续。MSS仅支持备案域名绑定。MSS绑定成功后,可以在DNS服务商处修改自定义域名的CNAME,MSS将自动处理对该域名的访问请求。

  • 缓存刷新

    MSS默认提供CDN加速功能。bucket内object需要变化(更新或删除)时,可以通过控制台删除全网缓存的旧object。

  • 客户端加密

    • – 用户向加密客户端提供一个客户端主密钥,客户端只使用此主密钥加密其随机生成的数据加密密钥。该过程的工作方式如下所示:
      • MSS 加密客户端会在本地生成一次性的对称密钥,亦称数据加密密钥(或数据密钥)。它使用此数据密钥来加密单个 MSS 对象的数据(针对每个对象,客户端会生成单独的数据密钥)。
      • 客户端使用您所提供的主密钥来加密数据加密密钥。
        客户端会将加密的数据密钥及其材料说明作为对象元数据的一部分上传。之后,材料说明会帮助客户端确定使用哪个客户端主密钥解密(当您下载对象时,客户端会将其解密)。
      • 然后客户端会将加密数据上传到MSS,同时在MSS中将加密数据默认保存为对象元数据 (x-amz-meta-x-amz-key)。
    • – 客户端首先从MSS下载加密的对象以及元数据。通过使用元数据中的材料说明,客户端首先会确定使用哪个主密钥解密加密的数据密钥。客户端使用此主密钥来解密数据密钥,并使用它来解密对象。

  • TempURL临时授权

    系统模型如下图所示:

    注意:

    • Access Key 和 Access Secret 均不可出现在终端用户的应用程序中,不管是配置文件还是二进制代码
    • Access Key要保存在安全的位置,不要通过网络传输
    • 原则上,终端用户应用程序只能使用TempURL进行文件的上传和下载

  • HTTPS方式安全访问

    美团存储服务(Meituan Storage Service)的所有API都支持HTTP和HTTPS两种方式访问。但使用SSL安全协议访问云存储,有以下限制:

    • 需要通过<bucket>-<account>.mtmss.com域名,才能使用HTTPS方式安全操作MSS的空间和对象,<account>是账户名,<bucket>是空间名
    • 为了保证安全性,使用HTTPS方式访问的资源不会经过CDN缓存
    • 另外,不支持在<bucket>-<account>.mtmss.com域名上绑定自定义域名使用HTTPS方式访问

  • 操作指南

    创建Bucket:

    查看Bucket详细内容:

    往Bucket上传新的文件:

    可以一次选择多个文件上传,如下图:

    设置Bucket的权限:

    查看指定时间段内的资源使用情况,包括空间,流量,请求数等:

  • 图片处理服务

    美团云图片处理服务是美团云对外提供的海量、安全、低成本高效的图片处理服务。用户将原始图片上传并保存在美图云对象存储上,可通过调用相关接口实现对图片的在线处理。图片处理服务会根据用户请求,实时地将用户的原图转换成按需求处理后的目标图片并发送给用户。美团云的图片服务支持动态实时图像处理。

    图片处理服务提供以下功能:

    • 图片缩放、裁剪
    • 图片旋转、自适应方向
    • 质量变换、格式转换
    • 水印(图片水印,文字水印、图文混合水印)
    • 拼图
    • 管道
    • 样式

    具体请参见图片处理服务API文档

    样式

    新建样式服务:点击新建

    新建样式提供界面编辑和命令编辑两种方式

    界面编辑:

    命令编辑:

  • 转码服务

    美团云音视频服务旨在为用户提供包括音视频存储、转码、CDN加速、回源鉴权控制等高质量的服务。用户可以将音视频存储在美团云对象存储上,通过调用相关接口即可实现对音视频的在线处理。音视频服务支持多种音视频处理功能,能够满足手机、平板、智能电视和PC等多终端适配的需求。

    目前,音视频服务提供以下功能:

    • 转码
    • 切片
    • 视频截图
    • 视频水印

    具体请参见音视频服务API

    新建转码任务:

    查看转码任务:

    新建批量转码任务:

    对文件input0.mp4,input1.mp4进行批量转码,输出文件名前缀为ab,转码后的文件分别保存为abinput0.mp4和abinput1.mp4。

    查看批量转码任务:

  • 镜像存储

    镜像存储是美团云提供的数据无缝迁移工具,能够帮助用户实现原有业务系统已有数据到美团云对象存储的无缝迁移。

    业务逻辑:配置镜像域名后,用户访问数据时,若美团云对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到美团云对象存储,将数据传递给用户(如下图步骤1234)。同时可以使用 API 或者其他形式,将用户源站的已有存量数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步都美团云对象存储,无需再额外处理。

    注:对访问 URL 带有问号及参数,将忽略问号及其后的参数。形如 http://example.com/a.jpg?v=1 的访问,将会把 a.jpg 抓取过来,在 bucket 中保存为 a.jpg。

数据库

  • MySQL基本操作

    您可以在控制台创建MySQL实例,并进行调整配置、修改续费周期以及删除操作。

    在使用过程中,如需增加节点,可在集群列表页点击集群名称,选择节点列表,新建从节点、代理节点。

    美团云提供自动备份功能,实例会在每天凌晨自动备份并保存7天,滚动更新,目前该功能完全免费。

  • MySQL默认配置与注意事项

    1、请务必不要修改和删除系统预置的root/repl/backup账户,以保证数据库正常功能。
    2、默认端口为3306,暂不支持修改。
    3、采用innodb存储引擎,建议使用默认(innodb)引擎。
    4、采用版本为percona-server-5.5/5.6。
    5、不提供权限:SUPER、SHUTDOWN、FILE。
    6、提供权限:SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, PROCESS, REFERENCES, INDEX, ALTER, SHOW DATABASES, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER,以及GRANT OPTION。
    7、每种套餐有建议连接数,最大连接数max_connections为2000。
    8、每个数据库集群可最多创建 1 个主节点、1 个代理节点和 6 个从节点。
    9、创建数据库实例时,默认创建一主一备两个节点,其中备节点用作在线热备,对外不可见。

  • 代理节点读写分离

    代理节点同步账号

    如果数据库帐号信息有变化,需要同步更新到读写分离节点中。可在节点列表页面,点击「同步账号」(需集群中有代理节点才显示此按钮),填写需要通过代理节点(以下简写为 Proxy)使用的账号和密码,点击确定即可。


    注意事项

    Proxy会透明的将事务语句和写语句发送至主库执行,读语句发送至从库执行。具体以下语句会在主库执行:

    • 显式事务中的语句
    • autocommit=0时的所有语句
    • 含有select GET_LOCK()的语句
    • 除SELECT、SET、USE、SHOW、DESC、EXPLAIN外的其他语句
    • 如果想让select操作主库,则可以在SQL前面加上/*master*/
    Proxy SQL语句限制
    1. 对于显示加锁的语句可能会出现锁无法释放的问题,主要包含以下语句:
      • lock table(s)
      • flush table with read lock
      • flush table for export
      • lock binlog for backup
      • lock table for backup
      • handler open/read
    2. select for update 也可能会走从库,使用select for update必须在显式事务中。
    3. 不支持没有where条件的update ,delete操作。
    4. 不支持load data。
    后台db连接池带来的限制
    1. session级系统变量
      支持set session级别的变量,仍然有以下限制:
      • 不支持set transaction isolation level
      • 不支持set character set
      • 不支持set collation_connection
      • 不支持set password
      • 不支持set insert_id
      • 不支持用户自定义变量
      • 支持了set transaction isolation level
    2. 对于found_rows、row_count以及show warning、select last_insert_id等获取上下文信息的语句,仅在产生该类信息的语句(比如SQL_CALC_FOUND_ROWS语句、insert auto increment等)正确执行后立即执行有效,否则结果无效。
    3. temporary表的相关操作执行结果可能错误,temporary表在不同的session中查询结果不同。
    4. 不支持原生的cursor、prepare等功能。
    5. 不支持客户端驱动执行COM_CHANGE_USER和COM_SET_OPTION命令。
    6. 含有SQL_CALC_FOUND_ROWS的语句后必须有SELECT FOUND_ROWS()。
    7. 连接属性设置
      支持连接串中的参数设置,但仍然有以下限制:
      • 不支持CLIENT_COMPRESS
      • 不支持CLIENT_CONNECT_ATTRS
      • 不支持CLIENT_SSL和CLIENT_PLUGIN_AUTH_LENENC_CLIENT_DATA
      • 不支持CLIENT_CAN_HANDLE_EXPIRED_PASSWORDS
      • 连接协议仅支持CLIENT_PROTOCOL_41
      • 密码验证协议仅支持mysql_native_password协议
  • MongoDB基本操作

    您可以在控制台创建MongoDB实例,并进行调整配置、启动、关闭以及删除操作。

    在使用过程中,如需增删节点,可在实例列表页点击实例名称,选择节点列表,新建或删除从节点。

    美团云提供自动备份功能,实例会在每天凌晨自动备份并保存7天,滚动更新,目前该功能完全免费。此外,您还可以手动备份数据库。

  • MongoDB默认配置

    1、默认端口为 27017,暂不支持修改。

    2、采用WiredTiger存储引擎,建议使用默认(WiredTiger)引擎。

    3、采用版本为 3.2.10。

    4、每个数据库实例可最多创建 1 个主节点和 10 个从节点。

    5、创建数据库实例时,默认创建一主两从三个节点,其中一个从节点(passive类型)有自动备份功能,另一个从节点自动进行主从切换保障实例高可用。默认一主两从共3个节点无法删除。架构模型如下:


  • MongoDB配额

    MongoDB默认配额为10台,如有更多需求请随时联系客服。

  • MongoDB监控

    在监控界面,您可以为MongoDB实例创建阈值监控项,目前提供CPU使用率、内存使用率、磁盘使用率监控选项。您也可以查看实例的性能监控数据。

缓存

  • Redis基本操作

    您可以在控制台创建Redis实例,并进行扩容和删除操作。

  • Redis默认配置

    1、默认端口为6379,暂不支持修改。
    2、单个实例支持Database数量为16个。
    3、最大客户端连接数MaxClients为10000。
    4、数据淘汰策略:maxmemory-policy为volatile-ttl,对"过期集合"中的数据采取TTL算法(最小存活时间),移除即将过期的数据。
    5、禁用命令列表:BGREWRITEAOF,BGSAVE,CONFIG,DEBUG,SAVE,SHUTDOWN,SLAVEOF。
    6、默认提供在线热备,提供自动主从切换功能。
    7、暂不支持持久化。

  • Redis配额

    Redis默认配额为10台,如有更多需求请随时联系客服。

  • Memcached基本操作

    您可以在控制台创建Memcached实例,并进行扩容和删除操作。

  • Memcached默认配置

    1、默认端口为11211,暂不支持修改。
    2、最大同时连接数为1024。
    3、默认USER为memcached,不支持修改。

  • Memcached配额

    Memcache默认集群配额为10个,单个实例可创建节点数量为10个,如有更多需求请随时联系客服。

监控

  • 主机监控

    我们会对主机运行状态做实时监控,您可以通过监控界面查看主机的CPU、磁盘及网络信息。
    主机性能监控(CPU、磁盘监控、网络监控):

    主机自定义监控项有:
    1、主机存活监控:云主机的运行状态监控。
    2、TCP端口监控:云主机的TCP端口状态监控。
    3、阈值监控:多个可选阈值项、自定义告警规则,包括:

    • CPU使用率
    • CPU线程数
    • 读写磁盘速度
    • 外网发送接收速度
    • 内网发送接收速度
  • 浮动IP监控

    在监控界面,您可以为消息队列实例创建阈值监控项,目前提供CPU使用率、内存使用率、磁盘使用率监控选项。

  • 消息队列监控

    在监控界面,您可以为消息队列实例创建阈值监控项,目前提供CPU使用率、内存使用率、磁盘使用率监控选项。

  • MySQL监控

    在监控界面,您可以为MySQL实例创建阈值监控项,目前提供CPU使用率、内存使用率、磁盘使用率、连接数使用率监控选项。

  • Redis监控

    在监控界面,您可以点击“缓存监控”进入“阈值监控”tab选项,新建阈值监控,选择Redis选项,为您的Redis创建监控项。目前提供“内存使用率”及“Key查询失败次数”两种常用项。若想查询更多监控信息,请参考Redis官方命令。

  • Memcached监控

    在监控界面,您可以点击“缓存监控”进入“阈值监控”tab选项,新建选择Memcached选项,为您的Memcached创建监控项。目前提供“内存使用率”及“Key查询失败次数”两种常用项。若想查询更多监控信息,请参考Memcached官方命令。

  • 告警历史

    监控发生异常时,告警消息会记录到“告警历史”中,包括告警详情及告警时间。

  • 告警联系人

    我们默认开启注册账户的联系电话和邮箱接收告警信息,您也可以选择关闭默认方式并新建告警联系人,通过验证后即可接收告警信息,并随时控制其开启状态。

大数据计算

  • 大数据计算服务BDS简介

    美团云大数据计算服务(Big Data Service)是一种快速、完全托管的TB/PB级数据计算引擎。BDS向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题。BDS主要使用Hadoop、Hive、Spark、HBase等开源组件,经过海量数据和实际业务的验证,具有足够的稳定性和高效性。

  • BDS_CRT简介

    大数据服务(BDS BigData Service)客户端运行时(CRT Client Runtime)为使用大数据集群进行文件上传下载、MR/SQL/Spark等计算任务提供运行时环境。包括Hadoop, Hive, Pig, Sqoop, Spark, HBase, Zookeeper, Oozie等原生客户端。以下介绍BDS_CRT的安装、配置。

    【说明】需在同账号下的云主机上安装,推荐云主机的配置至少4核4G内存,采用64位Linux操作系统

  • BDS_CRT的安装

    安装BDS_CRT至指定prefix目录:

    wget http://mtmss.com/v1/mss_5078cd817cd144439dfebb6fdd9897e5/bds/bds_crt_install.sh
    chmod +x bds_crt_install.sh
    ./bds_crt_install.sh --prefix ~
  • BDS_CRT的配置

    准备连接至指定BDS集群(如 my-hadoop集群)的配置和运行时环境:

    source ~/bds/bds_crt_env.sh my-hadoop           #fetching config for cluster: my-hadoop
      
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#        # 顺利进入my-hadoop环境
  • BDS_CRT的使用

    运行Hadoop, Hive,Spark, HBase等原生命令:

    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#hdfs dfs -put /local/path /remote/path
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#hdfs dfs -get /remote/path /local/path
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#hadoop jar ~/bds/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount
      
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#hive
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#beeline
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#pig
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#sqoop --import
      
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#pyspark --master yarn-client
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#spark-sql --master yarn-client
      
      
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#hbase shell
      
    (my-hadoop)[root@yf-mos-hadoop-new01 ~]#oozie
  • BDS_CRT环境退出

    退出BDS_CRT运行环境,回到原来的shell环境:

    (my-hadoop)[root@yf-mos-hadoop-new01 ~]# deactivate
      
    [root@yf-mos-hadoop-new01 ~]#           # 顺利退出BDS_CRT环境
  • BDS Relay简介

    BDS Relay以SSH协议提供HDFS集群的文件导入导出服务,支持标准scp, sftp等命令行工具,支持主流图形化SSH终端,如PuTTY, Xshell, Xftp(sftp), WinSCP(sftp), SSH Secure shell windows client等。

    通过使用命令行工具或者图形化客户端,ssh/scp/sftp至mdsrelay.meituan.com,进行标准文件操作,如文件(或目录)的增、删、改、浏览、上传、下载等操作

  • BDS Relay使用指南

    SSH登录BDS Relay,登录[控制台]-》[API],获得账户AccessKey和Access Secret, 作为登录Relay的用户名和密码:

    SSH连接BDS Relay
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    ssh <access_key>@mdsrelay.meituan.com
    <access_key>@mdsrelay.meituan.com's password:<access_secret>
    **** Welcome to MOS SSH Relay ****                               #成功连接MDS Relay
    Supported commands:
        exit
            Exit from relay
        ls
            List files in current object storage directory
        cd [dir]
            Change currenty object storage directory
        pwd
            Show current working directory
        help
            Show this help
    MOS>> ls                                                        #以文件夹形式显示所有集群
    cluster-A/
    cluster-B/
     
    MOS>> ls

    SCP上传下载文件:

    SCP上传下载
    1
    2
    3
    4
    scp <local_path> <access_key>@mdsrelay.meituan.com:/<your_cluster_name>/<path>   #上传
    <access_key>@mdsrelay.meituan.com's password:<access_secret>
    scp <access_key>@mdsrelay.meituan.com:/<your_cluster_name>/<path> <local_path>   #下载
    <access_key>@mdsrelay.meituan.com's password:<access_secret>

    使用SFTP命令行方式登录Realy:

    SFTP登录Relay
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    sftp <access_key>@mdsrelay.meituan.com
    <access_key>@mdsrelay.meituan.com's password:<access_secret>
     
    sftp> pwd
    Remote working directory: /
      
    sftp>ls -al
    drwx------   1 500      500          4096 01 Jan 1970  cluster-A
    drwx------   1 500      500          4096 01 Jan 1970  cluster-B
      
    sftp> lls
    foo.bar     test.txt
      
    sftp> put foo.bar cluster-A/tmp                                     # 上传
    Uploading foo.bar to /cluster-A/tmp/foo.bar
    foo.bar                              100% 1670     7.6MB/s   00:00
      
    sftp> get cluster-A/tmp/foo.bar                                     # 下载
    Fetching /cluster-A/tmp/foo.bar to foo.bar
    /cluster-A/tmp/foo.bar               100% 1670     7.6MB/s   00:00
      
    sftp> help
    Available commands:
    bye                                Quit sftp
    cd path                            Change remote directory to 'path'
    chgrp grp path                     Change group of file 'path' to 'grp'
    chmod mode path                    Change permissions of file 'path' to 'mode'
    chown own path                     Change owner of file 'path' to 'own'
    df [-hi] [path]                    Display statistics for current directory or
                                       filesystem containing 'path'
    exit                               Quit sftp
    get [-P] remote-path [local-path]  Download file
    help                               Display this help text
    lcd path                           Change local directory to 'path'
    lls [ls-options [path]]            Display local directory listing
    lmkdir path                        Create local directory
    ln oldpath newpath                 Symlink remote file
    lpwd                               Print local working directory
    ls [-1aflnrSt] [path]              Display remote directory listing
    lumask umask                       Set local umask to 'umask'
    mkdir path                         Create remote directory
    progress                           Toggle display of progress meter
    put [-P] local-path [remote-path]  Upload file
    pwd                                Display remote working directory
    quit                               Quit sftp
    rename oldpath newpath             Rename remote file
    rm path                            Delete remote file
    rmdir path                         Remove remote directory
    symlink oldpath newpath            Symlink remote file
    version                            Show SFTP version
    !command                           Execute 'command' in local shell
    !                                  Escape to local shell
    ?                                  Synonym for help

流计算

  • 流计算服务SDS简介

    美团云流计算服务SDS(Streaming Data Service),也叫实时计算服务,是一套通用的流式计算平台,提供实时的流式数据计算服务。使用流计算,可有效降低数据的处理延迟,最大化实时客户的业务数据。SDS主要使用Storm, Kafka, Flume都开源组件。主要应用场景包括:实时ETL、实时数据管道、实时报表类应用、监控预警、流数据挖掘。

  • SDS Client简介

    SDS Client支持以Storm和Kafka原生命令行方式与您的流计算集群交互,可以创建和管理Storm任务以及使用Kafka实现消息队列等。

  • SDS Client使用指南

    下文将介绍如何在同账户下的虚拟机(内网类型即可,例如my-client)上安装、配置和使用SDS Client。

  • 安装SDS_CRT

    安装SDS_CRT至指定的prefix目录:

    wget http://mtmss.com/v1/mss_5078cd817cd144439dfebb6fdd9897e5/sds/sds_crt_install.sh
    chmod +x sds_crt_install.sh
    ./sds_crt_install.sh --prefix ~
    配置SDS_CRT

    准备连接至指定SDS集群(如streaming-cluster集群)的运行时环境:

    [root@my-client ~]#source ~/sds/sds_crt_env.sh streaming-cluster     # 准备进入streaming-cluster运行时环境
    (streaming-cluster)[root@my-client ~]#                                  # 顺利进入streaming-cluster环境
    使用SDS_CRT

    运行Kafka原生命令(zookeeper和kafka broker等配置信息可在美团云Web控制台中点击集群名称查看):

    # 创建topic
    (streaming-cluster)[root@my-client ~]#kafka-topics.sh --create --zookeeper sds-streaming-cluster-vm1:2181/kafka08 --replication-factor 2 --partitions 3 --topic test
    或
    (streaming-cluster)[root@my-client ~]#kafka-topics.sh --create --zookeeper sds-streaming-cluster-vm1:2181,sds-streaming-cluster-vm2:2181,sds-streaming-cluster-vm3:2181/kafka08 --replication-factor 2 --partitions 3 --topic test
    注:指定多个zookeeper节点可提高可靠性,节点间用逗号分隔(下同) 
    
    # 列出已创建的topics
    (streaming-cluster)[root@my-client ~]#kafka-topics.sh --list --zookeeper sds-streaming-cluster-vm1:2181/kafka08 
    
    # 生产数据
    (streaming-cluster)[root@my-client ~]#kafka-console-producer.sh --broker-list sds-streaming-cluster-vm1:9092 --topic test
    或
    (streaming-cluster)[root@my-client ~]#kafka-console-producer.sh --broker-list sds-streaming-cluster-vm1:9092,sds-streaming-cluster-vm2:9092,sds-streaming-cluster-vm3:9092 --topic test
    注:指定多个broker节点可提高可靠性,节点间用逗号分隔(下同) 
    
    # 消费数据
    (streaming-cluster)[root@my-client ~]#kafka-console-consumer.sh --zookeeper sds-streaming-cluster-vm1:2181/kafka08 --topic test --from-beginning

    运行Storm原生命令

    # 执行任务
    (streaming-cluster)[root@my-client ~]#storm jar ~/sds/storm/examples/storm-starter/storm-starter-topologies-0.11.0-mt0004.jar storm.starter.WordCountTopology test
     
    
    # 关闭任务
    (streaming-cluster)[root@my-client ~]#storm kill test
    退出SDS_CRT环境

    退出SDS_CRT运行时环境,回到原来的shell环境:

    (streaming-cluster)[root@my-client ~]#deactivate            #准备退出SDS_CRT运行时环境
    [root@my-client ~]#                                         #顺利退出SDS_CRT运行时环境
  • Kafka Manager添加集群指南

    打开Kafka Manager页面之后,您首先需要按以下步骤添加当前Kafka集群。

    1、点击“Cluster”下拉菜单,并选择“Add Cluster”按钮。

    2、请在添加页面按要求填入信息。

    Cluster Name:Kafka集群在Kafka Manager中的名称,可任意填入(需注意空格等特殊符号);
    Cluster Zookeeper Hosts:Kafka集群使用的zookeeper配置信息,可在美团云Web控制台中点击集群名称查看"组件服务地址"一栏,格式为<zookeeper_server1>:2181,<zookeeper_server2>:2181,<zookeeper_server3>:2181/kafka08,中间以逗号相隔,并在末尾加上Kafka集群在zookeeper中注册的根目录‘/kafka08’;
    Kafka Version:请选择0.8.2-beta(与目前流计算平台使用的Kafka版本兼容);

消息队列

  • 消息队列服务简介

    美团云消息队列服务是一款基于RabbitMQ的高可用、高性能、100%兼容原生RabbitMQ的消息队列产品。美团云消息队列服务通过创建RabbitMQ实例,能够快速实现RabbitMQ以及所依赖的服务的部署,为用户提供快速部署、易于管理、弹性伸缩的消息队列服务。

  • 消息队列基本操作

    您可以在控制台创建消息队列实例,并进行修改配置和删除操作。

    您可以使用python、java等语言客户端连接rabbitmq,涉及认证的IP、用户名及密码见登录信息。

    您可以点击上图所示的操作栏RabbitMQ超链接进入对应实例的管理界面。

  • 消息队列默认配置

    默认端口为5672,暂不支持修改。