更新时间:2023-12-07 gmt 08:00
cdn日志转存到obs-凯发k8国际娱乐官网入口
cdn记录了所有域名(包括已删除域名,如果您开通了企业项目,则已删除域名不支持此功能)被网络用户访问的详细日志,您可以通过cdn控制台查看和下载最近30天的日志,对您的业务资源被访问情况进行详细分析。
日志转存储服务是华为云cdn配合函数工作流,将cdn日志存储到obs桶,可以帮助您将日志存储更长的时间,便于您基于长时间的日志做出自定义的数据分析,有助于您更好地了解您cdn的服务质量,以及您的终端客户的访问详情,提高您的业务决策能力。
本文以python3.6为例,为您介绍通过api创建functiongraph函数和timer触发器,实现定时将cdn日志转存到obs。
前提条件
暂时仅支持日志转存到北京四的obs桶,请您提前准备好位于北京四的obs桶。
操作步骤
- 创建自定义策略
- 登录,在左侧导航栏,选择“管理与监管>统一身份认证服务”。
- 在左侧导航栏,选择“权限管理>权限”页签,单击右上方的“创建自定义策略”。
- 策略名称:obs operateaccess。
- 策略配置方式:json视图。
- 策略内容:
{ "version": "1.1", "statement": [ { "effect": "allow", "action": [ "obs:object:getobject", "obs:object:putobjectacl", "obs:bucket:headbucket", "obs:object:putobject", "obs:bucket:listbucket" ] } ] }
- 单击“确定”,完成策略配置。
- 创建委托
- 登录,在左侧导航栏,选择“管理与监管>统一身份认证服务”。
- 在左侧导航栏,选择“委托”页签,单击右上方的“ 创建委托”。
- 在创建委托页面,按照如下参数设置委托。
- 委托名称:fg_to_cdn。
- 委托类型:云服务。
- 云服务:函数工作流functiongraph。
- 持续时间:永久。
- 单击“下一步”,进入为“fg_to_cdn”委托配置权限界面。
- 权限选择:obs operateaccess(第一步创建的策略) 、cdn logsreadonlyaccess。
- 单击“下一步”,配置作用范围。
- 账号未开通企业项目,配置如下:
- 作用范围:所有资源。
- 账号已开通企业项目,配置如下:
- 作用范围:指定企业项目资源。
- 选择存放日志的obs桶所在的企业项目。
- 账号未开通企业项目,配置如下:
- 单击“确认”,完成委托配置。
- 准备函数工作流环境
- 登录,在左侧导航栏,选择“计算>函数工作流”,region选择“北京四”。
- 单击右上方“创建函数”,进入创建函数界面,选择“空白模板”。
- 函数类型:事件函数。
- 输入函数名称:cdn_to_obs(可自定义)。
- 委托名称:选择已创建好的委托“fg_to_cdn” 。
- 企业项目:选择“default”。
- 运行时语言:选择“python 3.6”。
- 单击“创建函数”,进入代码编辑界面,将代码示例的代码内容贴入在线ide。
如果有多个域名的日志需要转存,您需要分别为每个域名创建一个函数工作流。
- 单击“配置”,进入函数配置界面,修改常规设置。
- 执行超时时间:函数运行的超时时间,超时的函数将被强行停止,建议设置为900。
如果您发现转存的日志数量不对,请向“函数工作流”服务提工单,增大执行超时时间。
- 执行超时时间:函数运行的超时时间,超时的函数将被强行停止,建议设置为900。
- 添加环境变量,在设置界面左侧单击“环境变量”。
- url :https://cdn.myhuaweicloud.com/v1.0/cdn/logs(cdn日志下载的url)。
- domain_name :xxx.com(需要转存日志的cdn加速域名)。
- obsaddress :xxx.com(用于存日志的obs桶域名)。
- destbucket :******(用于存日志的obs桶名称)。
- 单击下方“保存”。
- 在设置界面左侧单击“权限”。
- 选择已创建好的“fg_to_cdn”委托,单击“保存”。
- 创建“触发器”。在函数配置界面选择“触发器”,单击右侧“创建触发器”。
- 触发器类型:定时触发器 (timer)。
- 定时器名称:自定义的定时器名称,例如:timer-0001。
- 触发规则:cron表达式。
- cron表达式:0 0 8 * * ?(每天早上8点执行一次日志转存储)。
- 是否开启:开启。
- 单击“确定”,完成定时触发器设置。
- 创建测试事件。返回“代码”界面,单击“测试”按钮。
- 配置测试事件:创建新的测试事件。
- 事件模板:空白模板。
- 事件名称:test。
- 测试事件:{"message":"cdnlog-obs"}。
- 单击“保存”,完成测试事件创建。
- 测试函数。在函数详情页面,单击左侧下拉框,选择“test”,单击“测试”。
- 查看配置是否成功
- 登录,在左侧导航栏,选择“存储>对象存储服务 obs”。
- 单击您存储日志的桶,在左侧导航栏选择“对象”。
- 访问路径:文件夹(桶名称)>文件夹(加速域名)>文件夹(日志日期)>日志内容。
- 停止日志转存服务
- 登录,在左侧导航栏,选择“计算>函数工作流”,region选择“北京四”。
- 在左侧导航栏选择“函数”>“函数列表”,选中2中创建的函数名。
- 在函数详情页选择“触发器”。
- 单击“停用”,完成配置。
代码示例
代码如下所示:
# -*- coding:utf-8 -*- import requests import datetime import time import os import sys import json from com.obs.client.obs_client import obsclient from urllib.parse import urlparse if sys.version_info.major == 2 or not sys.version > '3': import httplib else: import http.client as httplib current_file_path = os.path.dirname(os.path.realpath(__file__)) # adds the current path to search paths to import third-party libraries. sys.path.append(current_file_path) temp_root_path = "/tmp/" # downloads a file from obs to this directory. region = 'china' # this parameter does not need to be changed and will be used when functiongraph accesses obs. secure = true # this parameter does not need to be changed and will be used when functiongraph accesses obs. signature = 'v4' # this parameter does not need to be changed and will be used when functiongraph accesses obs. port = 443 # this parameter does not need to be changed and will be used when functiongraph accesses obs. path_style = true # this parameter does not need to be changed and will be used when functiongraph accesses obs. def handler(event, context): logger = context.getlogger() querydate = context.getuserdata('querydate') if querydate is none: yesterday = datetime.date.today() datetime.timedelta(-1) querydate = yesterday.strftime("%y-%m-%d") timestamp = int(time.mktime(yesterday.timetuple()) * 1000) else: date = datetime.datetime.strptime(querydate, "%y-%m-%d") timestamp = int(time.mktime(date.timetuple()) * 1000) pagesize = 20 pagenumber = 1 requests.packages.urllib3.disable_warnings() start(context, querydate, timestamp, pagesize, pagenumber) def start(context, querydate, timestamp, pagesize, pagenumber): logger = context.getlogger() logurl = context.getuserdata('url') domainname = context.getuserdata('domain_name') params = {'query_date': timestamp, 'domain_name': domainname, 'page_size': pagesize, 'page_number': pagenumber, 'enterprise_project_id':'all'} headers = {'content-type': 'application/json;charset=utf-8', 'x-auth-token': context.gettoken()} res = requests.get(logurl, params=params, headers=headers, verify=false) if res.status_code != 200: logger.info("query log urls: " res.url ", error: " res.text) return ("query log urls: " res.url ", error: " res.text) resjson = json.loads(res.text) logger.info(res.text) total = resjson['total'] i = 0 for val in resjson['logs']: i = 1 logger.info(val["link"]) url = urlparse(val["link"]) netlocs = url.netloc.split(":") conn = httplib.httpconnection(netlocs[0], int(netlocs[1])) conn.request('get', url.path "?" url.query) objname = os.path.join(val["domain_name"], querydate, val["name"]) put_content_to_obs(context, objname, conn.getresponse()) if pagesize * pagenumber < total: start(context, querydate, timestamp, pagesize, pagenumber 1) def put_content_to_obs(context, objname, content): ak = context.getaccesskey() sk = context.getsecretkey() obsaddress = context.getuserdata('obsaddress') destbucket = context.getuserdata('destbucket') testobs = obsclient(access_key_id=ak, secret_access_key=sk, is_secure=secure, server=obsaddress, signature=signature, path_style=path_style, region=region, ssl_verify=false, port=port, max_retry_count=5, timeout=20) resp = testobs.putcontent(destbucket, objname, content=content) if resp.status < 300: print('requestid:', resp.requestid) else: print('errorcode:', resp.errorcode) print('errormessage:', resp.errormessage)
意见反馈
文档内容是否对您有帮助?
提交成功!非常感谢您的反馈,我们会继续努力做到更好!
您可在查看反馈及问题处理状态。
系统繁忙,请稍后重试
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨