使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

langbin 2024-3-17 40 3/17

在互联网上IP是每个人都有的”网络身份证“ ,是互联网上一个连接者的唯一标识符,它包含你的地理位置运营商网络活动痕迹等信息,而这些信息能够被网络服务商轻松的看到。

本文演示基于腾讯云函数和API网关的应用,介绍如何利用腾讯云的云函数SCF和API网关实现简单的网络代理,每次访问都会给你一个全新的IP,利用这个特性隐匿行踪,实现网络身份,地理位置的变更。由于网络地理位置变更,访问ip周围的网络服务也就更快了,由此又提供网络加速的功能。

适用场景:爬虫、网站代理、接口代理、WebShell防溯源连接。

相关服务介绍: 云函数是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。总结一句话就是:稳定可靠,高效开发,简化运维,节省成本,不需为空闲资源付费。

简单的4个步骤:

1.创建云函数 SCF,输入代码。
2.创建 API 网关。
3.云函数SCF应用绑定API网关。
4.访问网页

第一步:创建SCF应用

模板:从头开始

函数类型:事件函数

地域:新加坡 (根据需要)

运行环境:Python3.6

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

填写代码:

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

完整代码如下:

import time
import random
import requests
import ssl
from urllib.parse import unquote

#忽略证书校验
requests.packages.urllib3.disable_warnings()
try:
    _create_unverified_https_context =ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context =_create_unverified_https_context

user_agent = [ 
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, likeGecko) Chrome/57.0.2987.133 Safari/537.36', 
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML,like Gecko) Chrome/23.0.1271.64 Safari/537.11",
            "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10)Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
            ]

def requests_headers():
    UA = random.choice(user_agent)
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'User-Agent': UA,
        'X-Forwarded-For': '10.10.{}.{}'.format(str(random.randint(0, 255)), str(random.randint(0, 255))),
        }
    return headers

def main_handler(event, context):
    #url = unquote(event['queryString']['url'])
    url = event['queryString']['url']
    agrs = event['queryString']
    for key in agrs.keys():
        if key != "url":
            url += "&" +  key + "=" + agrs[key]
    method = event['httpMethod']
    headers = requests_headers()
    #headers = event['headers']
    timeout = 60
    try:
        data = event['body']
    except:
        data = None
    if method == "POST":
        html = requests.post(url=url, headers=headers, timeout=timeout, verify=False, data=data)
    elif method == "GET":
        html = requests.get(url=url, headers=headers, timeout=timeout, verify=False, data=data)
    print(len(html.text))
    return {
        "isBase64Encoded": False,
        "statusCode": html.status_code,
        "headers": {'Content-Type': 'text/html; charset=utf-8'},
        "body": html.text
    }

高级配置:

内存:64MB(越小越便宜)

执行超时时间:60s 运行角色:SCF_QcsRole(选择具有权限的角色)

不选择日志(看需求,一般不选择)

核心特性:

不要选择固定公网出口IP

参考如图:

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

触发器配置:它设置你使用什么方式访问,使用什么方式回复你的网络请求。

选择API网关触发 请求方法: any (如果设置不对将无法访问,具体知识可以查看《HTTP协议》)

参考如下:

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

到这里SCF云函数创建配置完成。

点击右侧的触发管理就有你的访问链接:如何没有链接,就重新设置触发器或者绑定触发器一下。

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。

效果演示: 访问网站,你的触发器下的访问路径+?url=你的代理的网址,每次访问都会更新ip

使用云函数 SCF + API 网关搭建一个网址代理,并拥有海量IP代理池。
- THE END -

langbin

3月17日23:28

最后修改:2024年3月17日
0

非特殊说明,本博所有文章均为博主原创。

共有 0 条评论