GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 960|回复: 32
收起左侧

[技术交流] 【英雄再聚】活动内容爬取工具 (表格版)

  [复制链接] |关注本帖

组件大师

男巫之歌内森·德雷克『私有海域』裸体克里斯双向圣杯:焕然意志极·龙の意【圣诞限定】心心念念小雪人小小舞台御医神兔永浴爱河

     楼主| 墨燝 发表于 2024-10-1 15:18:08 | 显示全部楼层 |阅读模式 |取消关注该作者的回复
    来源于活动员们的需求,减少需要大量统计活动的工作量。
    相关功能已经经过【疯狂之旅】活动测试,保证可用。

    主要功能:
    自动爬取指定帖子的每一楼,获取用户id、uid,以及楼内的文本内容,并且写入表格内(目前默认文件名为day1.xlsx)
    以便于后续使用表格而非python处理

    使用说明:
    1. 首先打开浏览器的控制台,获取论坛的cookie,并将其内容复制到工具同目录下的cookie.txt内
    2. 打开worker.exe,输入所需要爬取的帖子tid(帖子网址thread-xxxxxx-1-1.html)
    3. 爬取的内容会放在同目录下的day1.xlsx中,一楼为一行,可以根据楼内内容产生特定的列标
    楼内为:
    key1#value1
    key2#value2
    则xlsx内每一行为:value1 value2
    注:未对表格内key进行写入,请自行后续添加表头的key,以及要求楼内key不可乱序,亦不支持空行,具体参照【疯狂之旅】活动主页https://www.gamemale.com/thread-139179-1-5.html

    注意事项:
    1.cookie有一定有效期(一般为一个月),如果失效请即时更新
    2. id和uid的爬取都是准确的,但目前没有针对高楼重复问题进行修正,建议修复后使用本工具
    3. 楼层内容的提取仅限文本内容,即不可以使用任何美化。包括但不限于字体调整,颜色调整,加粗,折叠等。上述操作将把纯文字用代码块修饰而无法简单提取,并且请勿在key或value内使用“#”符号,仅做为分隔符使用。
    4. 有能力的用户可以自行安装python环境运行源码,并做出修改。


    欢迎反馈bug并且提出更细致的需求
    鉴于工具实际上对帖子每一页内容进行快速访问,因此不对普通用户开放下载权限。
    源码:
    exe打包:暂不提供,有需要可以直接联系我




    来自群组: 泥潭療養院

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 9旅程 +2 金币 +30 血液 +52 追随 +9 堕落 +6 收起 理由
    lostorage + 2 + 1 + 1
    singto + 1 + 1 + 1 赞一个!
    轮回2L + 1 + 1 + 1
    PURO_ + 3 + 1 + 1 666
    Nittbone + 1 + 30 + 20 + 1 666
    夏漏光微 + 1 赞一个!
    2297988 + 1 *★,°*:.☆( ̄▽ ̄)/$:*.°★* 。
    abba + 1 + 20 + 1 + 1 \^O^/
    星之子 + 5 + 1 + 1 (*/ω\*)

    查看全部评分

    回复

    使用道具 举报

    GM活动员

    Lvl. 0

    征服之王被释放的灵魂死灵之书圣甲虫秘典破损的旧书吃饱金币的Doge生金蛋的鹅内森·德雷克果体76Futūrum(未来)

      回复

      使用道具 举报

      希尔瓦娜斯·风行者麦迪文(Medivh).阿尔萨斯‧米奈希尔枯荣明灭卡德加(Khadgar).安杜因·乌瑞恩我的天使夏日柯基幸福的小阿尔吃饱金币的Doge

        回复

        使用道具 举报

        金猪猪储蓄罐㊖小丑与格雷与星光璀璨

          abba 发表于 2024-10-1 15:29:20 | 显示全部楼层 |取消关注该作者的回复
          回复

          使用道具 举报

          金猪猪储蓄罐㊖『随时随地开启!』漂洋小船『随时随地开启!』冒险用指南针破损的旧书丛林的鸟飞走了雪王的心脏人鱼之泪幽灵竹筒

            回复

            使用道具 举报

            魔法不朽·传奇不熄希尔瓦娜斯·风行者刀锋女王 - 归宿叶卡捷琳娜大帝虚空之海的鲸

              回复

              使用道具 举报

              缘起星空虚空之海的鲸

                好像不少人回帖复制回帖格式的时候都会复制到字体格式,之前看格雷天天一个个手动检查修改就好累的
                回复

                使用道具 举报

                恶魔城驯化黑龙幼崽沼泽黏附者驯化红龙幼崽近地夜航

                  回复

                  使用道具 举报

                  诺克提斯·路西斯·伽拉姆石肤术收到情书变骚喷雾史莱哲林神秘商店贵宾卡思绪骤聚没有梦想的咸鱼炼金之心茉香啤酒

                    回复

                    使用道具 举报

                    百相千面-晦永远的克叔業火死鬥实现梦想官复原职虚空之海的鲸Zootopia幸运女神的微笑『逆境中的幸运女神』御医神兔

                      对帖子格式的要求很严格呢,当时格雷就是不停在修改格式,其实提醒的过程也是很麻烦的
                      回复

                      使用道具 举报

                      虚空之海的鲸BIG BOSS千里潋滟炽天使之拥不洁圣子古老金币日荒戒指森林鹿黄金树的恩惠

                        回复

                        使用道具 举报

                        遗忘之水小丑与格雷与星光璀璨『落樱缤纷』『灰域来音』『眼榴』『钟楼盐水棒冰』『泥潭颂唱者』『逆境中的幸运女神』『南瓜拿铁』粉猪猪储蓄罐㊖

                          回复

                          使用道具 举报

                          Drover.冒险专用绳索格拉迪欧拉斯金牌矿工索尔·奥丁森.『逆境中的幸运女神』骑兽之子岛田源氏杰西·麦克雷

                            回复

                            使用道具 举报

                            暮光独角兽幼崽大恶魔厄运骸骨瑞雪兆丰年,生灵万物新“腐败女神”玛莲妮亚月光骑士月光骑士雄躯的昇格

                              回复

                              使用道具 举报

                              诺克提斯·路西斯·伽拉姆Forever Titanic業火死鬥钢铁侠永远的克叔极·龙の意死灵之书卡利亚权杖虚空之海的鲸史莱姆牧场

                                回复

                                使用道具 举报

                                男巫之歌業火死鬥山村贞子月影狼

                                  对回帖格式只需要纯文本,带格式粘贴还不用格式刷的好像看到了格雷统计crazy的样子(
                                  回复

                                  使用道具 举报

                                  『逆境中的幸运女神』苍穹禁城最终幻想XIV琉璃玉坠黄金树的恩惠炽天使之拥森林鹿夏日柯基苏醒的格罗姆

                                    回复

                                    使用道具 举报

                                    最终幻想XIV最终幻想XVI赛博朋克2077荒野大镖客:救赎 II杰森‧斯坦森.官复原职丹妮莉丝·坦格利安希尔瓦娜斯·风行者

                                      回复

                                      使用道具 举报

                                      BIG BOSS虚空之海的鲸雄躯的昇格爬行植物Ⓛ粉猪猪储蓄罐㊖爬行植物Ⓡ

                                        回复

                                        使用道具 举报

                                        石肤术小小安全帽魔眼护符骑兽之子召唤古代战士近地夜航元气菠菜人烈焰天使弓龙血指环『灰域来音』

                                          回复

                                          使用道具 举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2024-11-21 19:00 , Processed in 0.146218 second(s), 145 queries , Redis On.

                                          Copyright © 2013-2024 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表