用 GPT4 把 Python 写的爬虫转写成 Go,运行效率提升90+%

maggch 2023-3-26 2084

有一个Python 写的三四百行的爬虫。bs4解析,sqlite存储,还用flask提供了 http 服务。

整个程序运行效率非常烂,一跑起来狗云168 ks cpu直接吃满 100%。重写是不可能重写的,一来要花很多时间写,花很多时间调,二来从来没用Go写过类似的东西。

昨天让 GPT4 帮忙写成 Go,95%的代码GPT4写,人工解决 5% 的一些和之前 Python 代码的差异。一小时重写完毕,上线,和原数据库完全兼容,CPU 占用直接下降到 8%, 而且速度还飞快,为了不让爬太快被封人工加了 Time.Sleep。

 

虽然要人工解决5%的问题,但是大部分问题都不是细节问题,比如数据库里面有些字段是空的,Go结构应该用指针而不是值,诸如此类对人脑几乎没有负担的问题。不会因为SQL里面一个符号打错了导致debug一小时。并且这些问题,只需要向GPT指出,他就会自己改,不需要手动一行一行改代码。

 

人不擅长处理细节的问题,GPT恰恰很擅长。

最新回复 (5)
  • C 2023-3-26
    2

    nb了

  • maggch 2023-3-26
    3

    现阶段GPT因为他的context还不够大,还很难完成对于大型任务。但只要把一个任务拆成几个较小的子任务,GPT就能非常好的完成。

     

    慢慢的,所有依靠智力的工作者都会变成管理者。管理AI,负责给AI分配合适任务的角色。

     

    未来,GPT的context再扩大100倍,1000倍呢?这不是不可能的,要知道GPT4的context相比GPT3.5已经扩大了10倍。

     

    看了老黄和openai的chief scientist的对话,他20年来都在做扩大网络规模的工作。10年前的alexnet,10年后的gpt,都使用了远超时代的规模取得了令人震惊的效果。所有精巧的网络设计,在规模面前,都黯然失色。

  • maggch 2023-3-26
    4

    几年前我们还能在本地跑神经网络模型。随着网络规模越来越大,解决的问题越来越复杂,这个行业又要开始成为一个大公司垄断的行业。不过这并不是坏事

  • cn 2023-3-26
    5

    应该转写成rust

  • heheking 2023-3-27
    6

    新生代码农,已经在把模型用于日常的一些文档编写,技术选型和代码优化了

    • 屌丝论坛
      7