大模型看皮肤癌,还不如一个 10 年前的老网络。皮肤科医生拿 200 例活检确诊的皮损去考模型,结果有点扎心。

2015 年的 Inception v3 答对了 125 例,准确率 62%。GPT-6 Astra 和 Claude Fable 5.1 都只有 42%,还有黑色素瘤被当成无害的疣直接放走——这种漏诊在临床上是最要命的。
更扎心的是,这个老网络只微调了 20 分钟,而且小到手机浏览器就能跑。看病这事,专比大管用:针对单一任务微调的小模型,在自己的地盘上就是能赢通用大模型。
正文完
大模型看皮肤癌,还不如一个 10 年前的老网络。皮肤科医生拿 200 例活检确诊的皮损去考模型,结果有点扎心。

2015 年的 Inception v3 答对了 125 例,准确率 62%。GPT-6 Astra 和 Claude Fable 5.1 都只有 42%,还有黑色素瘤被当成无害的疣直接放走——这种漏诊在临床上是最要命的。
更扎心的是,这个老网络只微调了 20 分钟,而且小到手机浏览器就能跑。看病这事,专比大管用:针对单一任务微调的小模型,在自己的地盘上就是能赢通用大模型。