台风吧 关注:232,577贴子:6,100,019

回复:【资料存档】Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)

只看楼主收藏回复

大力支持,非常有用


IP属地:新疆来自Android客户端87楼2023-10-22 13:14
回复
    公布一下85楼答案,第一张 第五张是真VIS


    IP属地:上海来自Android客户端89楼2023-10-23 08:09
    收起回复
      来讲讲最近的计划和进度
      之前都是取的256*256范围,也就是四分之一多点的机动观测面积,接下来打算试试能不能炼512*512的,把整个机动观测放进去。理论上来说这会给模型添加更多的可学习内容,泛化性能可能会更好点,但是实际成效得试了才知道


      训练集图像其实带着个边框...因为完全塞满了会损失一点图片细节,希望这个框不会造成啥负面影响,我的AI应该没这么笨吧


      IP属地:上海90楼2023-10-29 10:34
      收起回复
        你用冕对比一下吧,感觉应该能表现出针状云的不同地方


        IP属地:广东91楼2023-10-29 10:57
        回复
          另外,布拉万的视频里面我不知道是哪里出了bug,风眼老是有些不规则的点点出现


          IP属地:广东92楼2023-10-29 11:02
          回复
            下午把神经网络的Unet结构加深了一层,运行起来效果挺惊喜的,跑了四个epoch就超过之前的验证集表现了不过这也有可能是因为随着范围增大无云区增多导致统计上验证集表现转好。
            当然训练过程肯定慢不少,一个epoch得跑六七分钟batchsize也被迫缩减到15,好在gpu稳定在七十度上下没热太多


            IP属地:上海来自Android客户端93楼2023-10-30 11:47
            回复



              上一轮更新的训练成果好像还没放...大概长这样,SSMI刚好0.800


              IP属地:上海94楼2023-11-12 08:53
              回复
                下一步计划是添加更多红外波段作为输入。计划中会添加Band08,09,10,11,16的波段差分,其中Band11是所有可用的波段中高云冰晶吸收最小的波段,可以改善对于稍厚高云的识别,Band08,09,10是水汽吸收波段,Band16是二氧化碳吸收波段。对这些波段取差分可以一定程度上获取云顶高度的信息,今晚试试看能不能把这些多的波段加进去如果成功,验证指标应该能再上一个档次


                IP属地:上海95楼2023-11-12 10:57
                回复
                  汇报一下进展5波段的实验成功了,SSIM上升到了0.818,RMSE降低到了0.0642,确实有比较明显的改善。现在正在加入Band8,Band9看看有没有进一步提升。


                  IP属地:上海96楼2023-11-15 12:18
                  回复
                    "Typhoon Xuan Lanuo"
                    重新读了一下用DNN训练AI-VIS的模型,这论文怎么发出来的


                    IP属地:上海来自Android客户端97楼2023-11-15 12:32
                    回复
                      H8/H9机动观测区数据+CGAN这个组合的试验已经接近尾声,稍作一下总结:
                      目前最好的一版的验证集表现:
                      SSIM 0.8217
                      RMSE 0.0640
                      这个数据横向对比其他论文应该是相当不错了,SSIM方面最好的是Harder的论文中用Unet++的模型的0.86,但是那个模型缺乏夜间的泛化能力,夜晚数据放进去整张图就暗掉了,其次就是Harder论文中的CGAN,但是SSIM只有0.77,再就是Cheng论文中的0.49。排除掉缺乏夜间泛化能力的模型,我们的模型SSIM已经能排第一了。RMSE方面KMA最新一篇红波段RMSE是0.061,略优于我们的模型,其余衡量过RMSE的五六篇论文RMSE都在0.1附近,也就是说我们模型的RMSE大概能排第二,不过KMA那篇用的是圆盘图训练,其实圆盘图中边框占接近四分之一的的黑色太空面积是能拉低RMSE的,所以我们RMSE其实也是第一了(确信)
                      不过就具体模拟表现来说还是有不少改善空间的。目前模型对VIS的纹理的模拟已经算是很到位了,低云,积云线的模拟大部分情况下也不错,主要的问题在于较厚卷云覆盖的区域模拟效果较差,比如CDO/雨带边缘区域很多时候难以模拟出VIS的那种暗区,看不出雨带的具体结构。


                      IP属地:上海98楼2023-11-21 09:53
                      回复
                        这两天做了一个很大胆的尝试,现在我们把太阳高度角也当做一个波段输入,由于有了太阳高度角的信息,现在我们可以把白天任何时间的图片都喂给模型去训练,让它自己参悟太阳高度角和VIS图像亮度与光影的关系。这相当于将我们的训练集扩大了10倍,会明显抑制过拟合的发生,让有效的训练轮次大大增加。
                        稍微透露一下,这次的训练效果真的非常不错从验证指标上来说远超之前的结果了,不过现在还在继续训练,晚点再发图


                        IP属地:上海99楼2023-11-24 09:39
                        收起回复
                          来几张AI-VIS的最新成果
                          左侧是AI-VIS 右侧是真VIS






                          IP属地:上海100楼2023-11-24 23:23
                          回复
                            哦对了 现在验证集指标SSIM 0.87336 RMSE 0.04449,已经全面超越同行论文了


                            IP属地:上海102楼2023-11-24 23:39
                            收起回复
                              来几张大家可能更熟悉的(除了最后一张,最后一张我也不太认识)






                              IP属地:上海103楼2023-11-25 10:31
                              收起回复