台风吧 关注:232,582贴子:6,100,097

回复:【资料存档】Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)

只看楼主收藏回复





IP属地:上海104楼2023-11-25 11:50
收起回复
    也不是每张验证集结果都这么完美,主要有俩问题,第一个是卷云识别不是很稳定,有些时候是识别不出来,有些时候反而识别过头了,比如下面这张moat(?)区域的卷云识别就有点过度,把moat的反射率模拟太低了。主要还是因为IR穿不太透卷云,缺乏物理信息,只能靠云的结构去猜。

    另一个问题是正午附近的可见光模拟偶尔会出现光斑,不过这个问题可能随着进一步训练会消失。


    IP属地:上海105楼2023-11-26 06:54
    收起回复
      两周没来本贴更新进展了
      这两周基本上一直在继续训练,这个模型已经训练了177个epoch了,对应200h+的训练时长(笔记本上的4060跑这么大的数据集还是挺吃力的
      现在SSIM已经达到了0.88以上,不过仍然没有过拟合,可以继续再训练一段时间。另外最近添加了另一个验证指标Pearson correlation coefficient,目前的模型能达到0.98的correlation coefficient,在这个指标上对比同类论文优势挺大的
      最近也一直在花时间给这个项目写论文,但是碍于模型还没训练完毕results和discussion部分有些内容写不了,好在模型应该也快训练完了,争取两周内把初稿写出来吧


      IP属地:上海来自Android客户端106楼2023-12-09 15:02
      回复
        训练趋近结束了,SSIM最高达到0.886左右,其他几个统计指标分别是PSNR28.26 RMSE0.0428 Correlation Coefficient0.984 Bias-0.0016


        IP属地:上海来自Android客户端107楼2023-12-15 05:48
        回复
          今天会拿新模型重新跑一遍布拉万的AIVIS视频应该能有很明显的改善


          IP属地:上海来自Android客户端108楼2023-12-15 05:49
          回复
            目前模型还有一个个人认为比较明显的缺陷,4706张验证集中有24张(约0.5%)出现了如图所示的白色噪斑:


            这个问题未来可能会通过去掉GANloss部分训练一小段解决


            IP属地:上海109楼2023-12-15 06:43
            收起回复
              介绍一下本模型比较炫酷的功能手动调控模拟的太阳方位角与天顶角,同一张IR根据输入的角度不同生成的AIVIS效果也不同
              以下是今年布拉万1130Z的AIVIS
              太阳天顶角35度 方位角-90度(太阳在西侧,相当于下午)

              太阳天顶角35度 方位角90度(太阳在东侧,相当于上午)
              太阳天顶角35度 方位角180度(太阳在南侧,相当于冬季偏高纬台风的正午)
              太阳天顶角35度 方位角0度(太阳在南侧,相当于...理论上没有台风可以达成这样的天顶角与方位角组合,这得是
              在南半球才行,所以最后这张光影模拟效果差一点)


              IP属地:上海110楼2023-12-15 09:46
              回复
                太阳天顶角逐渐增加的模拟,天顶角分别为15 35 55 75度





                IP属地:上海111楼2023-12-15 09:53
                收起回复
                  熏视频发出来了
                  【闲聊娱乐】布拉万新版AI-VIS云图视频 结尾很不幸撞上了一些噪斑


                  IP属地:上海来自Android客户端112楼2023-12-15 23:50
                  回复
                    来点夜间的验证,两张分别是DNB和AI-VIS
                    大致看看就行,俩卫星倾角不同,会有一点视差,云的位置可能会有小的偏移
                    这张应该是杰拉华



                    IP属地:上海113楼2023-12-21 02:02
                    回复
                      再来几组
                      18飞燕


                      18谭美


                      18玉兔的两个时刻





                      IP属地:上海114楼2023-12-22 14:49
                      收起回复
                        大佬能否公开一些模型结构可供参考学习一下?


                        IP属地:浙江来自iPhone客户端115楼2023-12-22 18:36
                        收起回复






                          对比一些细节部分,其实还能看出来有些不足的,尤其是外围辐散云系以及CDO部分有一些失真,对流塔的细节也有点被模糊了


                          IP属地:广东116楼2023-12-23 11:47
                          收起回复
                            然后是眼内的低云可能模拟的有点不太好,包括海面也是




                            当然,你可以认为我在找茬不过确实有点假(主要是细节确实有点少了)


                            IP属地:广东117楼2023-12-23 11:51
                            收起回复
                              最近稍微有点空,可以暂时开放一下AIVIS的订购,限H8/H9时代西太台风


                              IP属地:上海118楼2023-12-26 16:15
                              收起回复