标签：KLD loss pred torch kld 例子 tf true

import cv2
import numpy as np
import torch
import torch.nn.functional as F
import tensorflow as tf

y_true=np.random.randn(1,2,2)
y_pred=np.random.randn(1,2,2)
print('y_true',y_true, '\t y_pred', y_pred)

def tf_kld (y_true, y_pred):
    
    y_true = tf.convert_to_tensor(y_true)
    y_pred = tf.convert_to_tensor(y_pred)
    y_true = tf.reshape(y_true, [1,-1])
    y_pred = tf.reshape(y_pred, [1,-1])
    y_true=tf.nn.softmax(y_true)
    y_pred=tf.nn.softmax(y_pred)
    print('tf softmax y_pred:', y_pred)
    kld_loss = tf.reduce_sum(y_true*tf.math.log(y_true/y_pred), axis=1)
    return kld_loss

def torch_kld(y_true, y_pred):
    y_true = torch.from_numpy(y_true)
    y_pred = torch.from_numpy(y_pred)
    y_true = y_true.view(1, -1)
    y_pred = y_pred.view(1, -1)
    y_true = F.softmax(y_true, dim=1)
    y_pred = F.log_softmax(y_pred, dim=1)
    print('torch softmax y_pred:', y_pred)
    # print('torch kld loss:', (y_true*torch.log(y_true/y_pred)).sum(-1))
    kld = F.kl_div(y_pred, y_true, reduction='none')
    kld_loss = kld.sum(-1)
    return kld_loss

print('tensorflow kld loss:', tf_kld(y_true, y_pred))
print('pytorch kld loss:', torch_kld(y_true, y_pred))

标签：KLD,loss,pred,torch,kld,例子,tf,true
来源： https://blog.csdn.net/u010736662/article/details/118906662

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。