图像字幕火炬 使用Inception_V3作为主干图像字幕的简单尝试。 基于Pytorch，无需关注（可能会在以后更新）

图片字幕 介绍 该项目是论文。 它可能并不完全相似。 使用Pytorch作为代码。 ResNet101用于提取功能。 您可以检查预训练的模型。 使用2017 Val图像[5K / 1GB]，注释[241MB]。 请检查make_vocab.py和data_loader.py。 Vocab.pickle是一个pickle文件，其中包含注释中的所有单词。 coco_ids.npy存储要使用的图像ID。 另外，您必须设置路径或其他设置。 执行prerocess_idx函数。 您可以运行源代码并尝试自己的示例。 环境 的Python 3.8.5 火炬1.7.1 CUDA 11.0 如何使用 火车 cd src python train.py 进行测试 cd src python sample.py 结果 时代100 说明文字：一名妇女在手提箱中手持一只泰迪熊 待办事项清单 张量

关于自动生成医学影像报告 On the Automatic Generation of Medical Imaging Reports一个pytorch实现。 有关该文件的详细信息，请参见 。 表现 从模型only_training / only_training / 20180528-02：44：52 / 模式 BLEU-1 BLEU-2 BLEU-3 BLEU-4 流星 胭脂 苹果酒 火车 0.386 0.275 0.215 0.176 0.187 0.369 1.075 值 0.303 0.182 0.118 0.077 0.143 0.256 0.214 测试 0.316 0.190 0.123 0.081 0.148 0.264 0.221 纸 0.517 0.386 0.306 0.247 0.217 0.447

注意图像字幕注意 该存储库包括“的实现。 要求 Python 3.6 Java 1.8.0 PyTorch 1.0 苹果酒（已经添加为子模块） coco-caption（已经添加为子模块） 张量板 培训AoANet 准备数据 请参阅data/README.md详细信息。 （注释：设置word_count_threshold在scripts/prepro_labels.py至4，以产生大小10369的词汇表。） 您还应该预处理数据集并获取缓存以计算苹果酒得分： $ python scripts/prepro_ngrams.py --input_json data/dataset_coco.json --dict_json data/cocotalk.json --output_pkl data/coco-train --split train 开始训练 $ CUDA_VISIB

奥斯卡：针对视觉和语言任务的对象语义对齐预训练 VinVL：重新研究视觉语言模型中的视觉表示 更新 月28日：已发布有关下游任务的模型，请检查 。 2020年5月15日：发布了用于下游任务微调的预训练模型，数据集和代码。 01/13/2021：我们的新工作提出了OSCAR +，这是OSCAR的改进版本，并提供了更好的对象属性检测模型来提取V + L任务的特征。 VinVL的工作在这里的所有七个V + L任务中都达到了SOTA性能。请继续关注模型和代码发布。 20年3月8日：发布了Oscar +预培训代码，请检查的最后一部分。 VinVL中的所有图像功能和模型检查点也已发布。请检查以获取详细信息。 介绍 该存储库包含重现《提出的结果所必需的源代码。我们提出了一种新的交叉模式预训练方法Oscar （对象语义对齐的预训练）。它利用在图像中检测到的对象标签作为锚点，从而大大简化了图像-文本对齐方

图像字幕生成器 使用CNN和RNN生成图像描述。

图像字幕 PyTorch中图像字幕模型的实现，支持不同类型的注意力机制。 目前仅提供经过预训练的ResNet152和VGG16，并具有批标准化功能作为编码器。 支持的型号： FC来自 Att2all来自 来自Att2in 来自空间关注来自自适应注意 通过capeval/评估字幕， capeval/是从衍生而来，细微的更改，以获得更好的Python 3支持 要求 MSCOCO原始数据集，请将它们放在同一目录中，例如COCO2014/ ，然后在COCO_ROOT中修改configs.py ，您可以在此处获取它们： 无需使用随机拆分， 需要，请将其放在COCO_PATH 具有GPU支持的PyTorch v0.3.1或更高版本。 TensorBoardX 用法 1.预处理 首先，我们应该预处理图像并将其存储在本地。 如果需要并行处理，则可以指定阶段。 所有经过预处理的图像都存储在COCO_R

这是图像字幕的教程。 这是我正在编写的第一篇，是关于如何使用令人惊叹的PyTorch库自己实现酷模型的。 假定具备PyTorch，卷积和递归神经网络的基本知识。 如果您是PyTorch的新手，请先阅读PyTorch的和 。 问题，建议或更正可以作为问题发布。 我在Python 3.6使用PyTorch 0.4 。 2020年1月27日：添加了两个新教程的工作代码-和 内容 客观的 为了构建可以为图像生成描述性标题的模型，我们提供了它。 为了使事情简单，让我们实现“显示，出席和讲述”文件。 这绝不是当前的最新技术，但仍然相当惊人。 作者的原始实现可以在此处找到。 该模型学习在哪里看。 当您逐字生成标题时，可以看到模型的视线在图像上移动。 这是有可能的，因为它具有“注意”机制，该机制可以使其专注于图像中与下一个要说的单词最相关的部分。 以下是在训练或验证期间未看到的测试图

CA⫶TR ：带有变压器的图像字幕 针对CATR的PyTorch培训代码和预训练模型（ CA ption TR ansformer）。 也可以通过割炬轮毂使用这些模型，以简单地加载具有预训练砝码的模型： model = torch . hub . load ( 'saahiluppal/catr' , 'v3' , pretrained = True ) # you can choose between v1, v2 and v3 样品： 所有这些图像均已由CATR注释。 使用您自己的图像进行测试： $ python predict.py --path /path/to/image --v v2 // You can choose between v1, v2, v3 [default is v3] 或在colab中试用 用法 CATR中没有多余的已编译组件，并且程序包依赖

图像字幕生成 InceptionV3-多层GRU（Keras和TensorFlow） 要求： Python 3.6 TensorFlow 1.13.1（安装tensorflow-1.13.1-cp36-cp36m-win_amd64.whl） 凯拉斯2.2.4 Joblib 1.0.1 Matplotlib 3.3.4 Open CV 4.5.1 熊猫1.1.5 Nltk 3.5 下载Flickr30k或MSCOCO数据集图像和标题。 训练模型的步骤： 克隆存储库以保留目录结构。 对于Flickr30k放在flickr30k图像文件夹或MSCOCO results_20130124.token和Flickr30k图像放captions_val2014.json和MSCOCO图像COCO-images文件夹中。 通过运行以下python keras2tensorflo