图片、视频、语音等非结构化数据在快速增长，随着深度学习技术的不断升级，非结构化数据的搜索也逐渐形成可能。在这样的背景下，专注于神经搜索技术的商业开源软件公司——Jina AI，提出了神经搜索 (Neural Search) ，借助深度学习技术搜索非结构化数据。 现在，矩池云 Matpool 已经支持 Jina 框架，学习者和研究者只需在租用机器时选择 Jina 镜像，就可以体会高效的、大规模非结构化数据搜索，同时矩池云团队版用户还可实现基于镜像、资料、算力、存储等共享，完成高效协作。 神经搜索 (Neural Search) 首先，我们来了解一下什么是神经搜索 (Neura...

本文为矩池云入门手册的补充：Pytorch训练MNIST数据集代码运行过程。 案例代码和对应数据集，以及在矩池云上的详细操作可以在矩池云入门手册中查看，本文基于矩池云入门手册，默认用户已经完成了机器租用，上传解压好了数据、代码，并使用jupyter lab进行代码运行。 在MATPool矩池云完成Pytorch训练MNIST数据集 1. 安装自己需要的第三方包 以tqdm包为例子，如果在运行代码过程出现了ModuleNotFoundError: No module named 'tqdm'，说明我们选择的系统镜像中没有预装这个包，我们只需要再JupyterLab的Terminal输入pip i...

这是 CVPR 2018 的一篇少样本学习论文：Learning to Compare: Relation Network for Few-Shot Learning 源码地址：https://github.com/floodsung/LearningToCompare_FSL 环境选用 Tensorflow 1.4 因为他是 cuda8 的。 切换conda源 bash /public/script/switch_conda_source.sh 创建虚拟python环境 conda create -n py27 python=2.7 conda deactivate conda act...

我选用的是cuda10.1纯镜像 案例来自paddlepaddle官方PaddleGAN库中，可以查看 https://github.com/PaddlePaddle/PaddleGAN/ https://github.com/wzmsltw/PaintTransformer 安装需要的软件包 apt-get install cuda-cusolver-dev-10-1 conda install paddlepaddle-gpu==2.1.2 cudatoolkit=10.1 --channel https://mirrors.bfsu.edu.cn/anaconda/cloud/Pad...

租用机器添加默认端口 点击展开高级选项 点击添加端口配置 添加Visdom默认端口，选择 http 端口填入 8097 进入环境安装并使用 JupyterLab 链接 是本次实验用来安装实验的工具 HTTP 8097端口 链接 打开是你的Visdom了 安装 pip install visdom 启动 python -m visdom.server 注意 bash ioloop.install() # Needs to happen before any tornado imports! Checking for scripts. Downloading script...

本教程租用的是2080ti，3.7多框架镜像。 添加nvidia-cuda的阿里源 curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/7fa2af80.pub | apt-key add - echo "deb https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/ /" > /etc/apt/sources.list.d/cuda.list apt update 安装nvidia opencl apt search n...

选择cuda10.1的镜像 更新源及拷贝文件到本地 apt-get update cp -r /public/database/milvus/ / cd /milvus/ cp ./lib/* /usr/lib/ 安装mysql等必备的包 apt-get install mysql-server dpkg -i libmysqlclient-dev_5.6.25-0ubuntu1_amd64.deb libmysqlclient18_5.6.25-0ubuntu1_amd64.deb 安装libopenblas-dev apt-get install libopenblas-dev ...

使用的是P100，cuda11.1base镜像 创建虚拟环境 conda create -n py36 python=3.6 conda deactivate conda activate py36 安装依赖包 apt update apt-get install libopencv-dev libopenblas-dev libopenblas-base libhdf5-dev protobuf-compiler libgoogle-glog-dev libgflags-dev libprotobuf-dev libboost-dev libleveldb-dev liblmdb-dev l...

矩池云是一个专业的国内深度学习云平台，拥有着良好的深度学习云端训练体验，和高性价比的GPU集群资源。而且对同学们比较友好，会经常做一些大折扣的活动，最近双十一，全场所有的RTX 2070、Platinum 8260机器打三折，以2070为例，充值150元原价只能使用30小时，打折后可以使用100小时。 当然这里要介绍的是矩池云新上线的私有云免费部署服务可以用来干什么。这里，我们用知乎上的一个问题“如何搭建多人共用的GPU服务器？”来介绍它。 通常情况下，课题组或实验室会自己购买多卡的GPU服务器，但是因为市场上并没有的专业且价格合适的显卡集群管理解决方案，不能很好把机器进行虚拟化，所以只能把...

今天给大家介绍提升方法(Boosting), 提升算法是一种可以用来减小监督式学习中偏差的机器学习算法。 面对的问题是迈可·肯斯（Michael Kearns）提出的：一组“弱学习者”的集合能否生成一个“强学习者”？ 弱学习者一般是指一个分类器，它的结果只比随机分类好一点点。强学习者指分类器的结果非常接近真值。 大多数提升算法包括由迭代使用弱学习分类器组成，并将其结果加入一个最终的成强学习分类器。加入的过程中，通常根据它们的分类准确率给予不同的权重。加和弱学习者之后，数据通常会被重新加权，来强化对之前分类错误数据点的分类。 提升算法有种三个臭皮匠顶个诸葛亮的意思。在这里将使用微软的LightG...

大家好，福利君今天给给大家带来的是一则消息。矩池云将上架了超微八卡 GPU 服务器，全新的机器组合，可靠的服务品质。 产品性能 在这里引用 Lambda Labs 基于 FP32 对多 GPU 扩展训练性能评测的数据。 两张 RTX 2080 Ti 是一张 RTX 2080 Ti 的 1.8 倍； 四张 RTX 2080 Ti 是一张 RTX 2080 Ti 的 3.3 倍； 八张 RTX 2080 Ti 是一张 RTX 2080 Ti 的 5.1 倍。 通过上述测评数据，可以看到多张 RTX 2080 Ti 并行计算带来的性能提升还是非常显著的。 产品解析 作为超微的服务器准系统装备，这台...

作为图像识别与机器视觉界的 "hello world!" ，MNIST ("Modified National Institute of Standards and Technology")数据集有着举足轻重的地位。基本上每本人工智能、机器学习相关的书上都以它作为开始。 下面我们会用 TensorFlow 搭建一个浅层的神经网络来运行 "hello world!" 模型。 以下内容和模块的运算，均在矩池云平台进行。 本次教程分五步： 第一步：数据预处理，包括提取数据标签、查看图片数据、数据可视化、查看数据是否平衡等 第二步：数据加载...

在上个数字识别的例子中，我们使用了一个简单的3层神经网络来识别给定图片的中的数字。 这次我们在上次的例子中在提升一下，这次我们选用条件生成对抗模型(Conditional Generative Adversarial Networks)来生成数字图片。 下面就让我们开始吧！ 第一步：import 我们需要的数据库 %matplotlib inline from __future__ import print_function, division import numpy as np import pandas as pd import matplotlib.pyplot as plt im...

连日来，新型冠状病毒感染的肺炎疫情，牵动的不仅仅是全武汉、全湖北，更是全国人民的心，大家纷纷以自己独特的方式为武汉加油！我们相信坚持下去，终会春暖花开。 今天让我们以简单实用的神经网络模型，来检测肺炎的CT影像。 第一步：导入我们需要的库 from keras.preprocessing.image import ImageDataGenerator, load_img from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten, ZeroPadding2D, Conv2D, Max...