快速体验BaseNN，开始！

简介

BaseNN可以方便地逐层搭建神经网络，深入探究神经网络的原理。

安装

pip install basenn 或 pip install BaseNN

更新库文件：pip install --upgrade BaseNN

库文件源代码可以从PyPi下载，选择tar.gz格式下载，可用常见解压软件查看源码。

体验

运行demo/BaseNN_demo.py。

可以在命令行输入BaseNN查看安装的路径，在安装路径内，可以查看提供的更多demo案例。同时可查看附录。

如果在使用中出现类似报错：**AttributeError**: partially initialized module 'cv2' has no attribute 'gapi_wip_gst_GStreamerPipeline' (most likely due to a circular import)

可尝试通过运行pip install --upgrade opencv-python解决

第一个BaseNN项目：搭建全连接神经网络训练鸢尾花分类模型

第0步引入包

# 导入BaseNN库
from BaseNN import nn

第1步声明模型

model = nn('cls')

第2步载入数据

直接使用load_tab_data方法载入鸢尾花数据集，该数据集包含150个数据样本，分为3类（Versicolour鸢尾花、Setosa鸢尾花和Virginica鸢尾花），每类50个数据，每个数据包含4个属性（花萼长度、花萼宽度、花瓣长度和花瓣宽度）。

train_path = 'data/iris_training.csv'
model.load_tab_data(train_path, batch_size=120)

第3步搭建模型

逐层添加，搭建起模型结构。注释标明了数据经过各层的维度变化。此处我们搭建的是一个输入维度为4，输出维度为3，隐藏层数量为2的全连接神经网络。输入维度4与鸢尾花数据集的特征维度对应，输出3与类别数量对应。

model.add(layer='linear',size=(4, 10),activation='relu') # [120, 10]
model.add(layer='linear',size=(10, 5), activation='relu') # [120, 5]
model.add(layer='linear', size=(5, 3), activation='softmax') # [120, 3]

以上使用add()方法添加层，参数layer='linear'表示添加的层是线性层，size=(4,10)表示该层输入维度为4，输出维度为10，activation='relu'表示使用ReLU激活函数。

第4步模型训练

设置好模型保存的路径，使用train开始训练，需要设置学习率lr和轮次epochs。

# 设置模型保存的路径
model.save_fold = 'checkpoints/iris_ckpt'
# 模型训练
model.train(lr=0.01, epochs=1000)

也可以使用继续训练：

checkpoint = 'checkpoints/basenn.pth'
model.train(lr=0.01, epochs=1000, checkpoint=checkpoint)

参数lr为学习率， epochs为训练轮数，checkpoint为现有模型路径，当使用checkpoint参数时，模型基于一个已有的模型继续训练，不使用checkpoint参数时，模型从零开始训练。

第5步模型测试

可以直接用测试数据查看模型效果。

读取数据。

# 用测试数据查看模型效果
model2 = nn('cls')
test_path = 'data/iris_test.csv'
test_x = np.loadtxt(test_path, dtype=float, delimiter=',',skiprows=1,usecols=range(0,4)) 
# 获取最后一列的真实值
test_y = np.loadtxt(test_path, dtype=float, delimiter=',',skiprows=1,usecols=4) 

模型推理并定义一个计算分类正确率的函数计算测试集上准确率。

res = model2.inference(test_x, checkpoint="checkpoints/iris_ckpt/basenn.pth")
model2.print_result(res)

# 定义一个计算分类正确率的函数
def cal_accuracy(y, pred_y):
    res = pred_y.argmax(axis=1)
    tp = np.array(y)==np.array(res)
    acc = np.sum(tp)/ y.shape[0]
    return acc

# 计算分类正确率
print("分类正确率为：",cal_accuracy(test_y, res))

用某组测试数据查看模型效果。

# 用某组测试数据查看模型效果
data = [test_x[0]]
checkpoint = 'checkpoints/iris_ckpt/basenn.pth'
res = model.inference(data=data, checkpoint=checkpoint)
model.print_result(res) # 输出字典格式结果

参数data为待推理的测试数据数据，该参数必须传入值；

checkpoint为已有模型路径，即使用现有的模型进行推理。

快速体验

体验BaseNN的最快速方式是通过OpenInnoLab平台。

OpenInnoLab平台为上海人工智能实验室推出的青少年AI学习平台，满足青少年的AI学习和创作需求，支持在线编程。在“项目”中查看更多，搜索”BaseNN“，即可找到所有与BaseNN相关的体验项目。

AI项目工坊：https://www.openinnolab.org.cn/pjlab/projects/list?backpath=/pjlab/ai/projects

（用Chrome浏览器打开效果最佳）

用BaseNN库搭建搭建鸢尾花分类模型项目地址：https://www.openinnolab.org.cn/pjlab/project?id=641bc2359c0eb14f22fdbbb1&sc=635638d69ed68060c638f979#public

挑战使用BaseNN完成第一个回归项目：房价预测

Boston Housing Dataset（波士顿房价数据集）是一个著名的数据集，经常用于机器学习和统计分析中。该数据集包含波士顿郊区房屋的各种信息，包括房价和与房价可能相关的各种属性。选择了四个与房价关系较大的特征：RM (每栋住宅的平均房间数)、LSTAT (人口中较低地位的百分比)、PTRATIO (师生比例)、NOX (一氧化氮浓度) 。进行数据预处理后生成了已提取出只有这四列特征和预测值且做了归一化处理的训练集（house_price_data_norm_train.csv）、验证集（house_price_data_norm_val.csv），搭建模型进行训练，数据预处理的代码可参考原项目。

项目地址：

https://www.openinnolab.org.cn/pjlab/project?id=656d99e87e42e551fa5f89bd&sc=62f34141bf4f550f3e926e0e#public

（用Chrome浏览器打开效果最佳）

第0步引入包

# 导入库
from BaseNN import nn

第1步声明模型

# 声明模型，选择回归任务
model = nn('reg') 

第2步载入数据

model.load_tab_data('house_price_data_norm_train.csv',batch_size=1024) # 载入数据

注：载入的数据集是做归一化之后并完成数据拆分的训练集。原项目中涉及数据归一化处理的步骤，使用sklearn.preprocessing的MinMaxScaler类，将每个特征缩放到给定的范围（在您的案例中是0到1），这是通过将最小值映射到0，最大值映射到1来实现的。对于中间的值，它们根据最大和最小值线性地缩放。

第3步搭建一个3层的全连接神经网络

逐层添加，此处我们搭建的是一个输入维度为4，输出维度为1，隐藏层数量为2的全连接神经网络。输入维度4与数据集的特征维度对应，在任务中，由于我们只预测一个目标值房价，则输出维度设定为 1。

model.add('Linear', size=(4, 64),activation='ReLU')  
model.add('Linear', size=(64, 4), activation='ReLU') 
model.add('Linear', size=(4, 1))
model.add(optimizer='Adam')

第4步模型训练

# 设置模型保存的路径
model.save_fold = 'checkpoints/ckpt'
model.train(lr=0.008, epochs=5000,loss='MSELoss') # 训练

第5步模型测试

此步骤可以借助验证集完成。

读取数据。

import numpy as np
# 读取验证集
val_path = 'house_price_data_norm_val.csv'
val_x = np.loadtxt(val_path, dtype=float, delimiter=',',skiprows=1,usecols=range(0,4)) # 读取特征列
val_y = np.loadtxt(val_path, dtype=float, delimiter=',',skiprows=1,usecols=4) # 读取预测值列

对验证集完成模型推理。

# 导入库
from BaseNN import nn
# 声明模型
model = nn('reg') 
y_pred = model.inference(val_x,checkpoint = 'checkpoints/ckpt2/basenn.pth')  # 对该数据进行预测

绘制曲线图。

# 绘制真实数据和预测比较曲线
import matplotlib.pyplot as plt
plt.plot(val_y, label='val')
plt.plot(y_pred, label='pred')
plt.legend()
plt.show()

对比输出，查看回归的效果，觉得效果还是很不错的。

../_images/huigui.png

第6步模型应用

最后，可将模型应用于推理新数据。输入一组新的数据进行模型推理，需先完成数据处理，涉及的数据处理的代码会较长，此处是为了应用之前在训练集 (x) 上通过 fit_transform 方法学习到的scaler来转换 val_x。这确保了数据的一致性，因为对于模型来说，重要的是以相同的方式缩放训练数据和验证/测试数据。

# 导入库
from BaseNN import nn
# 声明模型
model = nn('reg') 
# 输入一组数据
data = [[4,5,20,2]]
# 数据预处理
from sklearn.preprocessing import MinMaxScaler
import numpy as np
train_path = 'data/house-price-data.csv'
x = np.loadtxt(train_path, dtype=float, delimiter=',',skiprows=1,usecols=[4,5,10,12]) # 读取特征列
scaler = MinMaxScaler() # 创建MinMaxScaler实例
x = scaler.fit_transform(x) # 将训练集的特征x拟合并转换到0-1范围并获取scaler
data = scaler.transform(data)

# 模型推理
y_pred = model.inference(data,checkpoint = 'checkpoints/ckpt2/basenn.pth')  # 对该数据进行预测
#输出预测
print('我的房价预测结果是：',y_pred[0][0],'（单位：千美元）')

挑战使用BaseNN完成第一个自然语言处理项目：自动写诗机

第0步引入包

# 导入BaseNN库、numpy库，numpy库用于数据处理
from BaseNN import nn
import numpy as np

第1步声明模型

model = nn('cls')

第2步载入数据

tangccc.npz是本项目的文本数据，源于互联网，包括57580首唐诗。npz是一种用于存储NumPy数组数据的文件格式。

npz文件是一种方便的方式来保存和加载NumPy数组，通常用于在不同的Python程序之间或不同的计算环境中共享数据。

在该项目中可以使用load_npz_data()方法直接读取npz格式的数据到模型中

model.load_npz_data('tangccc.npz')

第3步搭建LSTM模型

搭建模型只需加入em_lstm层即可，其他层会自适应补充，其中num_layers参数为循环神经网络循环的次数。

em_LSTM由包括embedding层，LSTM层和线性层组成，因为有embedding层的加入，所以em_LSTM可以专门处理文本数据。

model.add('em_lstm', size=(128,256),num_layers=2) 

第4步模型训练

为了节省训练时间，可以选择继续训练。

checkpoint = 'model.pth'
model.save_fold = 'checkpoints'
model.train(lr=0.005, epochs=1,batch_size=16, checkpoint=checkpoint)

第5步模型测试

可以输入一个字输出下一个字。

input = '长'
checkpoint = 'model.pth'
result = model.inference(data=input,checkpoint=checkpoint) # output是多维向量，接下来转化为汉字
output = result[0]
print("output: ",output)
index = np.argmax(output) # 找到概率最大的字的索引
w = model.ix2word[index] # 根据索引从词表中找到字
print("word:",w)

拓展

可以使用训练好的模型生成唐诗，生成藏头诗，做各种有意思的应用。

更多内容详见用BaseNN实现自动写诗机项目，项目地址：https://www.openinnolab.org.cn/pjlab/project?id=641c00bbba932064ea962783&sc=635638d69ed68060c638f979#public

更多案例详见下文。

快速体验BaseNN，开始！

简介

安装

体验

第一个BaseNN项目：搭建全连接神经网络训练鸢尾花分类模型

第0步 引入包

第1步 声明模型

第2步 载入数据

第3步 搭建模型

第4步 模型训练

第5步 模型测试

快速体验

挑战使用BaseNN完成第一个回归项目：房价预测

第0步 引入包

第1步 声明模型

第2步 载入数据

第3步 搭建一个3层的全连接神经网络

第4步 模型训练

第5步 模型测试

第6步 模型应用

挑战使用BaseNN完成第一个自然语言处理项目：自动写诗机

第0步 引入包

第1步 声明模型

第2步 载入数据

第3步 搭建LSTM模型

第4步 模型训练

第5步 模型测试

拓展

第0步引入包

第1步声明模型

第2步载入数据

第3步搭建模型

第4步模型训练

第5步模型测试

第0步引入包

第1步声明模型

第2步载入数据

第3步搭建一个3层的全连接神经网络

第4步模型训练

第5步模型测试

第6步模型应用

第0步引入包

第1步声明模型

第2步载入数据

第3步搭建LSTM模型

第4步模型训练

第5步模型测试