0%

简历项目介绍

智能辅助健身锻炼系统

项目介绍

本项目(是和深圳趣感科技公司委托下)搭建的一个远程的在线辅助健身锻炼系统,类似于keep软件,但项目核心通过评分机制促进用户的锻炼效果。项目针对的是需要在家完成健身锻炼的人群,通过2D摄像头采集用户的锻炼视频,实时上传到系统的业务后台,利用服务器端提供的姿态估计和行为识别算法,评估用户的锻炼效果,辅助用户在家完成健身锻炼。

项目背景

深圳趣感科技公司是开发一款穿戴式跑步训练指导系统,通过传感器采集人体运动数据,对跑步姿态进行科学评估,根据评估结果生成个性化的力量训练和跑姿改善计划,并实时监测训练完成度和质量。
深圳趣感科技提供了的一系列标准5-6分钟的锻炼视频,作为锻炼动作的模板。每个动作持续时间是3-5s,

项目架构

本项目是分模块设计的,前端是网页版智能健身指导平台,结合摄像头采集用户的锻炼视频及标准的锻炼视频和用户锻炼效果的展示。中间是系统的业务后台,负责对视频流数据和姿态数据的处理、封装和转发。最后是服务器端,主要运行姿态估计和行为识别等算法,通过人体关键点评估用户的锻炼效果。

技术选型

项目的前端是基于vue.js的Element框架搭建,业务后台是基于java的SpringBoot+Mybatis框架;算法层大多基于python实现,主要完成2D的人体姿态估计和基于关键点的行为识别算法。利用openpose获取人体关键点,然后将17个关键点坐标输入HCN网络进行行为分类。在三次准备动作中,若两次动作类别正确,则判断用户开始锻炼。最后采用DTW算法对该段时间内用户锻炼的关键点和正确指导视频的关键点进行匹配,判断用户锻炼的效果。
HCN网络一种端到端的共现特征学习框架,其使用了 CNN 来自动地从骨架序列中学习分层的共现特征。我们首先使用核大小为 n×1 的卷积层独立地为每个关节学习了点层面的特征。然后我们再将该卷积层的输出转置,以将关节的维度作为通道。如果一个骨架的每个关节都被当作是一个通道,那么卷积层就可以轻松地学习所有关节的共现。在这个转置运算之后,后续的层分层地聚合来自所有关节的全局特征。通过构建这种结构,在使用7层的网络就能获得较高的行为识别的准确率。
共现性:人的某个行为动作常常和骨架的一些特定关节点构成的集合,以及这个集合中节点的交互密切相关。如要判别是否在打电话,关节点“手腕”、“手肘”、“肩膀”和“头”的动作最为关键。我们将这种几个关节点同时影响和决定判别的特性称为共现性。

创新点

(1)结合openpose和基于骨骼的行为识别算法,实现了真实场景下具有较高鲁棒性的动作分类及评估。(2)算法层与平台之间的视频通信采用redis的消息中间件,采用发布/订阅模式为不同的任务订阅不同channel,实行并行的任务处理。(3)算法模块中行为识别算法创新主要体现在论文中,我可以给你详细介绍一下我的论文。

难点

遇到的最大的问题是什么?怎么解决的?学到了什么?
项目遇到的最大问题是系统方案的设计,针对项目的需求,实时的姿态估计前后端、服务器间的通信机制的实现,单一动作样本实现动作评估的算法模型选择等等,都花费大量的时间进行前期的项目调研,查询相关的资料文献、咨询有开发经验的师兄们后才最终明确系统的设计方案。
系统后台和服务器端间的通信,为了满足项目的实时性需求,采用redis做二者的消息中间件,利用redis的发布/订阅模式,完成图像信息的传输。
在这次的项目中,培养了我对现有资料的总结和应用能力,对系统方案宏观考虑和设计的能力,以及在团队合作时成员间协作配合的能力。

项目负责人带领多少人的团队?从哪些维度规划项目?项目时间节点把握?

项目是四个人的团队。主要从功能模块和时间线规划项目。功能模块分为三个部分,主要是前端、后台和算法模块。前端和后台各安排一位同学完成,还有两个同学专注于算法模块的设计,分别负责姿态估计和行为识别算法。在时间上主要是半个月的调研以及和客户的沟通、方案的设计。然后是两个月的系统框架的初步搭建,以及最后三个月的界面调整和算法优化。

项目最大的收获是什么?

在完整负责了一个项目设计和开发过程后,培养了我对现有资料的学习、总结和应用能力,对系统方案宏观考虑和设计的能力,以及在团队合作时成员间任务分配和协作配合能力。

项目的后期扩展有哪些?

项目后期扩展可以从功能角度考虑,比如和专业健身教练合作为每个用户定制个性化的健身计划,通过系统评分有效促进健身锻炼。从算法层面考虑,通过更细粒度的标注信息,如动作锻炼的次数,关节角度等,提高动作评估的多样性和科学性。

选取openpose的指标?为什么采用openpose?

使用姿态估计算法时,主要考虑了openpose和alphapose两种技术,在准确率和速度上,openpose达到60mAP和10FPS,alphapose达到71mAP和20FPS,二者性能差距不大,但从系统的后期扩展性考虑,使用openpose可以估计半身或局部的人体姿态,便于系统功能扩展。
采用openpose的最大原因是视频数据单一,只有单人的标准健身视频,在通过深度学习判断动作类别时存在大量的背景干扰,采用姿态估计获得人体的关键点进行动作评估,可以有效减低背景干扰,增强系统的鲁棒性。

动作相似度是怎么判断的?动作时间规划在项目中如何实现?

DTW动态时间规划,可以计算两个时间序列的相似度,尤其适合用于不同长度、不同节奏的时间序列。DTW将自动对时间序列进行缩放,使得两个序列的形态尽可能一致,得到最大可能的相似度。
我们假设用户的动作序列为Q和标准的锻炼动作序列为C,其中Q和C分别代表动作开始到结束期间人体的关键点坐标序列,即序列中的每一时刻都是由人体的17个关键点的坐标构成,标准动作序列事先通过openpose采集存放在数据库,根据行为识别判断的人体动作类别来获取,所有的人体关键点的空间坐标转换为相对人体的重心位置的相对坐标。动作匹配就转化为比较在动作发生时间内用户动作的关键点序列与标准模板的关键点序列的相似度进行评分。我们需要构造一个nxm的矩阵网格,n和m分别表征两段动作序列的长度。矩阵元素(i, j)表示两段动作序列qi和cj两帧的空间距离d(qi, cj)(每一帧都是在计算17个对应的人体关键点空间距离,也就是序列Q的每一个点和序列C的每一个点之间的相似度,距离越小则相似度越高。)。从开始时间匹配这两个动作序列Q和C,每经过一帧,之前所计算的空间距离都会累加。到达终点(n, m)后,这个累积距离就是我们上面说的最后的总的距离,也就是序列Q和C的相似度。通过使累积的距离最小,来判断两动作序列的最大可能相似度。

常见的消息队列有哪些及其功能是什么?

当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ等,而部分数据库如Redis、MySQL以及phxsql也可以实现消息队列的功能。
消息队列是指利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。
消息队列的特点:
1)采用异步处理模式
消息发送者 可以发送一个消息而无须等待响应。消息发送者 将消息发送到一条 虚拟的通道(主题 或 队列)上,消息接收者 则 订阅 或是 监听 该通道。一条信息可能最终转发给 一个或多个 消息接收者,这些接收者都无需对 消息发送者 做出 同步回应。整个过程都是异步的。
2)应用系统之间解耦合
发送者和接受者不必了解对方、只需要 确认消息;发送者和接受者 不必同时在线。

电信亿迅智慧安防系统

项目介绍

北邮和电信集团亿迅公司合作的智慧安防系统,系统采用基于深度学习的目标检测算法,对场景中的人脸和人体进行结构化分析和特征提取,分析人员的头部特征和穿着特征以及运动特征。

主要工作

主要负责多目标跟踪模块,采用YoloV3算法检测出人体位置,利用deepsort算法进行在线的多目标追踪。

国家电网能力开放平台(项目核心成员)

项目介绍

北邮与国家电网电车公司合作的,面向服务提供方ISP和应用开发方ISV设计开发的能力开放平台,能有效整合服务资源,通过能力开放的形式吸引服务提供商在平台完成注册、发布API,并与应用开发方建立商业联系。平台则需完成对ISP、ISV的服务监管和计量计费。

项目架构

基于微服务架构设计,分为协议转换模块、控制接入模块和平台管理模块。

主要工作

主要负责与国家电网南瑞子公司进行需求对接,并且主导了整体架构微服务的设计,完成了“协议转换模块”、“流量控制模块”、“权限管理模块”和“计费管理模块”的设计与实现。
1)协议转换模块:因为系统之间通信使用的基于阿里的HSF通信协议,所以需要将http接口转换为hsf需要的接口样式,对于用户的http调用,采用Spring AOP做了一个拦截,具体采用的Around方法,在调用之前,调用之中,调用之后分别对请求做了一些操作。
2)接入控制模块:对应协议控制模块中的拦截之前,对用户请求做了:鉴权、流控。在请求之后,做了计量计费操作。
鉴权:用户表,角色表,权限表,可见的菜单表,页面元素、文件表。
限流:基于Redis+Lua脚本,实现了基于固定时间分片的分布式限流。(1)通过spring AOP方法拦截的用户请求中获得用户调用的appid和apiid。根据appid和apiid组合的key值,在redis缓存中查找用户的流量控制策略。 (2)将appid、apiid和当前时间戳组合作为key值,将最大访问次数作为value值存入redis中,用户调用一次接口,将value值加一,在限制时间内达到最大次数,返回-1,否则返回+1,根据返回的状态对请求进行放行或拒绝。(3)Redis中不存在该流控策略,根据apiid从数据库中查找对应的流量控制策略,并将appid和apiid作为key值,流控策略作为value值存入redis中,并执行一次方法(2)。
计费:采用是工厂模式,产生三种计费方式:“按照时间计费(包年包月)”、“按照流量计费”、“按照次数计费”。

亮点:

设计模式:
1)代理模式:协议转换和访问控制模块之间采用了代理模式,整个协议控制模块都相当于中介。使用了AOP对原始方法做了处理,AOP本身利用反射对目标方法使用了动态代理模式。
2)策略模式:定义一系列控制算法,并且使得他们之间可以互换。访问控制模块使用该设计模式,分为“正常状态下的访问”和“测试状态下的访问”,这两种不同的状态,包含了不同的控制策略。“正常状态下的访问”:鉴权、流控、计费,“测试状态下的访问”:鉴权、流控,不包计费。利用Spring将这些策略注入到不同的List中,然后依次进行调用。
3)工厂模式:将“包年包月计费”、“按照流量计费”、“按照次数计费”实现同一个接口,并用工厂类,利用反射来调用这些计费方式。
微服务:
多个模块独立部署:对于不同的模块,进行不同方向上的拓展。项目中:协议转换模块承载最大的用户接入,需要做X轴拓展,通过负载均衡,对请求进行分发。而访问控制模块则分为不同的小模块,可以做数据库的Y轴上业务的拓展(功能性拆分)。可以按照服务队硬件资源不同的需求进行升级!
模块解耦,本项目是采用基于RPC的HSF协议进行模块之间的通信,面向连接。HSF是阿里内部使用的模块间通信方式。在调通分布式模块之间通信的遇到过一个比较大的问题,后来通过分析Edas平台各个服务器IP地址和服务端口以及redis日志文件,判断到最后是因为一个模块之间的redis地址出错导致没有启动redis,引发的后续通信的问题,体现了排错能力和自主解决问题的能力。

2018广东工业智造大数据创新大赛—铝型材表面瑕疵识别

项目介绍

在铝型材的实际生产过程中,由于各方面的影响,铝型材表面会产生
裂纹、起皮、划伤等瑕疵,影响铝型材的质量。为保证产品质量,需要人工进行肉眼目测。然而,铝型材的表面自身会含有纹路,与瑕疵的区分度不高。传统人工肉眼检查十分费力,不能及时准确的判断出表面瑕疵,质检的效率难以把控。铝型材制造商迫切希望采用最新的AI技术来革新现有质检流程,自动完成质检任务,减少漏检发生率,提高产品的质量。

数据集

瑕疵类型:不导电、檫花、角位漏底、桔皮、漏底、喷流、漆泡、起坑、杂色和脏点10类。训练时加上“正常”类别和“其他”类别一共12类。
初赛数据量:3000张图片,包含所有的瑕疵类型。初赛的图片结果为单标签的,即一张图片只有一种瑕疵。“其他”的类别文件夹中瑕疵初赛不要求细分,只是统一划分为一类。
初赛是分类任务,初赛提交的文件是csv文件,只需要提交测试集中图片名称和对应的类别标签。
分辨率统一为2056x1920
训练集:guangdong_round1_train1_20180903,约240M,约250张图片
guangdong_round1_train2_20180916,约1G。
分为无瑕疵图片1018张,和有瑕疵图片1120张
测试集:a榜:guangdong_round1_test_a_20180916,约384兆,440张图片
b榜:guangdong_round1_test_b_20181009,约825兆,1000张图片。
复赛图片大约有4356张图片,包含单瑕疵图片、多瑕疵图片和无瑕疵图片。单瑕疵图片指所含瑕疵类型只有一种的图片,但图片中可能出现多处相同类型的瑕疵;多瑕疵图片指所含瑕疵类型多于一种的图片;无瑕疵图片指瑕疵可忽略不计的图片,这些图片不需要标注。
复赛是检测任务,需要检测测试集中每幅图像所有瑕疵的位置和类型,瑕疵的位置通过矩形检测框进行标记,需给出各个矩形检测框的置信度,并将检测结果保存为utf-8编码的json文件。
训练集:guangdong_round1_train2_20181011,约6G,分为单瑕疵图片2776张,多瑕疵图片229张和无瑕疵图片1351张。
测试集:a榜:guangdong_round2_test_a_20181011,约420M,500张图片
b榜:guangdong_round2_test_b_20181106,约841M,1000张图片

比赛内容

在给定的生产线上铝型材监测影像上标注出瑕疵的位置并判断瑕疵类型。在前期的数据统计中,我们发现瑕疵的IOU占比小于0.1的样本数量占总体的63%左右,但还有5%的数据IOU占比达到0.7-0.8左右。样本数据存在瑕疵的尺寸大小变化大,两极分化严重,且微小瑕疵的样本数量多等问题。针对瑕疵的长宽比例不均匀,我们首先采用faster R-CNN来适应更多的长宽比,并采用resnet101作为骨干网络减少漏检的概率。针对微小瑕疵样本数量多的问题,我们采用特征金字塔网络(FPN)来对网络进行改进,并进一步采用ROIAlign替换ROIPooling,来提高小目标的检测效果。在训练过程中,我们使用数据增强和多尺度训练的方法,提高了模型的泛化能力及稳定性。在测试阶段,我们采用soft NMS替换NMS,实现更精细的回归框,提高检测结果。

方案设计

在前期的数据统计过程中,我们发现瑕疵的IOU占比小于0.1的数量占到总体的60%,但还有5%左右的数据主要是IOU占比达到0.7-0.8左右。瑕疵的矩形框尺寸大小变化大,两极分化严重,而且微小瑕疵的样本数量多。针对瑕疵的长宽比例不均匀,我们采用faster R-CNN两阶段来适应更多的长宽比。在单模的网络中我们首先会将图片缩小两倍之后才作为网络的输入。主干网络选取的是Resnet-101,在整个卷积的过程中,提取到特征的大小相对于输入图片是缩小了16倍。也就是说,从原图到最后一层的卷积特征,空间大小一共下降了32倍。 由于之后每一个候选框特征会被缩放到7x7的大小,如果说本身缩放前的特征就非常的小,那么缩放之后的特征是不具有判别力的。我们统计了一下数据集中边长<=64的样本,发现这类小样本占了整个数据集的10%,这会严重地影响性能。为了解决这个问题,我们采用了特征金字塔结构(FPN)来对网络进行改进。把高层特征做2倍上采样(最近邻上采样),然后将其和对应的前一层特征结合(前一层要经过$1\times 1$的卷积核才能用,目的是改变channels,使之和后一层的channels相同),结合方式就是element-wise相加的操作。最后,使用$3\times 3$的卷积核去处理已经融合的特征图(为了消除上采样的混叠效应),以生成最后需要的特征图。我们总结了一下,特征金字塔在这个任务中具有两个优点:第一,在卷积神经网络中,高层的特征具有强的语义信息,低层的特征具有结构信息,因此 将高低层的信息进行结合,是可以增强特征的表达能力的。第二,我们将候选框产生和提取特征的位置分散到了特征金字塔的每一层,这样可以增加小目标的特征映射分辨率,对最后的预测也是有好处的。
Faster RCNN+FPN网络
考虑到模型训练时间,实际的资源消耗以及网络的性能,采用多尺度训练,一方面增强了网络在多个尺度上的表现能力,另一方面提升了模型的泛化能力及稳定性。预先定义几个固定的尺度[(960,1024),(720,960),(640,800)],每个epoch随机选择一个尺度进行训练。
考虑到小瑕疵的定位不准确导致误检,采用RoiAlign替代RoiPooling,取消量化误差,即遍历每一个候选区域,保持浮点数边界不做量化;将候选区域分割成$k\times k$个单元,每个单元的边界也不做量化;从而将整个特征聚集过程转化为一个连续的操作来细化检测框。
在测试阶段采用soft NMS替换NMS精细化检测框。
NMS:候选框的得分进行排序,选取得分最高的那个框,接下来计算其他框与当前框的重合程度(IOU),如果重合程度大于一定的阈值就删除,这样不停的迭代下去就会得到所有想要找到的目标物体的区域。
而soft nms只是将重叠度大于一定的阈值进行抑制,最后再按分数过滤,从而使得重叠的物体被更大程度的保留下来。

比赛的评价指标是什么?如何计算的?

比赛的评价指标是参照PASCALVOC的评估标准IOU=0.5,计算10类瑕疵的mAP值作为最终的分数。本次大赛计算mAP时,对同一个ground-truth框,重复预测n次,取置信度(confidence)最高的预测框作为TP(true positive)样本,其余的n-1个框都作为FP(False positive)样本进行处理。大赛参照2010年之后的PASCAL VOC评分标准,检测框和真实框的交并比(IOU)阈值设定为0.5,同时,采用Interpolating all points方法插值获得PR曲线,并在此基础上计算mAP的值。
mAP计算过程:
1)mAP是对各目标类计算得到的AP取平均值
2)某类目标(假设为car)的AP可以理解为car类PR曲线(Precision-Recall)下的面积。
3)为了画出car的PR曲线,要对测试集上所有预测出的类别为car的bounding box按照置信度降序排列,然后标记每个bounding box是TP(True Positive)还是FP(False Positive),并分别对TP和FP的数目进行累计,计算相应的Precision和Recall。Precision是指在所有的预测中有多少是正确的, P=TP/(TP+FP)=TP/(all detections);Recall是指在所有正确的(目标检测中指GT)中有多少被预测出来了,R=TP/(TP+FN)=TP/(all GTs)。
4)TP和FP的判断:VOC中对每个类别为car的bounding box,计算该bounding box与其所在的image中所有的GT的IoU(交并比),如果其中最大的IoU>=0.5,则记为TP;否则记为FP(包括IoU都为0的情况)。

论文《基于注意增强的密集图卷积网络的人体行为识别》

论文介绍

论文的研究方向是基于骨骼关键点的人体行为识别,是对视频中人体动作进行分类。论文的创新点主要有两点,首先现有的分层图卷积网络在聚合节点更宽范围的领域信息时,在长期扩散中弱化了局部邻域的特征,针对这个问题,我们提出了残差图卷积操作,增强局部领域的特征,接着利用密集连接结合通道注意模块重用不同模块间的上下文信息,增强节点的全局和局部特征。其次,在现有的算法认为所有的节点和帧信息对行为的判断具有相同的贡献,但是视频序列中存在大量的冗余的信息干扰模型的判断,带来准确率的下降,因此我们引入注意模块,通过计算不同特征间的相关性,增强有效的特征,抑制无关的特征。

创新点

残差图卷积操作,原始的图卷积操作层间传播可简化为$X^{l+1}=\delta(W^lX^lA)$,图中的邻接矩阵是根据拓扑结构预先设置的,我们认为邻接矩阵也是可以通过网络来自动学习的,为邻接矩阵中的每个元素都设置一个权重,我们提出$X^{l+1}=\delta(W^lX^l(A\cdot M)+X^l)$,使网络在学习一般的权重矩阵W外,还要学习一个邻接矩阵的权重矩阵M,使得网络可以学习节点更多的局部领域特征。并且我们将短连接将输入和输出进行逐元素求和,使得网络在聚合更宽范围领域的信息时也能更好的保留局部信息。
密集连接,网络的结构类似于densenet模型,和densenet将不同模块的信息在channel通道concate来重用上下文特征不同,在密集连接的图卷积网络中结合通道注意模块将不同模块的上下文信息逐元素求和,来降低图卷积网络层数过深容易梯度消失带来的影响,从而增强了节点的全局和局部特征。
注意模块,主要分为channel attention module和spatial-temporal attention module。通道注意模块主要是计算不同特征通道间的相关性,把重要的特征进行增强,结合密集连接可以有效增强上下文的时空特征。时空注意模块是计算不同节点和不同帧间的相关性,和通道注意模块不同,我们认为关节的重要性和时间是耦合关系,因此我们联合关节维度和时间维度来计算模块间的相关性,增强关键帧和关键关节的信息。
多流信息融合,通过关节信息计算人体骨架的二阶骨骼信息和运动信息,可以有效的补充单模态信息的不足,促进行为识别的准确率。

基于机器学习的多模态手势识别算法研究与实现

项目介绍

本科毕设项目,选取美国手势语言数据集ASL为研究对象,研究基于卷积神经网络的手势图像处理和识别方法,主要的研究多模态的手势识别方法。基于RGB图像和深度图像的联合使用,能有效提高手势识别的准确率。

项目内容

手部区域分割
首先是手部区域的分割,将RGB图像转换到YCrCb颜色空间下,其Y通道表示明亮度,即灰阶值;Cr,Cb通道则表示色度,用于描述色彩及饱和度,其中Cr反映了图像信号红色部分与亮度值之间的差异,而Cb反应信号中蓝色部分与亮度之间的差异。在Cr通道下,手部区域和其他区域有较大差别,利用该特性对手部区域进行分割。采用Ostu阈值分割,将手部的前景区域提取出来。对于存在的一些噪声,通过先腐蚀再膨胀操作,可以去除其中的一些毛边。去除毛边后我们从中挑选出最大的contour,基本可以得到手部的前景区域。其次,上述的算法在存在人脸肤色干扰时,不能得到干净的手部区域,故采用深度图像来去除人脸肤色的干扰。将提取的人体肤色的mask和深度图像相乘,去除背景的干扰,然后利用k-means聚类算法从深度图像中分离出人脸区域的位置,只保留手部的区域。将手部的mask和RGB图像相乘,然后利用VGG16网络进行手势动作的分类,有效提高了手势识别的精确性和鲁棒性。
Ostu算法:假定图像包含两类像素(前景像素和背景像素),直方图为双峰直方图,然后计算使得两类像素能分开的最佳阈值(类内方差),或等价的间类间方差最大。

自我介绍

(一分钟版本)
您好,很感谢你在百忙中抽出时间给我这次面试的机会。我叫高信凯,今年25岁,是北京邮电大学信息与通信工程专业2018级硕士研究生,想要应聘的职位是xxx。本科阶段由于我保送到北邮读研究生,在毕设期间参加了实验室关于手势识别方面的项目,坚定了我从事这方面工作的决心。在2018年9月份我和同学组队参加了天池的铝材瑕疵检测比赛,激烈的比赛使我对视觉领域有了更深入的认识和了解。后来我开始负责实验室的智能辅助健身锻炼系统的项目,参与并完成了整个平台的设计和搭建过程,在深入的研究过程中进一步发掘出自己的研究方向,因此我决定将计算机视觉方向作为我未来事业的起点。我非常喜欢贵公司的这个职位,相信它能充分满足我的兴趣并体现自身的价值,我也有信心有能力做好这份工作。非常感谢贵公司给与我这次面试学习的机会,谢谢。
(简短版本)
您好,我叫高信凯,今年25岁,是北京邮电大学信息与通信工程专业2018级硕士研究生,想要应聘的职位是xxx。我非常喜欢贵公司的这个职位,相信它能充分满足我的兴趣并体现自身的价值,我也有信心有能力做好这份工作。非常感谢贵公司给与我这次面试学习的机会,谢谢。

平常如何学习

在研究生阶段,除了学科知识的学习外,在课余阶段我通常以问题导向型进行知识的积累。比如在学习视觉算法中分类问题的时候,我先开始了解经典的网络模型,学习不同的网络模型的思路及创新点,然后查阅各种资料论文关注模型的参数设置,损失函数的收敛等等知识,从而是自己能够高效的学习该方面的知识。

上过哪些CV课程

研究生课程:视频大数据的机器学习、模式识别与机器学习、神经网络与模糊系统、图像分析与机器视觉
自学课程:吴恩达教授的CS229网课、李飞飞教授的CS231n网课。

项目中遇到的重大问题

在完成国家电网能力开发平台时,由于项目是采用的基于RPC的 HSF协议进行模块之间的通信。HSF是阿里内部使用的模块间通信的方式,我之前没有使用过,通过短期的学习能力,调通分布式模块之间通信的问题,在这个项目即将上线部署的时候,我们需要到电网公司内部进行压力测试,我遇到的比较大的一个难题是项目上线部署后各个模块之间无法通信。最后通过分析Edas平台各个服务IP地址和服务端口,以及redis日志文件,判断到最后是因为一个模块之中的redis地址出错导致没有启动redis。引发的后续通信的问题。体现了排错能力和自主解决问题的能力。

项目如何跟别人合作

在项目合作过程中,小组成员集体讨论项目需求,提出具体的项目方案后,根据每人的研究方向和动手能力分配工作量,并统一使用github进行代码的托管和维护。

有什么想问的(一面、二面、三面分别问什么)

请问我应聘的这个职位所在团队面对着怎样的问题和挑战?另外,贵公司对这个职务有怎样的期待呢?
在刚入职的两三个月里,公司更希望这个岗位的信任把工作重心放在哪个方向呢?
公司针对实习生的培养机制是怎样的呢?团队的技术栈是什么样的?在去实习前应该重点学习哪些技术呢?