Chapter 1: Introduction COMP9313: Big Data Management Lecturer: Xin Cao Course web site: http://www.cse.unsw.edu.au/~cs9313/ 3.‹#› 1 Chapter 3: MapReduce II 3.‹#› Overview of Previous Lecture…
• 2.投影寻踪模型• 投影寻踪（projection pursuit model，简称PP模型）是一种可用于高维数据分析，既可以作探索性分析，又可以作确定性分析的方法。PP方法的特点主要有：（1）能成功克服高维数据所带来的严重困难；（2）可以排除与数据结构和特征无关的或者关系很小的变量的干扰；（3）为使用一维统计方法解决高维问题开辟了途径；（4）与其他非参数方法一样可以用来解决某种非线性问题。• 投影寻踪模型建模过程步骤如下：• 评价指标集归一化处理• 假设各个指标样本集，其中n，p分别为样本的个数和农业产业结构调整效果评价的指标数。为消除量纲，对各指标值进行归一化处理：• 对于越大越优的指标：• 对于越小越优的指标：• 式中：为指标特征值归一化后的序列；和为第j个指标值的最大值和最小值；为第i个样本的第j个指标值。• 构造投影指标函数Q(a)• 投影寻踪方法就是把p维数据综合成以 为投影方向上的一维投影值：•• 式中：a(j)为第j个指标值的单位长度向量；x(i,j)为指标特征值归一化后的序列；z(i)为第i个样本的投影值。投影值z(i)的散布特征为：整体上投影点之间尽可能散开，而在局部投影点尽可能密集，最好凝聚成若干个点团。因此，投影指标函数可表达为：•• 式中：Sz为投影值z(i)的标准差；Dz为投影值z(i)的局部密度；Q(a)为投影指标函数，即：••• 式中：E(z)序列的平均值；R为局部密度的窗口半径，可以根据试验来确定，一般可取0.1；r(i,j)样本之间的距离，；u(t)为单位阶跃函数，当t＜0，其函数值为0，当t≥0，其值为1。• 优化投影目标函数• 当指标值的样本集合确定后，指标函数Q(a)只随着a的变化而变化。最佳投影方向最大可能地反映了高维数据特征结构的投影方向，可通过求解指标函数最大化来确定最佳投影方向。最大化目标函数：•• 约束条件：• ，• 这是一个以优化变量的复杂非线性优化问题,用传统的优化方法处理较难。因此,本文应用模拟生物优胜劣汰与群体内部染色体信息交换机制的基于实数编码的加速遗传算法(RAGA)来解决其高维全局寻优问题。• 分类与优序排列把所求得的最佳投影方向。a*代入后可得各方案点的投影值之z*(i)。将z*(i)值从大到小排序，则可以判断优序。
需求：{1、pnet网络替换成深度可分离卷积 2、加新的输出 3、换一下softnms} 1、替换网络 Pnet替换成深度可分离卷积 Mtcnn_model.py文件 2、新的输出具体是： 训练MTCNN模型所采用的的WIDER_FACE 数据集标签包含人脸的标定框的坐标之外五个对人脸特性的评价指标如图，包括模糊度（清晰的为 0，正常为 1、模糊为 2）、遮挡程度（没有遮挡为 0，部分遮挡为 1、大面积遮挡为 2）、姿势（根据人脸姿势”典型脸”为 0，“非典型脸”为1）、亮度（正常亮度为1，过亮为0）、表现力（正常情绪为0，夸张为1） 图 3.6 WIDER_FACE 数据集提供的五种标签示意图 Fig. 3.6 Five label value…
自动异常检测器 背景 我有一个数据表和一些指标(m1,m2…mn)。可以通过(focus＝’m1′, fixed＝{m2:True, m5:False,…)的格式去访问数据表，获取对应的时间序列数据。这个查询语句的意思就是在m2为True，m5为False的情况下，查询关于m1的数据。 其中focus位置只能接收一个str型指标，fixed位置可以接收一个dict，里面可以出现除focus之外的任意个指标，每个指标都有True/False2种情况。查到的数据可以用于做异常检测，或者其他用途，不过不是这个项目的重点。 要求： 首先，我想基于Python实现一个算法，可以将所有的focus, fixed组合动态地存储到一个有向图中。（我现在用的是NetworkX这个包来建图，存储结构是前缀树。不过你也可以用别的方法存，只要是图就行。）动态地意思就是，我可以设置一些条件，提前停止建树/树。比如检测到这一层没有异常，就不再深入到下一层了。我现在的问题就是没法动态存储。 验证方法：可以先用（’Aa’,’Bb’,’Cc’,’Dd’,’Ee’）这5个指标自用组合，做一个初步的验证。 1）希望这个算法可以高效且节省内存，因为真实数据集中的指标超过100个。 2—）希望这个算法，可以写的灵活一点，比如既可以遍历上面含5个指标的数据集，也可以指定focus和fixed进行自动建图。 3）情况紧急，希望本周末结束前可以出来一份初稿。 2.如果效果的好的话，后续还有一些基于这个图的搜索算法，也可以跟您合作。 周日晚上要(完成80%以上)