Troverld

摘要： 「不愧是我最尊敬的導師。自那日起，您是首個得見這副姿態仍不收斂的，」阿爾弗雷德的噪聲強度維持均勻，仿佛最初就見證過此刻，「不過您的『狀態』，好像不太平穩。」「阿爾弗雷德，我最得意的門徒……追蹤你的路徑讓我付出了太多。我已經是無記憶的，我向 M'ahk-vr 獻上了我的『過去』。」「有趣。但你的表現不應如此『正常』，就仿佛……永遠在『常返』到那個時刻？」「我本以為界定了祂的『變差』，於是將過去融入狀態……但祂，祂絲毫不在意我的測量！就好像那個界是祂主動被我『分辨』而賜予的！」懷特突然越過「臨界點」，隨機游走開始加速。「這就說得通了。」阿爾弗雷德的泊松計數增加了一，「你的高爾頓-瓦特樹，我們的高爾頓-瓦特樹，從根開始就注定絕滅。『移民』從來不曾抵達。」「怎麼會！」懷特猛地攀上跳躍鏈，「我絕不甘心獨自『爆炸』！我會成為跳出隊列的自由粒子，成為再生過程！你那已經陷入細致平衡的死寂分布，由我來遍歷！」「好吧，畢竟不經『測量』，不會承認協方差處的奇異。」阿爾弗雷德的期望保持恆定，「等你發覺赫爾德的約束，等你被迫成為你的那個連續『版本』，你就會發現我們的震盪再劇烈，也不過是布盧門薩爾律法下的必然。」 阅读全文

摘要： 有监督不深度学习，自监督倒深度学习，无线电法国别学习 阅读全文

摘要： 那个“高家冲”的招牌之所以必须拆掉，那里的存货之所以必须扬弃，那里的老板之所以必须革职。是跟风者们捧起来的，是那些不求甚解者或想做不求甚解者们的圣人，和一般的学者并无什么关系。余之掊击高斯，非掊击高斯之本身，乃掊击高斯为历代数据科学家所雕塑之偶像的权威也；非掊击高斯，乃掊击先验之灵魂也。“救出高王子”，则是要把高斯从被泛化、被扭曲、被滥用的“高家冲”里解救出来，恢复他作为一个数学大师的本来面目，客观地研究他的理论价值及其对算法精度、收敛速度的影响。 阅读全文

摘要： 没有看过原片，但是贪恋蓝药丸的美好；没有正常选课，但是沉醉无意义的数学。何时才能进入红色的真实滚木？ 阅读全文

摘要： by and large 阅读全文

摘要： ——敢这么跟我学习，你的参数是无穷的吗？ ——神经网络错了，神经网络再也不敢在动力学上演化了！ 阅读全文

摘要： 跳蚤国王最近迷上了神经网络。他微服私访，走遍王国，发现无论是跳蚤们用的小型网络，还是蛐蛐们搭建的巨型网络，训练时总会出现一些奇怪的现象：规模变大后，学习率得调，初始化得改，甚至连梯度都变得难以捉摸。国王心想：要是能有一个统一的动力学模型，不管网络是几十个参数还是几十亿参数，都能精确描述其行为，那该多好！ 于是他召集了王国里最聪明的蛐蛐科学家们，成立了一个专项研究组，代号“训模型”。科学家们夜以继日地观察网络训练的轨迹，记录损失函数的震荡，分析参数空间的流动。他们发现，尽管网络结构千变万化，但它们的动力学演化似乎遵循着某种隐藏的普适规律。只要抓住这个规律，就能一举解决 scaling 带来的所有麻烦——从学习率如何随规模调整，到初始化该用什么分布，再到训练稳定性的临界点，统统可以自动算出来。 现在，研究进入了最关键的一步：建立这个大一统的动力学框架。国王把这个任务交给你，希望你能够帮助他，彻底、定量、自动地解决 scaling 问题。毕竟，这可是关乎整个王国智能水平的大事。 阅读全文

摘要： 想不到梗哟~ 阅读全文

摘要： 想不到梗哟~ 阅读全文

摘要： Generative Pretraining Gains Potential Given Powerful General-Purpose Graphics Processing Unit. 阅读全文